REINVENT-Transformerによる分子デ・ノヴォ設計

（REINVENT-Transformer: Molecular De Novo Design through Transformer-based Reinforcement Learning）

田中専務

拓海先生、最近の論文でTransformerを使った分子設計という話を聞きました。うちみたいな製造業にも関係ありますか、投資対効果が気になります。

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、一緒に整理すれば見えてきますよ。要点を三つで説明すると、(1) 何を変えたか、(2) それが何に効くか、(3) 現実の導入で何が必要か、です。

田中専務

それで、Transformerって要するに長い文章を覚えるのが得意な新しい神経回路の仕組み、という理解で合っていますか。これが分子設計にどう効くのかが分かりません。

AIメンター拓海

素晴らしい着眼点ですね！その通りです。Transformerは長い系列を扱うのに強みがあり、分子を表すテキスト列（SMILES）をより正確にモデリングできるため、より良い分子の候補を作りやすくなるんですよ。

田中専務

なるほど。もう一つ教えてください。論文では“oracle feedback reinforcement learning”という言葉を使っているようですが、これは要するに専門家の評価を自動化して学習の目的にする、ということですか。

AIメンター拓海

素晴らしい着眼点ですね！その理解でほぼ合っています。もう少し分かりやすく言えば、実験や予測モデルという“オラクル”からの評価を報酬として与え、生成モデルを強化学習で調整することで、実際に欲しい性質を持つ分子を出やすくする手法です。

田中専務

投資対効果という観点では、現場の研究開発とどう組ませばいいでしょうか。うちの現場ではクラウドも苦手で、データの準備が大変だと聞いています。

AIメンター拓海

素晴らしい着眼点ですね！順序を決めれば導入は現実的です。まずは既存の公開データや社内で既に持っている定義済みのデータセットでプレトレーニングを行い、次に小さな実験プロジェクトでオラクル（例えば社内の評価関数や市販の予測モデル）を使って強化学習で微調整します。

田中専務

それは要するに、まず費用の小さい段階で効果を確かめてから、本格導入に移る段取りにすればリスクが小さい、ということですね。理解しました。

AIメンター拓海

その通りです。要点を三つにまとめると、(1) Transformerで系列情報をより正確に処理できる、(2) オラクル評価を使った強化学習で目的に沿った分子を生成できる、(3) 小さなPoC（概念実証）でROIを検証して段階的に導入する、です。大丈夫、一緒にやれば必ずできますよ。

田中専務

わかりました。自分の言葉で言うと、Transformerで分子の“文章”を賢く読み取り、専門家や予測モデルの評価を報酬にして学ばせることで、欲しい性質を持つ分子候補を効率的に作る手法、ということでよろしいでしょうか。