拓海さん、部下から「AIで化合物を選べるようになります」と言われて困っているのですが、バーチャルスクリーニングという話と論文の評価方法の違いがよくわかりません。忙しいので要点を教えてくださいませんか。
素晴らしい着眼点ですね！大丈夫、一緒に整理すれば必ず分かりますよ。今回の論文は、AIモデルを評価するためのデータの切り方が実務での期待値を過大にしてしまう点を示しています。結論を先に言うと、従来よく使われてきた“スキャフォールド分割”は実運用を正しく反映しておらず、より現実的な分割方法を使うべきだ、ということです。
スキャフォールド分割というのは聞き慣れない言葉です。要するに、化合物の核となる構造でまとめて訓練と検証を分けるやり方ですよね。それがまずいということは、現場で使うと性能が落ちるという理解で合っていますか。
素晴らしい着眼点ですね！そうなんです。これを簡単に言うと、三つの要点で捉えると分かりやすいですよ。第一に、スキャフォールド分割は骨組みで割るため、異なるスキャフォールドでも化合物同士の似通いが残る場合が多い。第二に、その残った類似性がAIモデルにとって“見慣れたパターン”になり、実際の新規探索では得られない楽観的な成績を生む。第三に、より現実的な評価には、クラスタリングや次元圧縮を使った分割が必要、という点です。大丈夫、順を追って説明できますよ。
なるほど。で、実務のライブラリはほとんど構造が異なる化合物で占められていると聞きましたが、それでもスキャフォールド分割で過大評価されるというのはどういう理屈でしょうか。これって要するに、スキャフォールドが違っても分子全体では似ていることが多くて、それが評価を甘くしてしまうということ？
その通りですよ！素晴らしい着眼点ですね。比喩を使うと、製品の外箱（スキャフォールド）が違っても、中身の部品が似ていれば売上予測は似た結果になる、ということです。論文では三つの分割法を比べて、特にUMAP（Uniform Manifold Approximation and Projection）という次元圧縮を用いたクラスタリングに基づく分割が、より厳密に実運用に近い評価を与えると示しています。一緒に導入メリットとリスクを整理しましょうか。
はい。実際にうちで導入判断をするときに知りたいのは、過大評価されたモデルに投資して失敗しないためのチェックポイントです。どこを見れば良いですか。
素晴らしい着眼点ですね！チェックポイントは三つです。第一に、データ分割方法を必ず確認すること。スキャフォールド-onlyだと要注意です。第二に、複数の分割法でモデルを評価して、ばらつきが小さいかを確かめること。第三に、実データでの小規模なパイロット検証を行い、実運用での精度低下を見積もること。大丈夫、実務的に導入可能な検証計画を一緒に作れますよ。
分かりました。要するに、評価の場面で見栄えの良い数字が出ても、それが現場での成果を保証するわけではないということですね。まずは分割方法を見て、追加検証をするという方針で行きます。ありがとうございました。
