オンポリシーとオフポリシーデータを単純に混ぜることで得られる整合性の改善（SIMPLEMIX: Frustratingly Simple Mixing of Off- and On-policy Data in Language Model Preference Learning）

田中専務

拓海先生、最近部下から「オンポリシーとオフポリシーのデータを混ぜるといいらしい」と聞きまして。素人の私には何がどう違うのか見当がつきません。要するに何が革新的なんでしょうか。

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、簡単に整理しましょう。結論は三つです。1) オンポリシー（on-policy data、方策依存データ）は推論力や論理的な問題で強く、2) オフポリシー（off-policy data、外部収集データ）は創造的で多様な応答に強く、3) その両方を単純に混ぜる方法、SIMPLEMIXが少ないデータでも安定して効果を出すんですよ。

田中専務

ふむ、三つの要点ですね。ですが「オンポリシー」と「オフポリシー」って、現場で使うときにどちらを集めればいいのか判断しにくいのです。経営判断ではコストと効果が知りたいのですが。

AIメンター拓海

良い問いです！要点を三つで説明しますよ。1) オンポリシーはモデル自身が生成した応答を評価するので、複雑な論理や手順の正しさを高めやすい。2) オフポリシーは既存のウェブや既存データを使うためコストが低く、多様性で勝る。3) SIMPLEMIXは両者を単純に混ぜる運用で、少ない総応答数の条件下でもバランス良く整合性を改善できるんです。

田中専務

これって要するに、オンポリとオフポリを足し算すれば万能になるということ？それなら単純そうですが何か落とし穴はありますか。

AIメンター拓海

いい観点です。落とし穴は二つあります。まず、単純混合でもデータの質を確保しないと改善しない点。次に、タスクによってどちらが効くかが異なるため、混ぜ方の比率や選び方は現場で調整が必要です。しかし論文の要点は「複雑な手法でなくても、単純な混合が効果を出す場面が多い」と示したことです。

田中専務

なるほど。じゃあ実務的にはまずはどんな実験をすれば良いですか。導入コストやリスクに敏感な我々でも動けるプランがあれば知りたいのですが。

AIメンター拓海

大丈夫、一緒にできますよ。まずは小さなパイロットを三点で回します。1) 既存のオフポリデータを集めて基準性能を測る、2) モデルからオンポリ応答を少量生成して評価者に採点してもらう、3) SIMPLEMIXで同じ総応答数にして比較する。これでコストを抑えつつ判断材料が得られます。

田中専務

分かりました。評価は人がやるということですね。採点基準をどうするかは現場に合わせて決められますか。

AIメンター拓海

もちろんです。評価は業務知識がある人が行うのが最適ですから、現場の熟練者に「解答の正確さ」「実務での使いやすさ」「創造性」などを比率付けして評価してもらえば良いのです。そうすれば経営判断に直結する指標になりますよ。

田中専務

分かりました。要するに、オンポリは論理や手順に強く、オフポリは多様性とコスト面で有利。で、SIMPLEMIXはその両方をシンプルに混ぜれば少ないデータでも良い結果が期待できる、ということですね。自分なりに整理すると、まずはオフポリをベースに少量のオンポリを加えたパイロットで経営判断する、という進め方で間違いないでしょうか。

AIメンター拓海

その通りです。素晴らしいまとめです！大丈夫、一緒に小さく始めて評価していけばリスクを最小化できますよ。