拓海先生、最近若い部下が「事後説明を使えばAIが良くなる」と言うのですが、正直ピンと来ません。これは現場で投資に値する話でしょうか。
素晴らしい着眼点ですね！まず端的に言うと、事後説明（post hoc explanations）を使って小さな代理モデルに理由を求め、その説明を大きな言語モデルの入力に加えると性能が上がることが示されています。大丈夫、一緒に要点を3つに分けて説明しますよ。
代理モデルって何ですか。要するに小さいモデルに答えを聞くということですか。それなら大きいのを直接調べればよくないですか。
いい質問です！ここも要点3つです。1）大きなモデルは内部情報（勾配など）を出さないことが多い。2）小さな代理モデルは計算が安く、勾配から「どの入力が効いたか」を教えてくれる。3）その説明を自然言語にして大きなモデルに渡すことで、実質的な補強ができるのです。
なるほど。でも人手で説明を書くとコストがかかる。これって要するに人を介さず自動で理由を書けるということ？
その通りです！作業は自動化します。人が説明を書く代わりに、代理モデルから得た「特徴の寄与（attribution）」を文章化してラショナル（rationale）に変換し、大きなモデルに示すのです。投資対効果で言えば、人手を減らしても性能改善が期待できる、という構図ですよ。
現場導入を考えると、追加の前処理やプロキシの学習が増えますよね。現実的な負担感はどうですか。
懸念は正当です。導入の要点も3つで整理します。1）代理モデルは一度作れば複数タスクで使える。2）計算コストは小さいモデルの勾配計算なので現実的である。3）効果が出るタスクと出ないタスクがあるため、まずはパイロットで検証すべきです。大丈夫、一緒に進めれば必ずできますよ。
それなら効果が出るかどうかをどう判断するんですか。評価も難しそうです。
評価基準も3つで説明します。1）既存の正答率や精度と比較する。2）誤答の傾向が説明によって減るかを見る。3）導入による推論コストと人的工数削減のバランスを検証する。ここを定量化すれば投資判断がしやすくなりますよ。
なるほど。最後にひと言で言うと、うちのような現場で何が変わると考えればよいですか。
要点を3つでまとめますね。1）人が作るラショナルが不要になりコストが下がる。2）大きなモデルの挙動が改善され、現場での誤判断が減る可能性がある。3）まずは小さな検証で効果と費用対効果を確かめる。この流れで進めれば安心です。
分かりました。要するに、小さいモデルに「なぜそう答えたか」を説明させて、その説明を大きいモデルに見せることで、手間をかけずに正しく答えさせられるか試す、ということですね。これなら現場で試せそうです。
