AIBR プレミアム
拓海さん、お忙しいところ失礼します。部下が『AIに自己認識が必要だ』と言い出して困っているのですが、正直よく分かりません。今回の論文は何を示しているのでしょうか。
素晴らしい着眼点ですね！結論を先に言うと、この研究は『大きな言語モデル（language model、LM）が自分でどれだけ正確に答えられるかをかなり推定できる』と示しています。経営判断に直結する話ですよ。
それは便利に聞こえますが、要するに『AIが自分の正しさを把握している』ということでしょうか。それって現場で使えるレベルですか。
大丈夫、一緒に整理しましょう。まずこの論文は『calibration（calibration、較正）』という概念で評価しています。簡単に言えば、モデルが出す確率と実際の的中率が一致するかを見ています。経営で言えば『営業の確率見積もりと実績が一致しているか』を検証するようなものですよ。
なるほど。ではどのように『自分が答えられるか』を判断するのですか。部下が言っていたP(IK)というのがそれですか。
そうです。P(IK)（P(IK)：Probability that I Know、自分が答えを知っている確率）を予測する二つの方法を試しています。一つはモデルに別の出力ヘッドを付けて直接予測させる方法、もう一つは自然言語で『この質問にどれくらいの自信がありますか』と問いかける方法です。どちらも現場で使える手触りです。
実務的には『外した回答を減らしてくれる』という理解で良いですか。例えば見積もりをAIに作らせて外れるリスクを減らせる、とか。
その通りですよ。要点を三つにまとめると、一つ目は『大きいモデルほど較正が良くなる』、二つ目は『少数ショット提示（few-shot prompting、少数ショット提示）で精度が上がる』、三つ目は『モデル自身の自己評価を使って誤答を選別できる』という点です。投資対効果の判断材料になります。
ただ現場のデータはうちの業務用語や社内事情が入っているので、外部の大きなモデルがそのまま信用できるか不安です。学習したドメインが違うときはどうなるのですか。
良い質問です。論文でも触れていますが、自己評価は学習した情報源や文脈に影響されます。ただしここが肝心で、モデルは外部情報を受け取った後の自己評価もある程度一般化するため、社内データを少し与えてやるだけで大きな改善が見込めます。つまり完全に作り直す必要はないのです。
これって要するに『大きなモデルを参考にしつつ、うちのデータで自己評価の精度を高めれば実用になる』ということですか。
その理解で正解です。大丈夫、一緒にやれば必ずできますよ。まずは小さなトライアルでfew-shot promptingを試し、P(IK)の出力をモニタリングしてみましょう。現実的な費用で得られる投資対効果が見えてきますよ。
ではまず何を検証すれば良いですか。投資を正当化するための最小限の実験案を教えてください。
要点三つでいきましょう。第一に現場で頻出する50問程度を選んでモデルに回答させ、P(IK)を同時に出させます。第二にP(IK)が高い回答だけを採用した場合の誤答率と業務影響を比較します。第三にfew-shotで社内データを1?2セット与えたときの改善幅を測ります。これだけで投資対効果の見込みが立ちますよ。
よく分かりました。自分の言葉で整理します。『大きな言語モデルは自分が答えられるかをある程度見積もれるので、それを使って外れを減らす仕組みを試し、少数の社内データで精度を高めれば実運用に耐える』ということですね。ありがとうございます、拓海さん。
