深層分類器の温度スケーリングとコンフォーマル予測 — On Temperature Scaling and Conformal Prediction of Deep Classifiers

田中専務

拓海先生、最近部下から「分類モデルの信頼度を出せるようにしないと」と言われて困っています。そもそも信頼度ってモデルが自分の答えにどれだけ自信があるか、という理解で合っていますか。

AIメンター拓海

素晴らしい着眼点ですね！その理解で概ね合っていますよ。まず結論だけ先に言うと、この論文は二つの「信頼度」の出し方がどう混ざるかを詳細に調べ、現場での使いどころを示しているんです。

田中専務

二つというのは、具体的には何ですか。もう少し現場寄りに言っていただけると助かります。

AIメンター拓海

一つは「キャリブレーション（Calibration）＝確率を正しくする手法」です。たとえばモデルが80%と言っても実際に正しい割合が60%なら困りますよね。もう一つは「コンフォーマル予測（Conformal Prediction: CP）＝候補セットを返して、真の答えが含まれる確率を保証する方法」です。どちらも不確かさを扱いますが、性格が違うんです。

田中専務

なるほど。で、具体的にこの論文では何を示しているのでしょうか。温度スケーリング（Temperature Scaling: TS）というのを聞いたことがありますが、それと関係あるのですか。

AIメンター拓海

その通りです。温度スケーリング（Temperature Scaling: TS）は、出力の確率を調整する簡単で計算コストが低い手法です。この論文はTSがコンフォーマル予測に与える影響を系統的に実験と理論で追っています。結論を端的に言うと、TSは時にクラスごとの性質を改善するが、セット予測の大きさや保証に非自明な影響を与える、ということです。

田中専務

これって要するに、温度をいじると「一見信頼できそうに見えるけれど、実は候補セットが大きくなって使いにくくなる」こともある、ということですか。

AIメンター拓海

その理解で合っていますよ！要点を三つでまとめると、大丈夫、経営判断に使える形で整理できます。1) TSは確率表現を改善する。2) CPは結果の集合サイズで実務上の使いやすさを左右する。3) TSとCPの組合せは単純ではなく、場合によっては集合サイズを増やすので導入時に評価が必要です。

田中専務

なるほど。現場投入する前にどんな評価をすればよいでしょうか。コスト対効果の観点で教えてください。

AIメンター拓海

大丈夫、一緒に整理しましょう。評価は三段階で良いです。1) 校正セットでTSを適用し、確率の歪み（キャリブレーション誤差）を測る。2) 同じ校正データでCPを適用し、候補セットの平均サイズと保証率（coverage）を確認する。3) 実業務で受け入れ可能な候補セットサイズを定義し、その範囲でTSのパラメータ調整を試す。これで費用対効果を判断できますよ。

田中専務

分かりました。最後に私の言葉で整理させてください。要するに「温度スケーリングは確率を見かけ上正しくするが、候補を返す仕組みと組み合わせると業務上の使いやすさを損なう可能性がある。だから導入前に候補の大きさと保証を評価せよ」ということで合っていますか。

AIメンター拓海

完璧です！その言葉で現場に指示を出せますよ。大丈夫、一緒に設定すれば必ず運用できますよ。