AIBR プレミアム
拓海先生、最近部下から「解釈可能性（interpretability）が重要だ」と言われて困っております。私、そもそも何をどう評価すれば良いのかが分からないのです。
素晴らしい着眼点ですね！大丈夫、順を追って整理しますよ。まずこの論文は、解釈可能性を「誰が理解するか」ではなく「ある対象モデル（Target Model, TM）に情報を伝え、そのTMの性能を改善できるか」で定義するんですよ。
ええっと、つまり人間に分かりやすいかどうかではなく、例えば我々が現場で使っている単純なモデルがちゃんと賢くなるかで判断するということですか。
その通りです。素晴らしい着眼点ですね！具体的にはTarget Model（TM）ターゲットモデルという言葉を導入して、複雑なモデルからTMが取り込める形で情報を渡し、それでTMの精度や堅牢性が改善すれば、その手続きはδ-interpretability（デルタ解釈可能性）だと評価できるんです。
それなら現場で使っている線形モデルや小さな決定木をTMに設定して、複雑モデルが出す知見をどうやって伝えるかが肝ですね。では、その伝え方に制約はあるのですか。
良い質問です。重要なのはTMの仮説空間を変えないことです。つまり線形モデルがTMなら、複雑モデルが教えるのは特徴の重み付けや信頼度の情報であって、TM自体を非線形に置き換えるようなことはできないのです。
これって要するに、解釈可能性をターゲットモデルの性能改善で測るということ？
はい、まさにその理解で合っていますよ。素晴らしい着眼点ですね！ポイントを３つにまとめると、1）解釈可能性は相対的である、2）TMの仮説空間を変えずに情報を渡す、3）実際にTMの性能が上がるかで評価する、です。
なるほど。では実務上はどのように評価試験を回せば良いか、そして投資対効果の判断材料は何になるのでしょうか。
大丈夫、一緒にやれば必ずできますよ。評価は簡単にできる実験設計を使います。まずTM単体の性能を測り、次に複雑モデルからTMが取り込める情報を与えた後の性能差を測る。差分が明確なら投資対象として議論できるのです。
分かりました、投資対効果はTMの性能向上量に対する評価ということですね。自分の言葉でいうと、まずは現場で使っている“簡単な仕組み”を基準にして、外部の高度モデルがどれだけ現場を助けられるかを見るということだ、と理解しました。
