AIBR プレミアム
拓海さん、最近部下が『説明可能なAI』を導入すべきだと言っておりまして、論文も見せられたのですが、正直どこが変わるのかつかめません。要点を教えていただけますか。
素晴らしい着眼点ですね！今回は『ある高性能だが説明の乏しいモデル（黒箱）』から学んで、説明を出すモデルを賢く鍛える手法です。要点は三つ、黒箱をガイドにする、敵対的（adversarial）に情報の差を較正する、自然な説明を増やすため言語モデルで正則化する、ですよ。
なるほど。で、現場で言う『説明』っていうのは、どういう形で出てくるのですか。要するに、どの言葉や箇所が判断の根拠になったかを抜き出すということですか？
その通りです！専門用語でいうとextractive rationale（抽出型ラショナル）、すなわち入力の一部分だけを抜き出して『ここが理由です』と示す形式です。現場で言えば、報告書の重要行だけをハイライトするイメージですよ。
ただ、抜き出しただけで精度が落ちるなら使い物にならないのではないですか。投資対効果を考えると説明のために精度を犠牲にするのは困ります。
大丈夫、心配ご無用です。ここが本論文の工夫で、性能の高い黒箱モデルを『ガイド（teacher）』にして、説明を出すモデルを『学ばせる（student）』形にする。これは単純に答案と正答を比べるだけよりも、どの情報が抜けているかを細かく教えられるのです。
敵対的（アドバーサリアル）という言葉が出ましたが、聞くと不穏に感じます。どういう仕組みで『較正（calibration）』するのですか。
いい質問です。敵対的（adversarial、敵対的）とは競争させることで精度を上げる発想で、ここでは判別器（discriminator）を置いて、黒箱が持つ豊富な情報と説明モデルが抜き出した情報を比較します。その差が大きければ説明モデルを修正して、必要な情報をより多く取り込めるようにするのです。
それで現場の文章が不自然な抜き出しにならないかという点も気になります。要するに、説明が読みやすくないと現場は受け入れないということですよね。これって要するに読みやすさも学習させるということ？
その通りです。言語モデル（language model、LM）ベースの正則化（regularizer、正則化）を使って、抜き出される文や語の連なりが文法的に自然で、現場の人が理解しやすい形になるよう誘導します。この点が実務で重要になるのです。
導入コストや学習データの用意も気になります。現場の書類は方言や業界用語も多いのですが、その点はどう対応できますか。
ご安心ください。実務適用ではまず既存の高精度モデルをガイドにするため、最初から大量のラベル付けをゼロから行う必要は少ないです。業界語や方言は事前に小さなコーパスで言語モデルを微調整すれば対応可能で、投資は段階的に回収できますよ。
なるほど、要するに高性能モデルを先生にして、説明を出すモデルを生徒として賢く育てる。読みやすさも学ばせて、段階的に導入すればコストも抑えられるということですね。
素晴らしいまとめです！大きなポイントは三つ、ガイドとなる高性能モデルを活用する、敵対的な較正で情報の欠落を減らす、言語モデルで説明の自然さを担保する、です。大丈夫、一緒にやれば必ずできますよ。
ありがとうございます。では早速部長に伝えます。私の言葉でまとめると、先生モデルから学ばせることで説明性能と実務適合性を両立できる、という理解で間違いありませんか。
完璧です。会議で説明する際は『高性能モデルをガイドに、説明モデルを敵対的に較正し、言語的自然さで現場の理解を担保する』とお伝えください。大丈夫、一緒に進められますよ。
