サリエンシーに基づく説明可能性の有効性検証

（Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments）

田中専務

拓海先生、最近うちの若手が「説明可能性のあるAIを導入すべきだ」と言ってきて困っているんです。正直、説明可能性って本当に効果があるんでしょうか？現場の混乱を防げるなら導入を検討したいのですが。

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、結論を先に言うと、今回の研究は「言葉のハイライト（サリエンシー）だけでは人の理解を保証しない」ことを示しています。つまり見た目で安心してしまい、誤った判断を助長する可能性があるんです。ですから導入時には説明の設計と評価が必須ですよ。

田中専務

ええと、要するに「単に重要そうに見える箇所を示すだけ」では社員が過信してしまう、ということですか？それだと現場の判断ミスにつながりそうで怖いですね。

AIメンター拓海

その通りです。ここで大事なのは三点です。第一に、Natural Language Processing (NLP)（自然言語処理）の出力をそのまま信用してはいけない。第二に、Explainable AI (XAI)（説明可能なAI）の手法は多様で、サリエンシーベースの説明は一つの手段に過ぎない。第三に、導入では人間が説明をどう解釈するかを評価するプロセスが必要です。

田中専務

評価プロセスというと、具体的にはどんなことをすれば良いのでしょうか。わかりやすい運用ルールがあれば現場も安心して使えるはずです。

AIメンター拓海

良い問いです。実験では、RoBERTaという事前学習済みの言語モデルを用い、モデルが重要とした単語をハイライトして提示しました。参加者にはハイライトが妥当かを問う調査を行い、ランダムにハイライトした場合と比較しました。その結果、人はハイライトされた説明を批判的に評価しない傾向が見られました。

田中専務

これって要するに、ハイライトを見せるだけだと社員が「AIが正しい」と思い込みやすい、ということですか？だとしたら誤った信頼で結構な損失が出るかもしれません。

AIメンター拓海

まさにその懸念が重要です。運用上は、説明と合わせて検証ルールを設けること、説明者（AI側）と検証者（人間側）の双方に教育を行うこと、そして説明の有効性をランダム化実験などで定期的にチェックすることを勧めます。こうすれば過信を抑えられるはずです。

田中専務

わかりました。要はハイライトだけに頼らず、説明の質と人の評価をセットで設計する、ということですね。自分の言葉で言うと、”見せ方だけで安心させず、検証と教育をセットにする”ということですね。