AIBR プレミアム
田中専務
拓海さん、最近部署でAIの説明性という話が出てきましてね。部下から『画像AIの判断根拠を示せ』と言われたのですが、正直ピンと来ません。どういう問題なんでしょうか。
AIメンター拓海
素晴らしい着眼点ですね！画像AIが「なぜそう判断したか」を示す仕組みが説明性（Explainability）です。結論を先に言うと、今回の論文は画像のどの画素が判断に寄与したかを直接示す新しい方法、PCIMを示しているんですよ。
田中専務
画素ごと、ですか。うちの現場で言えば製品の傷や異物のどの部分が判定に効いているか、という話に直結しますね。これって要するに現場でブラックボックスの判断を可視化できる、ということですか。
AIメンター拓海
その通りですよ。大丈夫、一緒に見ていけば必ず分かりますよ。まず要点を三つで言うと、1) モデルの内部状態を壊さずに画素の重要度を学べる、2) 任意の分類モデルに後付けで使える、3) 生体画像など多分野で局所性の評価が強い、です。
田中専務
具体的にはどうやって画素の寄与を出すのですか。現行の手法は勾配（gradient）を使ったり、入力を少し変えて反応を見る手法が多い印象ですが。
AIメンター拓海
