人間の視覚的注目を近似することによるニューラルネットワークの解釈性向上

（Increasing Interpretability of Neural Networks By Approximating Human Visual Saliency）

田中専務

拓海さん、最近部下に「画像認識のAIに人の注目領域を教えると信頼性が上がる」と言われたんですが、本当に現場で使える技術なんですか？採算は合うんでしょうか。

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、要点は3つです。1) 人の注目（サリエンシー）を学習に取り込むと、AIが本当に意味のある部分に着目するようになる。2) その結果、誤判断の原因となる偶発的な特徴への依存が減る。3) ただし人の注目データの収集コストが課題なので、工夫が必要です。順を追って説明しますよ。

田中専務

なるほど。具体的にはどのくらい解釈しやすくなるんですか。あと、人の注目を取るのに眼の動きを追う機材とか必要になるんじゃないですか。

AIメンター拓海

研究の報告では、解釈性が最大で約30%向上したとされますよ。眼球トラッキングが一つの方法ですが、毎枚収集し続けるのは現実的でないですから、この論文では限定的な人手データで始め、残りを別のAIに任せる方式を提案しています。まず人が少量教え、次にその教えを拡大する仕組みです。

田中専務

つまり、最初だけ人手で注目領域を付けて、その後は機械に任せると。これって要するにコストを抑えながら信頼性を上げる仕組みということ？

AIメンター拓海

まさにその通りですよ。重要なのは三点です。1) 初期段階で高品質な人手注釈を集めて基準を作ること。2) その基準で注目領域を生成する専用モデルを訓練し、残りのデータは自動化すること。3) 最終的に解釈性と分類性能の両方を評価して、投資対効果を確認することです。安心してください、一緒にPDCAを回せますよ。

田中専務

現場に入れるときは、作業者に注目領域の付与を頼むんですか。負担や心理的抵抗が心配でして、現場が拒否したらどうしますか。

AIメンター拓海

現場の負担を最小化する工夫が肝心です。工数は少量の代表サンプルに限定して注釈を付けること、注釈作業を簡便なUIで行うこと、そして注釈が将来の省力化に繋がる点を示して合意形成すること。この三つを揃えれば現場の協力が得やすくなりますよ。

田中専務

アルゴリズムの透明性、つまり説明ができることは本当に重要です。うちの取締役会だと「なぜそう判断したのか」が説明できないと導入を認めない人もいるんです。

AIメンター拓海

そこは心配無用ですよ。人の注目を使えば、AIがどの部分を根拠に判断したかを可視化できるため、取締役会でも根拠を示しやすくなります。導入時には「示すべき3点」をまとめてお見せしますから、説明責任も果たせますよ。

田中専務

分かりました。要するに、少量の人手で基準を作って、その後は自動化でコストを抑えつつ、判断根拠を可視化できるということですね。私の言葉で言うと、まず手間をかけて正しく教え、次に機械に賢く任せる、これが肝であると理解しました。