AIBR プレミアム
拓海先生、最近部下から「敵対的攻撃」って言葉を頻繁に聞くようになりまして、本当は怖い話なんでしょうか。うちの製品検査に影響しますか。
素晴らしい着眼点ですね！敵対的攻撃とは、Adversarial learning（敵対的学習）の一種で、入力画像にごく小さな変化を加えてAIの判断を誤らせる攻撃です。人間には見えない変化でも機械は誤判定してしまうことがありますよ。
要するに、検査機の判定がいつの間にか乗っ取られるということか。で、どう守ればいいんですか。まずは投資対効果が気になります。
大丈夫、一緒に整理できますよ。結論を先に言うと、この論文は分類だけに頼らず「異常検知」を同時に行う手法を示しており、投資対効果の観点では誤判修復コストを下げる期待が持てます。要点は三つだけです：検出優先、複数層の利用、確率的な差を使うことですよ。
検出優先というのは、正しく分類するよりまず攻撃を見つけるということですか。それだと業務で混乱しませんか。
素晴らしい着眼点ですね！この論文は、攻撃が疑われるときだけ分類を保留する戦略を提案しています。三つの利点で言うと、誤出荷の減少、運用上の信頼性向上、そして簡易な追加コストで導入可能という点です。
具体的にはどうやって「攻撃かどうか」を判定するのですか。我々の現場で使える目安はありますか。
いい質問です。技術的には、Deep Neural Networks（DNN）深層ニューラルネットワークの中間層の出力分布をモデル化し、あるクラスに対する出力の確率分布と観測値のずれを、Kullback–Leibler divergence（KL）クルバック・ライブラ・ダイバージェンスを基に判定します。身近な比喩だと、通常の振る舞いからどれだけ外れているかを高精度のものさしで測るイメージですよ。
これって要するに、AIの出力に違和感があれば「分類しない」決断を下せるようにする、ということですか。もしそうなら、現場は納得しやすいかもしれません。
その通りですよ。端的に言えば、人間が見れば正しいクラスに見える元画像からわずかな改変が加えられ、機械が別クラスへ移される場合でも、その改変は機械的には検出可能であるという仮説に基づいています。ですから「分類より先に検出」を導入するのは理にかなっているのです。
分かりました。導入時には現状の分類器にどの程度の手間で載せられるかが肝です。現状のモデルを大きく作り替えずに使えるなら、まずは試せそうです。
その期待は正しいです。実装上は既存DNNの中間層の出力を統計モデルで評価するため、捨てる部分は少なく済みます。小さなPoCから始めて段階的に運用へ組み込めるので、大きな初期投資を避けつつ効果を評価できますよ。
よし、まずは小さく試してみます。ありがとうございました。では私の言葉でまとめますと、DNNの中間出力の“挙動の違い”を測って、違和感があれば分類を保留する仕組みを追加する、ということですね。
