インスタンスレベルのトロイ攻撃によるVQAの脆弱性

（Instance-Level Trojan Attacks on Visual Question Answering via Adversarial Learning in Neuron Activation Space）

田中専務

拓海先生、最近部下からVQAってやつにAIを入れたいと言われまして、でも聞くと「トロイ攻撃」なんて危ない言葉も出てきて頭が痛いんです。要するにウチの製品に入れたら勝手に誤答するってことですか？

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、まずは落ち着いて整理しましょう。VQAはVisual Question Answering（視覚質問応答）で、画像を見て質問に答えるAIです。今回の論文はそのVQAに対する非常に巧妙なトロイ（バックドア）攻撃を示していますよ。

田中専務

うーん、でも具体的にどこが普通の攻撃と違うんでしょうか。うちが顧客向けに応用するときに怖いポイントを教えてください。

AIメンター拓海

いい質問です。要点を3つでまとめると、1）攻撃がインスタンスごとに細かく仕込まれる点、2）視覚とテキストの両方を巧みに使う点、3）微少な変化でファインチューニング後も効く点です。経営の観点ではコストと導入リスクの評価が重要ですよ。

田中専務

これって要するに「見た目ではわからない細工」を画像と質問文の両方に少しずつ入れておけば、改良（ファインチューニング）しても狙った動作を続けさせられる、ということですか？

AIメンター拓海

その通りです！特に本論文はニューロン活性化空間（neuron activation space）を直接狙い、特定のニューロンを過剰活性化させるような微小なトリガーを作ります。経営的には、検出されにくい点が最も怖い要素です。

田中専務

実務的にはどう防げばいいのでしょう。うちのシステムに入れるならどこをチェックすれば投資対効果が高いですか。

AIメンター拓海

良い視点です。まずはデータ供給経路の信頼性、次にファインチューニング時のサンプル検査、最後に本番前の振る舞い検査の3点を優先してください。現場負担を抑える工夫も一緒に考えましょう。

田中専務

分かりました。つまり投資は三段階で段階的に投入するのが良いと。まずはデータの入り口とモデルの微調整プロセスを監視するということで合っていますか。

AIメンター拓海

完璧です。大事なのは段階ごとに検査可能な仕組みを入れることです。私が一緒に簡単なチェックリストを作りますから、大丈夫、一緒にやれば必ずできますよ。

田中専務

ありがとうございます。では最後に、私の理解であっていますか。今回の論文は「画像と質問文に目立たない細工を入れ、特定のニューロンを狙って活性化させることで、ファインチューニング後でも意図した誤答を引き出す攻撃を示している」とまとめていいですか。

AIメンター拓海

その表現で完璧ですよ。短くまとまっていて会議でも使える表現です。ではこの理解を元に、次は実務で使える検査案を作りましょう。