Activation Clustering によるDNNのバックドア検出

（Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering）

田中専務

拓海先生、最近部下から“データが外部由来だから危ない”と言われているのですが、具体的にどんなリスクがあるのでしょうか。AIの安全性が心配です。

AIメンター拓海

素晴らしい着眼点ですね！外部データには悪意あるサンプルが混じり込み、モデルに望まない挙動を仕込むことがあり得ます。まずは現象のイメージから整理しましょう、簡単にできますよ。

田中専務

それを聞くと余計に怖い。要するに、誰かが学習データにイタズラして後で不正を働けるようにする、ということですか。

AIメンター拓海

その通りです。具体的にはバックドア攻撃（backdoor attack バックドア攻撃）と呼ばれ、特定のトリガーが入力に付くとモデルが悪意ある振る舞いをするように学習データが汚染されるのです。でも大丈夫、検出法の研究がありますよ。

田中専務

どんな検出法ですか。現場に導入できるかどうか、コストと手間をまず知りたいのですが。

AIメンター拓海

いい質問です。要点を三つで説明しますね。1) 既に学習済みのモデルの内部の”反応”（活性化、activation）を見る、2) 同じラベルでも活性化の分布が二つに分かれるかをクラスタリングで確認する、3) 分離が見えれば汚染したサンプルを特定して除去できる、です。導入コストは比較的低く、モデルを再訓練する前後で検査できますよ。

田中専務

これって要するに訓練データに仕込まれた悪意のあるパターンを見つける方法ということ？運用面ではどう折り合いを付ければ良いですか。

AIメンター拓海

素晴らしい本質の確認です！運用のポイントも三つで。1) 新規データを投入する前にスクリーニングを設ける、2) 問題が見つかったらそのラベル群だけ再評価と除去を行う、3) 完全自動化せず人の目で最終判断を残す。これで投資対効果を管理しやすくなりますよ。

田中専務

なるほど。技術的には活性化の“空間”を見ているわけですね。導入にあたって我々のIT部門にどんな依頼を出せば良いですか。

AIメンター拓海

具体的には三点を依頼してください。1) 学習済みモデルの最後の隠れ層の出力を抽出できるようにする、2) その出力をまとめて次元削減（例えば主成分分析）とクラスタリングできる環境を整える、3) 検出結果をダッシュボードで人が確認できるようにする。これだけでまずは試験運用ができますよ。

田中専務

分かりました。最後に私の言葉で整理します。モデル内部の反応を見て、ラベルごとに反応が二つに分かれていたら怪しい。怪しいものを人が確認して取り除けば安全度が上がる、という理解で合っていますか。

AIメンター拓海

まさにその通りです！素晴らしい要約です。これで社内での議論もスムーズにいきますよ。大丈夫、一緒に進めれば必ずできますよ。