AIBR プレミアム
拓海先生、最近部下が「ファインチューニングで性能が上がるが、安全性が落ちるらしい」と言ってきて困っております。要するに導入して良いのか判断がつかないのですが、どう考えればよいのでしょうか。
素晴らしい着眼点ですね！大丈夫です、一緒に整理しましょう。結論だけ先に言えば、ファインチューニングは標準性能（accuracy）を上げる一方で、敵対的な攻撃に対する頑健性（adversarial robustness）が落ちることが多い、という研究結果が出ていますよ。
それはまずいですね。弊社の現場に入れるAIは、間違ったときにリスクが高い用途もあります。導入して性能は上がっても攻撃で壊れやすくなるなら投資対効果が合わなくなります。
ご心配はもっともです。ポイントを三つに整理しますね。第一に、ファインチューニングのやり方（strategy）によって頑健性の落ち込み具合が異なること。第二に、下流タスクの複雑さや事前学習データとの類似性が影響すること。第三に、注意層（attention）周りを狙う手法がバランスが良い傾向があること、です。
注意層をいじるって、要するにモデルの重要な内部処理の一部だけを調整するということですか？全部いじるより安全だと。
その通りです！簡単に言えば、全体を丸ごと調整する「フルファインチューニング」は性能は上がりやすいが、余計な変化も起こりやすく頑健性が下がる傾向にあります。対して、LoRAやCompacterのように注意周りの情報量を効率よく調整する方法は、性能向上と頑健性のバランスが比較的良いのです。
なるほど。では、簡単な手法で済ませるBitFitのようなものはどうですか。現場では手間をかけたくないのです。
BitFitのような周辺パラメータのみを更新する方法は、簡単で計算コストが低く、単純なタスクでは特に有効です。しかし研究では、単純さゆえに頑健性の維持が十分でない場面があり得ると示されています。投資対効果で言えば、現場のリスクの高さに応じて選ぶべきだと言えますよ。
評価はどうやってすれば良いのでしょう。社内で試すにしても、攻撃を想定した評価までする余裕はないのですが。
評価は段階的で良いのです。まず標準の精度を見て、次に外部データや想定される入力ノイズでの性能を確認します。可能ならば簡易的な敵対的例（adversarial examples）を作って頑健性をチェックする。面倒なら、注意層を狙うPEFT（Parameter-Efficient Fine-Tuning）手法で試作し、様子を見るのが現実的ですよ。
これって要するに、導入前にどれだけリスク評価を入れるかで、選ぶ手法が変わるということですね？コストをかければ安全側の選択肢が取れる、と。
素晴らしい着眼点ですね！その通りです。投資対効果の観点からは、まずはPEFTでプロトタイプを作り、現場の類似データや想定される悪条件で試験し、問題がなければ段階的に拡大するのが賢いやり方です。リスクの高い用途は最初から保守的に設計しましょう。
分かりました。最後に、会議で使える一言を頂けますか。部下に指示しやすい短いフレーズで。
大丈夫です、一緒にやれば必ずできますよ。会議ではまず「プロトタイプはPEFTで作り、頑健性を段階評価する」とお伝えください。それだけで議論が具体的になりますよ。
ありがとうございます。では私の言葉でまとめますと、まず小さくPEFTで試作し、現場データで安全面を確かめながら本格導入を判断する、ということで進めます。
