AIBR プレミアム
拓海先生、最近社内で「連合学習で大きな言語モデルを微調整すると情報が漏れるらしい」と言われまして、正直ピンと来ておりません。要するにどんなリスクがあるのでしょうか。
素晴らしい着眼点ですね！結論を先に言うと、大きな言語モデル（Large Language Models（LLMs）／大規模言語モデル）は、連合学習で微調整するときに一部の訓練データを思い出してしまい、他のクライアントの個人情報（Personally Identifiable Information（PII））を引き出される可能性があるんですよ。
それはまずい。うちも法務文書を少しだけ共有して共同で学習する案がでていますが、現場で個人情報が出てしまったら責任問題です。攻撃者はどんな立場の人間を想定しているのですか。
ここは重要な点です。論文は現実的な敵モデルとして「悪意あるクライアント」を想定しており、攻撃者は全体の訓練データを持っていないが、自分の持つ文章の先頭（プレフィックス）を使って他のクライアントの情報を引き出すという手口を示しています。つまり内部に混ざった一参加者だけで攻撃できるのです。
これって要するに、参加者の一人がうちの書類の書き出し部分を持っていて、それをモデルに与えると他社の名前や住所が返ってくるということですか。
その通りです。言語モデルは文脈から続きを予測するので、特定の前置きを与えると訓練データに含まれる固有名詞や識別情報を「思い出す」ことがあるのです。対処は可能ですがコストや運用面の影響を考慮する必要がありますよ。
なるほど、具体的にどのような攻撃手法があるのですか。対策としては何を優先すれば良いでしょうか。
要点を三つにまとめますよ。第一に攻撃者は自身の持つ文書の高頻度の前置き（prefix）を使って照会する手法を取ること、第二に単純なサンプリングや局所微調整で十分に情報を抽出できること、第三に防御は訓練時のプライバシー技術や参加者の信頼管理が鍵であることです。
投資対効果の観点で言うと、防御にどれくらいリソースを割くべきか見当が付きません。現場に負担をかけずにできる初手はありますか。
初手は運用ルールの整備です。具体的には機密性の高いフィールドを事前に除外する、参加者にデータの前処理を義務づける、あるいは差分プライバシー（Differential Privacy（DP）／差分プライバシー）の適用を検討するのが現実的です。まずは運用でリスクを下げてから技術的対策に投資するのが賢明ですよ。
わかりました。ここまでの理解を整理すると、攻撃は内部参加者が自分の文脈を使ってモデルの記憶を引き出すもので、初動はデータの扱い方を厳しくすること、ということですね。では最後に、もう一度私の言葉で要点をまとめてもよろしいですか。
もちろんです、田中専務。要約して確認していただければ、実務に落とし込む際の優先順位を一緒に決めましょう。一緒にやれば必ずできますよ。
では私の言葉でまとめます。連合学習で外部に出さないはずの情報が、参加者の一人の持つ文の書き出しを使えばモデルから引き出され得るので、まずは敏感な項目を学習から外す運用ルールを作り、それでも不安なら差分プライバシーなどの導入を段階的に検討する、という理解でよろしいです。
