AIBR プレミアム
拓海先生、うちの部下が『フェデレーテッドラーニング(Federated Learning; FL)でアンラーニングが重要です』と言ってまして、正直ピンと来ないんです。これって要するに何が問題で、何ができるようになるんでしょうか。
素晴らしい着眼点ですね！まず簡単に言うと、アンラーニングは『モデルが覚えた特定の利用者やデータの影響を取り除く』ことです。大丈夫、一緒にやれば必ずできますよ。まずは何が守りたいのかを整理しましょう。
うちの場合は顧客データの一部削除要求や、機密情報が混入した可能性のあるデータをどうするかが課題です。クラウドの中のモデルからどうやって『消す』んですか。
いい質問です。ここで話題の論文は、特に垂直型フェデレーテッドラーニング(Vertical Federated Learning; VFL)におけるアンラーニング手法を扱っています。VFLは『顧客やサンプルは共有するが、各社が異なる特徴を持つ』状況で使われる手法です。例えるなら、同じ顧客名簿を持つが、うちは購買履歴、隣の会社は信用情報を持つ、という関係です。
これって要するに、モデルの中にある『ある会社の情報だけを消したい』という要望に応える話ですか？それとも特徴そのものを抜きたい場合もあるのですか？
その通りです。論文は三つの観点でアンラーニングを扱っています。一つ、受動的参加者(パッシブパーティ)の貢献を消すこと。二つ、特徴(Features)レベルで情報を消すこと。三つ、個々のサンプル(Samples)を消すことです。方法としては、知識蒸留(Knowledge Distillation; KD)ベースのVFU-KDと、勾配上昇法(Gradient Ascent; GA)ベースのVFU-GAを提案しています。要点を三つにまとめると後で分かりやすいですよ。
なるほど。で、現実的な効果はどうなんですか。うちのようにITに不慣れな会社でも運用可能でしょうか。
素晴らしい着眼点ですね！論文の実験では複数の表形式データと画像データで有効性を示しています。現場導入の観点では、プライバシー規約やデータアクセス権が鍵になりますが、方法自体は『サーバ側で再学習を最小限にして対象を除去する』ことを目指しており、現場負担を減らせます。大丈夫、一緒にやれば必ずできますよ。
先生、専門用語に弱い私でも理解できるように、要点を三つにまとめていただけますか。会議で部下に説明する必要があるものでして。
いいですね、簡潔にまとめます。1) VFLでは各社が持つ『特徴の違い』を活かして協力するが、そのため一社分だけを消すのは難しい。2) VFU-KDは『蒸留』で元のモデルの知識を別のモデルに写し替えつつ不要な貢献を除去する手法で、再学習コストを抑える。3) VFU-GAはサンプル単位で勾配を反転させてモデルからその影響を弱める手法で、ピンポイントな除去が可能である、ということです。
素晴らしい、よく分かりました。自分の言葉で言うと、『垂直連携の中で、会社や特徴や個別顧客の影響だけをできるだけ手間をかけず消す技術』ということですね。これなら役員会で説明できます。ありがとうございました。
