外れ値は協調学習を台無しにするか

（Do Outliers Ruin Collaboration?）

田中専務

拓海先生、最近部下から「複数拠点のデータを全部集めて学ばせれば良い」と言われまして、でもどこかの拠点が悪意あるデータを出したら困るんじゃないですか。これって実務上どう考えれば良いのですか。

AIメンター拓海

素晴らしい着眼点ですね！結論を先に言うと、大部分の拠点が「正直」ならば、少数の悪意ある拠点（アウトライヤー）がいても学習のサンプル量は大きく悪化しないことが理論的に示されていますよ。

田中専務

それは頼もしい話ですね。でも要点だけでいいです、私の頭に残るように三つくらいにまとめてもらえますか。

AIメンター拓海

大丈夫、一緒にやれば必ずできますよ。要点は三つです。一つ目、悪意ある拠点が最大で全体のη（イータ）という割合までなら、サンプル数の増加はηn（イータ×拠点数）に比例する程度で済むこと。二つ目、最良の理論的手法はそのオーバーヘッドが最小限であること。三つ目、計算時間は別問題で、効率よく判別するのは難しい可能性があることです。

田中専務

なるほど。で、これって要するにデータの一部が敵対的でもサンプル数はそこまで増えないということ？

AIメンター拓海

その理解でほぼ合っていますよ。正確には、学習に必要な追加サンプル（オーバーヘッド）は理論的にO(ηn + ln n)という形で評価され、この式は最悪ケースで最適であると示されています。つまり、悪意の総数ηnが支配的だという見方で構いません。

田中専務

それなら現場に聞くのは簡単で、どれくらいの拠点が怪しいかを見積もれば良いんですね。ただ、計算が遅いと運用に支障が出そうです。

AIメンター拓海

良い勘です。論文はサンプル効率は確保できるが、提案アルゴリズムは真面目なユーザ集合を全列挙するため非現実的に計算量が大きいと述べています。計算資源と時間の見積もりをしっかりする必要があるのです。

田中専務

要は投資対効果の問題ですね。サンプル数が増えるのは我慢できても、処理時間が跳ね上がるなら導入は躊躇します。

AIメンター拓海

おっしゃる通りです。実務では三つの観点で判断すると良いです。第一に、ηの大きさ、すなわち疑わしい拠点の割合の見積もり。第二に、サンプル収集のコストと許容できるオーバーヘッド。第三に、計算時間とそのためのエンジニア作業量。この三つを天秤にかければ合理的な判断ができますよ。

田中専務

分かりました。最後に私の言葉で確認します。これって要するに、正直な拠点が多数ならアウトライヤーがいても学習はそれほど壊れないが、判別のための計算は手間がかかるので運用上の設計が重要だ、ということで合っていますか。

AIメンター拓海

その理解で完璧ですよ。大変よくまとめられました。現場での実行計画を一緒に作りましょう。