AIBR プレミアム
拓海さん、最近部下から「データの貢献度を可視化すべきだ」と言われたのですが、何をどう評価すればいいのか見当がつきません。論文に良い方法があると聞きましたが、要するに何が変わるのでしょうか。
素晴らしい着眼点ですね！今回の論文は、個々の訓練データがモデルにどれだけ影響したかを測る手法、Influence Function (IF)（影響関数）を、より広い目的関数に適用できるようにした点が重要なんですよ。
IFという言葉は聞いたことがありますが、私の理解だと既存手法は単純な損失関数にしか使えないと聞きました。それを拡張したということですか。
その通りです。従来のIFは、Loss（損失）を訓練データごとの和に分解できる前提だったのですが、ランキングやコントラスト学習のようにデータ点が組で損失を作る場合、従来手法は使えない。今回の研究は、その壁を越えているんですよ。
なるほど。現場で言えば、ひとつの製品評価が複数の顧客データや参照データに依存している場面で使えるということですね。これって要するに、従来のやり方だと数値が出せなかったケースでも影響度を算出できるということ？
大丈夫、一緒にやれば必ずできますよ。要点を3つに絞ると、1) 個別分解できない損失（non-decomposable loss）にも適用できる、2) 自動微分（auto-differentiation）（自動微分）を活用して計算を実用化した、3) 実験で既存の手法を上回る安定性を示した、ということです。
自動微分という言葉も初めてですが、要はコンピュータが勝手に微分を計算してくれるという理解で良いですか。現場で使うにはどれくらい計算資源が必要になるのかが気になります。
その理解で大丈夫ですよ。計算負荷は増えるが、論文は差分計算を効率化する設計を示しており、既存の再学習（retraining）を丸ごと行うよりは遥かに現実的です。投資対効果で考えれば、全部を再学習する工数を減らせる点が魅力です。
それなら現場導入の障壁は下がりますね。ただ、我々が知りたいのは「どのデータを削れば性能が良くなるか」や「どの取引がモデルに悪影響を与えているか」です。これでそうした判断ができますか。
はい、その通りです。IFは訓練データの除去がモデルに与えるパラメータ変化を近似するため、影響が大きいデータや負の影響を与えるデータを優先的に特定できるんです。今回は複合的な損失にも対応するので判断材料が広がりますよ。
良いですね。最後に現実的な一歩を教えてください。我々が最初に試すべきことは何でしょうか。
大丈夫、一緒にやれば必ずできますよ。まずは既存のモデルで代表的な非可分解損失（non-decomposable loss）を使う部分を洗い出し、そこに対して該当論文のIF実装で影響度を計算して比較することを勧めます。小さなデータセットで試験運用すればリスクも抑えられますよ。
分かりました。自分の言葉で言うと、今回の論文は「従来は評価できなかった複数点依存の損失を持つモデルでも、どの訓練データが結果に効いているかを合理的に推定できるようにし、再学習を繰り返すより現場で安く速く判断できる道を開いた」という理解で合っていますか。
