拓海先生、部下から『PCAをL1でやると良い』と言われまして、正直ピンと来ません。今のうちに要点だけ教えていただけますか。
素晴らしい着眼点ですね！まず結論だけお伝えしますと、大勢のデータ中に少数の外れ値が混じる場合、従来のL2ノルム（L2 norm）を使った主成分分析、つまりPrincipal Component Analysis (PCA) 主成分分析は影響を受けやすいのです。L1ノルム（L1 norm）を軸にした手法は、その影響を減らして『堅牢に』代表軸を取れる可能性があるんですよ。大丈夫、一緒に要点を3つにまとめますね。
なるほど。投資対効果の観点から聞きたいのは、それで本当に現場の判断が安定するのか、アルゴリズムは現実的に動くのかという点です。導入コストや計算負荷が気になります。
良い質問です。端的に言うと、理論的にはL1ベースの最適解を求めることは難しい（NP-hard (NP困難)）場合があるものの、実務的な次元の範囲では計算可能なアルゴリズムが存在し、外れ値に強い軸を得られるので、投資対効果は十分見込めますよ。まずは試験的に固定された小さな次元で動かして効果を確認するのが現実的です。
これって要するにL2のPCAが外れ値に弱いから、L1にすれば堅牢になるということ？
まさにその理解で本質は合っています。補足すると、L1で何を最適化するかは複数の定式化があり、それぞれ結果が異なるため、目的に応じた選択が必要です。今日話すポイントは三つ、1) なぜL2が弱点を持つか、2) L1で何が変わるか、3) 実務導入の現実解、です。
分かりました。現場で使うには何を準備すればよいですか。サンプル数とか次元とか、どの程度気にすれば良いのでしょうか。
重要なのはデータの『次元 D』と『サンプル数 N』の関係です。論文では次元が固定でサンプル数が大きい場合は効率的なアルゴリズムが示されています。つまり、機械学習でよくある『次元を抑えてサンプルを集める』という実務方針は、この手法に合致します。まずはDが小さい特徴群を選んで試験導入してみましょう。
なるほど。最後にもう一つ、社内会議で説明するときに使える簡単な切り口をください。技術屋に任せるだけでなく、経営判断としてのコメントがほしいのです。
その点については安心してください。経営者向けの切り口は三点です。一、目的は『外れ値耐性のある代表軸の取得』であること。二、初期投資は限定的にして『固定次元×多数サンプル』で効果確認を行うこと。三、効果が出れば既存のモデル置換ではなく、前処理レイヤーとして導入して速やかに効果測定に移ること。これで意思決定がしやすくなりますよ。
分かりました。要点は自分でも説明できます。つまり、外れ値があるデータに対してはL1ベースの手法を試してみて、まずは小さな次元で効果を検証する。これで問題なければ段階的に拡張する、という流れですね。
