拓海先生、最近部下から「データの作り方を変えればAIの応用範囲がぐっと伸びる」という話を聞きまして。どこをどう変えればいいのか見当がつかないのですが、要するに何が変わったんでしょうか。
素晴らしい着眼点ですね！結論を先に言うと、この論文は「学習データの分布の性質そのものが、モデルの『体系的一般化（Systematic Generalization、SG）＝未知の組み合わせを正しく扱う力』を左右する」と示していますよ。要点を三つにまとめると、データの属性同士の独立性、属性の組み合わせの多様さ、そして表現の幾何学的性質が効くんです。
なるほど。で、属性の独立性というのは現場で言うとどういうことですか。うちの製品で言えば色、形、材料みたいな項目でしょうか。
その通りです。ここで重要な指標として論文が使うのはNormalized Mutual Information（NMI、正規化相互情報量）という数値で、簡単に言えば「二つの属性がどれだけ互いに情報を持っているか」の度合いです。NMIが低いほど属性は独立しており、モデルが属性を組み替えて未知の組合せを扱いやすくなります。
これって要するに、データの属性同士があまり結びついていないほうがAIは賢くなる、ということですか。だとしたらデータの作り方を変えればコストをかけずに改善できる気がしますが。
大丈夫、一緒にやれば必ずできますよ。要点を改めて三つで整理します。第一、NMIを下げることでモデルの表現が並列化され、類推や再組合せがしやすくなる。第二、データの多様性が高いほど未知組合せへの対応力が上がる。第三、これらは必ずしもネットワーク構造を変えることよりも効果的な場合がある、です。
現場導入だと、具体的にどこを手直しすればいいのかイメージが欲しいです。データを集め直すのは時間がかかりますから、既存データの加工で済ませられませんか。
素晴らしい着眼点ですね。既存データでもできる工夫がいくつかあります。たとえば属性の組合せを人工的に作るデータ拡張、条件付きサンプリングで偏りを取り除く、あるいは属性ごとに分けて学習させるような訓練スキームが有効です。これらは比較的低コストで試せますよ。
投資対効果の観点で言うと、まず何をやるのが効率的でしょうか。試験的なPoCで成果が出なければ予算を引き上げにくいです。
大丈夫です。まずは小さな検証で効果を確かめることを勧めます。三つの段取りで行きましょう。第一に、現在のデータでNMIを測って偏りの有無を可視化する。第二に、データ拡張や再サンプリングでNMIを下げたデータセットを作る。第三に、同条件でモデルを比較して実際の性能差と業務上の影響を評価する。短期間で成果が出やすい順です。
分かりました。では私の理解でまとめます。要するに、「データの属性同士の結びつきを弱め、多様な組み合わせを学ばせることでAIは見たことのない製品の組合せにも対応できるようになる」ということですね。これなら現場に説明できます。
