拓海先生、最近部下から「kernel herding」とか「Bayesian quadrature」とか言われてまして、正直何がどう違うのか見当もつきません。投資対効果の観点で教えていただけますか。
素晴らしい着眼点ですね！大丈夫です、簡単に整理しますよ。要点を三つで示すと、1) どちらも分布から代表点を取る手法である、2) kernel herdingは等重みで擬似サンプルを作る方法、3) Bayesian quadratureは最適な重み付けによって積分を直接改善する方法です。順を追って説明できますよ。
まず、うちの現場にあてはめるなら「代表点を取る」って要するにサンプルを減らして計算を早くしたいということですか。それともデータの偏りを直すことですか。
いい質問ですよ。要するに両方です。日常業務で例えると、全社員にアンケートを取る代わりに代表的な社員数人に詳しく聞いて会社の傾向を掴むイメージです。kernel herdingは人数をうまく選んで偏りを減らす方法で、Bayesian quadratureはそのうまく選んだ点に最適な重みを付けて、より正確に「全体」を推定する手法です。
なるほど。で、実務で言うと「重み」を変えるだけでどれほど期待値が変わるものなんでしょうか。計算コストに見合うのか知りたいのです。
良い懸念点ですね。三点で整理します。1) 最適重みは理論上、等重みより常に分散（不確かさ）を下げることが示されています。2) ただし最適重みを求める計算は通常、行列演算などの追加コストを伴います。3) したがってサンプル数が少ない場面や高精度が求められる場面では重み付けの価値が高いです。投資対効果で考えれば、精度向上の効果がコストを上回る場合に導入を検討すべきです。
これって要するに、同じ人数でデータを見るなら重みを工夫するだけで精度が上がるということでして、それで費用対効果が取れる状況ならやる価値がある、ということですか。
その通りです！非常に本質を突いたまとめです。加えて、論文は順次的に点を選ぶ方法を提示しており、そこでは greedily（貪欲法）に点を追加していっても高い収束率が得られる点を示しています。つまり段階的に現場で試しながら導入できるのです。
段階的に試す際に、どこを測れば導入判断ができるのか指標を教えてください。現場の作業時間、誤差の改善率、そして実装費用の三つで見たいのですが。
素晴らしいフレームです。要点を三つに整理しますね。1) 現場の作業時間はサンプル評価にかかる時間で、重み計算の追加時間と比較する。2) 誤差改善率は現行手法と比較した推定誤差の低下割合で、期待精度に基づく利益へ換算する。3) 実装費用は初期の導入コストと運用コストを合算し、改善による利益との損益分岐で判断する。これらを小規模で測るプロトタイプが有効です。
わかりました。では私の言葉で整理します。今回の論文は「サンプルの取り方と重みの付け方を理論的に結びつけ、適切に重み付けすれば同じサンプル数でもより精度良く積分（期待値）を推定できる」と示しており、段階的な試験で費用対効果を見極めれば現場でも使えるということですね。
