AIBR プレミアム
拓海先生、最近『大容量データを扱う統計学』という話を聞きまして。弊社でもデータが増えてきて、何を優先すればよいのか迷っています。
素晴らしい着眼点ですね！大丈夫、一緒に整理していきますよ。端的に言うと、この論文は『統計技術を大規模データ環境でどう動かすか』を実務視点で示しているんですよ。
要するに、これまでの統計的手法をそのまま巨大データに適用するのは無理がある、と。どういう点を変えればよいのですか？
良い質問ですね。結論は三点です。1) アルゴリズムの計算パターンを分散処理に合わせること、2) データの読み出しと通信コストを最小化すること、3) 実装言語やツールを分散処理に強いものに変えること、です。
通信コストというのは具体的に何を差すのですか？クラウドだと全部解決するのではないかと若手は言いますが。
素晴らしい着眼点ですね！クラウドは便利ですが、データを分散ノード間でやり取りすると遅延とコストが発生します。地味ですが多くの設計上の判断はこの通信を減らすことに集中しますよ。
これって要するに、アルゴリズムを分割して各サーバーで局所処理し、できるだけやり取りを少なくするということ？
その通りですよ。要点は三つ。1) データ局所性を重視すること、2) MapReduce（Map-Reduce、分散処理モデル）に適した計算にすること、3) 行列計算に近い表現で書き直すことで効率を取ること、です。
行列計算に書き直すとは、例えば我々の生産データ分析だとどのようなイメージになりますか？
良い質問ですね。簡単に言うと、個々の計測データを大きな行列の一部として扱い、行列演算でまとめて更新できるようにすると、分散ノードでの並列化やデータ転送の効率が上がります。NMF（Non-negative Matrix Factorization、非負値行列因子分解）やSVD（Singular Value Decomposition、特異値分解）がその例です。
うちの現場での導入にあたって、まず何から始めれば良いでしょうか。投資対効果をきちんと示したいのですが。
大丈夫、一緒にやれば必ずできますよ。まずは小さなデータセットでNMFやk-means（k-means、クラスタリング法）を試し、処理時間と精度の基準を作る。次に同じ処理を分散環境（例えばSpark（Spark、分散データ処理エンジン））で動かし、コストと効果を比較します。要点は三つ、検証→比較→拡張、です。
分かりました。では私の言葉で整理します。まず小さな実験で効果を示し、それを分散処理向けに改めて実装してスケールさせる。投資は段階的に行う、ということで合っていますか。
素晴らしい着眼点ですね！その通りです。大きなポイントはリスクを段階的に取ることと、アルゴリズムが分散モデルに適合しているかを早期に検証することです。大丈夫、一緒に設計していけるんですよ。
