AIBR プレミアム
拓海先生、最近部下から『MapReduceを速くする論文を読め』と言われまして。正直、何がどう重要なのか掴めず困っています。投資対効果の観点で要点を教えてください。
素晴らしい着眼点ですね！大丈夫、田中専務。結論を先に言うと、この論文は大量データ処理で『読み出しのムダを減らす』ことで費用対効果を劇的に改善できることを示しています。3つの要点で説明しますよ。
読み出しのムダを減らす、ですか。で、それは現場のサーバや既存Hadoopにどれほど手を加えればいいのですか。大がかりな投資が必要なら慎重になりたいのです。
いい質問です。ポイントは互換性です。この研究は既存のHadoopのプログラミングAPIをそのまま活かしつつ、データの置き方を変えるだけで性能改善を実現する方法を示しています。大きなソフト改修は不要で、まずはストレージとファイルフォーマットの見直しからです。
これって要するに『データの並べ方を変えるだけで既存アプリをほぼ変えずに速くなる』ということですか？それなら検討の余地がありますが、現場のファイル配置や複雑データ型は厄介そうです。
その通りです。少し詳しく言うと、論文は列指向で保存することで必要な列だけを読み出し、不要なデータのデシリアライズ（復元）を避ける設計を提案しています。複雑型（配列やマップ、ネスト型）にも対応する工夫があり、実運用での適用性を重視していますよ。
配列やマップに対応すると聞くと、実装が複雑になって運用負荷が増えそうで不安です。現場の技術者は今のままで大丈夫でしょうか。
安心してください。彼らが提案するのはストレージのフォーマットと読み出しの仕組みで、MapReduceの書き方自体を大きく変えるものではありません。段階的に導入でき、最初はバイナリ形式に変えるだけで3倍の速度改善が期待できるという結果も示しています。
なるほど。段階的導入なら説得しやすいです。ちなみにこの論文で『劇的改善』と書かれている部分はどのくらい信頼できるものですか。実運用に耐えると判断できますか。
実験は実世界の大規模クローリングデータで行われ、マップフェーズで最大二桁（100倍近く）の改善が観測されています。ただしその効果はワークロード次第で変わるため、まずは代表的なジョブでのベンチマークを勧めます。ポイントは3点です。
その3点とは何でしょうか。端的にお願いします。投資判断に使いたいので簡潔に整理してください。
もちろんです。1) バイナリフォーマット化でI/Oコストを下げられること。2) 列指向により必要列だけ読み出しCPU負荷を下げられること。3) スキップリストと遅延レコード構築で不要なデシリアライズを回避できること。この3つがROIを高める主要因です。大丈夫、一緒に段階的に進められるんですよ。
分かりました。要点を自分の言葉で整理すると、『既存Hadoopのコードを大きく変えずに、ファイルの保存形式を列指向やバイナリに変えることでI/OとCPUを減らし、代表的なジョブで大幅な性能改善が見込める』という理解でよろしいでしょうか。これで社内説明をします。
