拓海先生、最近部下に「もっと並列で学習させれば早くなる」と言われているのですが、本当に単純にコンピュータを増やせば良いのでしょうか。費用対効果が心配でして。
素晴らしい着眼点ですね！結論を先に言うと、ただ計算機を増やせば早くなるとは限らないんです。重要なのは使うデータセットの性質とアルゴリズムの相性なんですよ。大丈夫、一緒に整理していきましょう。
なるほど。具体的には何がボトルネックになるのですか。現場ではデータを貯めれば何とかなると思っている社員が多くて。
いい質問です。ここで要点を3つだけ整理します。1つ、並列化すると同期や通信のコストが増える。2つ、データの分布や順序によって学習の進みが変わる。3つ、どのアルゴリズムでも必ず伸びしろに上限がある。です。
同期や通信のコストというのは、要するに複数の機械が情報をやり取りする際の”待ち時間”や”伝送量”のことですね。それが多いと効果が薄れると。
その通りです。例えるなら、工場でラインを増やしても部品の供給や検査が追いつかなければ効率は上がらない、という状況です。機械を増やす前に、データの扱い方を見直す方が安くて確実に効くことが多いんですよ。
データの扱い方と言いますと、例えばどんな準備が必要でしょうか。現場はいつもバラバラにサンプルを保管しています。
分かりやすい例を挙げます。論文では、学習前にサンプルの並びを工夫するだけで並列化の効果が変わると示しています。つまり、データの再配列や前処理が低コストで大きな効果を生むケースがあるのです。だからまずはデータから手を付けましょう。
これって要するに「データ次第でどれだけ並列化が効くか決まる」ということですか？アルゴリズムのせいだけではない、と。
その理解で正しいですよ。論文の主張を3行で言うと、1 データセットの特性が並列化効率を決める、2 再配列など前処理が重要、3 あらゆる確率的最適化（stochastic optimization (SO) 確率的最適化）には並列の上限が存在する、です。
投資対効果の観点で言うと、先にデータ整備をして効果を確認し、だめなら設備投資を検討する、という順序で良いですか。現場にもその指針で説得したいのです。
大丈夫、それが現実的で合理的な進め方です。要点を必ず3つで説明しましょう。1 データを整え、小さな検証で並列化の利得を測る。2 得られた利得が明確なら段階的に計算資源を増やす。3 常に通信コストと学習進行を監視する。これで投資判断がしやすくなりますよ。
分かりました。まずはデータの並び替えや前処理を試してみて、効果が見えるかを測る。効果が出たら徐々に機器を増やす。これを現場に示して進めます。ありがとうございます。
素晴らしいまとめですね！それで十分に現場を説得できますよ。何か困ったらいつでも相談してください。一緒にやれば必ずできますよ。
