AIBR プレミアム
田中専務
拓海先生、お時間をいただきありがとうございます。弊社の若手から「分散学習で待ち時間が問題です」と聞きまして、具体的に何が問題かよく分かっておりません。要点を教えていただけますか。
AIメンター拓海
素晴らしい着眼点ですね！分散確率的勾配降下法、いわゆるSGDは並列化で速くなる一方、遅い参加者（ストラグラー）を待つと全体の時間が伸びますよね。そこで問題は「逐次の誤差（モデルの精度）」と「実際の経過時間」のどちらを優先するかです。
田中専務
なるほど。では「待つ」方法と「待たない」方法があると。待たないと何か不都合が起きるのでしょうか。
AIメンター拓海
良い質問ですね。待たない「非同期（Asynchronous）SGD」では、学習ノードが古いモデルに基づく勾配を送ってしまう、いわゆる勾配の古び（staleness）が生じます。この古びが収束を遅らせたり不安定にしたりする可能性があるのです。
田中専務
要するに、早く終わるけれど精度が落ちるか、精度は保てるが時間がかかるかの二択ということですか？
AIメンター拓海
その通りです！ただし本論文はそこに踏み込み、単に「精度」あるいは「反復回数」を比較するのではなく、実際の経過時間（wall-clock time）と最終的な誤差の関係をモデル化して比較しています。現場の投資判断に直結する視点ですね。
田中専務
それは経営的に大事ですね。実務で言えば「どれだけ工数を割いて、どれだけ成果が見込めるか」を示してくれるわけですか。
AIメンター拓海
