AIBR プレミアム
拓海先生、最近うちの若いエンジニアが「Adamがいいです、SGDは古いです」って言うんですけど、正直違いがよく分かりません。これって本当に現場で投資する価値があるんでしょうか。
素晴らしい着眼点ですね！まず結論を先に言うと、大きな違いはあるが、バッチサイズ（batch size）を適切に調整すればSGD（Stochastic Gradient Descent、確率的勾配降下法）でも十分に近い性能を出せるんですよ。大丈夫、一緒に見ていけば分かりますよ。
要するに、うちのような予算や計算資源が限られている会社でも、工夫すればコストをかけずに同等の結果が出せると？それだと投資判断が変わりますね。
その通りです。要点は三つで説明しますよ。第一に、Optimizers（最適化手法）の見方を変えること。第二に、バッチサイズを含むハイパーパラメータ調整。第三に、設定次第ではSGDにモメンタムを付けるだけで近づけることです。難しい言葉は後で身近な例で説明しますから安心してくださいね。
で、結局のところ「これって要するにバッチサイズの違いが肝心ということ？」って聞いてもいいですか。
素晴らしい確認です！要するに一部分はその通りで、バッチサイズは非常に重要なファクターですよ。ただし「それだけ」ではないんです。アルゴリズムの内部パラメータ、例えばAdamのβ2やSGDのモメンタムの有無、学習率スケジュールなどと組み合わせて評価する必要がありますよ。
実務では何をどう優先すればいいですか。うちにはGPUも多くないし、エンジニアも少人数です。
安心してください。まずは小さな実験でバッチサイズを小〜中に設定し、SGDにモメンタムを加えて学習率とモメンタムをチューニングします。成功すれば計算コストを抑えつつAdamに近い性能が得られます。要点は三つです、試験は小規模で、モメンタムを試し、学習率を丁寧に探ることですよ。
なるほど。じゃあROIの観点では、まずは既存のリソースで小さな検証を回して、効果が出れば本格投資、という流れで良いですね。
その判断で間違いありません。大丈夫、一緒に段階を踏めば必ずできますよ。まずは小さな実験設計を私と一緒に作りましょうか。
ありがとうございます。では最後に、私の言葉で言い直します。要するに、「バッチサイズやモメンタムなど設定次第では、SGDでもAdamに近い結果が得られる。まずは小さな検証で確かめてから本格投資を判断する」ということですね。
