AdamWのウェイトデケイ最適化――モデルとデータセットの拡張に伴う設定法（How to set AdamW’s weight decay as you scale model and dataset size）

田中専務

拓海先生、最近部下から「学習のハイパーパラメータを変えないと大きなモデルで性能が出ない」と言われまして。要するに何をどう変えれば良いのか分からないのです。

AIメンター拓海

素晴らしい着眼点ですね！今回はAdamW（AdamW）という最適化手法と、その中のweight decay（ウェイトデケイ、重み減衰）について、規模を変えたときの最適設定の話を噛み砕いてお話しできますよ。

田中専務

専門用語が多いと頭が痛くなります。まずは結論を端的に教えてください。これって要するにどんな話なのですか？

AIメンター拓海

大丈夫、一緒に整理しましょう。要点は三つです。第一に、AdamWのweightsは直感的に最近の更新の指数移動平均、すなわちEMA（Exponential Moving Average、指数移動平均）で表せる点。第二に、EMAの「有効期間」をエポック単位で考えると、その最適値はモデルやデータ量を変えても大きく変わらない点。第三に、学習率（learning rate）やモデル幅を変えると、同じEMA期間に対応するweight decayの値を変える必要がある点、です。

田中専務

これって要するに、学習の効率を決める“平均を取る期間”を一定に保てば、モデルが大きくなっても同じ感覚で調整できるということですか？

AIメンター拓海

まさにその通りです！例えるなら、工場の在庫補充ルールを考えるとき、過去どれだけの期間の需要を平均して見るかという“窓口期間”を一定にすれば、工場の規模が変わっても管理の感覚は保てる、というイメージですよ。

田中専務

実務では「学習率を上げると性能が良くなる」と聞きますが、同時にweight decayも変えないとダメだと。投資対効果の観点でどのくらい手間が掛かるのでしょうか。

AIメンター拓海

良い質問ですね。ここも三点で整理します。第一に、探索のコストは学習率とweight decayの組合せを小さなグリッドで試すだけで大幅に減る点。第二に、EMA視点で最適なtimescale（タイムスケール）を固定しておけば、対応するweight decayは学習率やデータ量に応じて計算で決められる点。第三に、現場導入は標準化したルール化で十分に自動化でき、人的なチューニングは大きく減る点です。

田中専務

現場で一番怖いのは「ある条件ではうまくいったが別の条件では全く役に立たない」ことです。これって例外ケースはありませんか。

AIメンター拓海

確かに限界はあります。論文はResNetやVision Transformer、NanoGPTで検証していますが、特殊な正則化や極端に異なるデータ分布では調整が必要です。とはいえ、一般的なモデル拡大に対しては再現性が高いという結果が出ていますよ。

田中専務

ありがとうございます。では最後に私の理解を整理します。要するに、EMAの窓を基準にして学習率やモデル幅に合わせてweight decayを計算すれば、規模を変えても安定して性能を出せるということでよろしいですか。投資対効果としても試行回数が減り現場導入しやすくなる、という理解で合っていますか。

AIメンター拓海

その通りです、田中専務。素晴らしい着眼点ですね！大丈夫、一緒に設定ルールを作れば必ず導入できますよ。