AdamWによる暗黙のバイアス：$\ell_\infty$ノルム制約付き最適化（Implicit Bias of AdamW: $\ell_\infty$ Norm Constrained Optimization）

最適化アルゴリズムであるAdamWが持つ特性について、この論文では深入りしています。通常、最適化アルゴリズムはパラメータの調整を行う際に何らかのバイアス—ここでは暗黙のバイアス—が発生します。この暗黙のバイアスが、特定の数学的なノルムで制約された空間での最適化に埋め込まれていることを指摘しています。

具体的に、この論文ではAdamWの暗黙のバイアスが$\ell_\infty$ノルムにより制約されることを数学的に示しています。著者はこれを通じて、AdamWを利用する際の注意点や、どのような状況でより効果的に使用できるのかを検討しています。