トピック: AdamW

全セクション横断 3 件

AdamWの最適化状態を4ビットで保持する際の丸め方を見直した新手法ZIP-SRとZE-EDENが提案された。メモリ削減と学習精度の両立を狙え、LLM自社学習の費用負担を下げる可能性がある。

行列直交化に基づく分散学習最適化手法「DMuon」が公開された。従来比で最大163倍の最適化ステップ高速化を実現し、大規模AIモデルの開発コストと期間を抑制できる可能性がある。

大規模言語モデルの標準訓練手法「AdamW」が重尾ノイズ環境下で収束する理論的保証を持たないことが、複数大学の共同研究で明示された。AI開発投資の信頼性評価に直結する問題として、産業界の注目を集める。