トピック: Optimizer

全セクション横断 4 件

研究チームが、LLMの全パラメータ微調整でオプティマイザ状態を174分の1に削減する手法TACOを発表した。80GBのGPU1枚で30B級モデルを扱え、調達費の抑制につながる可能性がある。

米ミネソタ大学などの研究チームが、大規模AIモデルの学習効率を大幅に改善する新最適化アルゴリズム「HiMuon」を発表した。GPU計算コストの削減により、AI開発投資対効果の向上が期待される。

東欧の研究チームが開発した新型AI最適化アルゴリズム「Tensorion」が、深層学習モデルの収束速度と勾配安定性を改善することが示された。製造業や医療画像診断など、高次元データ処理を要する業界のAI開発コスト削減に直結しうる成果である。

Transformer型AIの事前学習を効率化する新最適化アルゴリズム「AngularMuown」が発表された。学習の安定性向上と速度改善により、大規模言語モデルの開発コスト圧縮に直結する可能性がある。