トピック: Quantization

全セクション横断 7 件

AdamWの最適化状態を4ビットで保持する際の丸め方を見直した新手法ZIP-SRとZE-EDENが提案された。メモリ削減と学習精度の両立を狙え、LLM自社学習の費用負担を下げる可能性がある。

米UCバークレー校などの研究チームが、線形注意型LLMの再帰状態を8ビットに量子化しても精度を保つ手法LeapQuantを開発した。長文推論の費用を下げ、実運用の採算改善に資する成果である。

中国の研究チームは、線形注意モデルの再帰状態を6ビットで圧縮する量子化手法STEPQuantを開発した。精度をほぼ維持し、同時処理時のサービング総メモリを最大68.7%減らす。

東京大学らの研究チームが開発した「ViQ」は、画像をテキストと同一の離散表現に変換しつつ意味情報と細部品質を両立する。マルチモーダルAIの学習コストを最大70%削減できると実証され、企業のAI導入コスト構造を根本から変える可能性がある。

AIモデルの軽量化技術「量子化」がメモリ使用量を最大85%削減する一方、推論時間とエネルギー消費を増大させることが実証研究で判明した。企業のAI導入コスト試算に再考を迫る結果である。

深層学習モデルを自動的に最大6.72倍圧縮する階層型強化学習フレームワーク「HiReLC」が発表された。推論コストの削減と精度維持を両立し、エッジAI展開の経済性を根本から変える可能性がある。

米研究チームが開発した「UltraQuant」は、AIエージェントのメモリ圧縮技術により応答速度を最大3.47倍に高める。GPU運用コストの削減と処理能力の向上を同時に実現し、企業のAI活用における経済性を根本から変える可能性がある。