トピック: Pretraining

全セクション横断 5 件

米コーネル大学などの研究チームが、大規模言語モデルの計算効率を根本から見直す新アーキテクチャを発表した。学習コストと精度の両面で標準モデルを上回り、企業のAI導入コスト削減に直結する可能性がある。

大規模言語モデルが事前学習の途中で一度習得した規則を損失曲線に痕跡を残さず自律的に忘却する現象が確認された。企業のAI品質管理と学習データ設計に根本的な見直しを迫る発見である。

大規模言語モデルの標準訓練手法「AdamW」が重尾ノイズ環境下で収束する理論的保証を持たないことが、複数大学の共同研究で明示された。AI開発投資の信頼性評価に直結する問題として、産業界の注目を集める。

米研究チームが4ビット浮動小数点演算によるLLM事前学習の根本的欠陥を解明し、改良手法「UFP4」を提案した。大規模モデル訓練のコストと消費電力を大幅に低減できる可能性があり、AI投資を加速する企業の競争力に直結する。

シンガポール国立大学などの研究チームが、一人称視点の人間行動映像でロボットAIを事前学習させると、高コストな遠隔操作ロボットデータを上回る性能が得られることを実証した。製造・物流業界のロボット導入コストを大幅に削減できる可能性がある。