トピック: Post-Training

全セクション横断 7 件

大規模言語モデルの追加学習用データを選ぶ際、出力層の勾配だけで全勾配に近い性能を保てることが判明した。特徴抽出の演算量はSFTで9.7分の1に減り、AI開発費の抑制に直結し得る。

米大学などの研究チームが、LLMの数学的理解を4能力で診断する新指標を提案した。正答率に隠れた弱点は「発見」にあり、補強で推論精度が向上するため、業務AIの品質改善に直結する。

中国の研究チームが甲骨文字の意味解析に特化したAIフレームワーク「OracleAnalyser」を発表した。小規模モデルで大規模モデルを凌駕する性能を示し、文化財デジタル化や教育コンテンツ産業に実用的な変革をもたらす可能性がある。

大規模言語モデルの強化学習訓練で生じる「エントロピー崩壊」を抑制する手法「STARE」が発表された。推論精度が最大8ポイント向上し、AIモデルの実用化コスト削減に直結する成果である。

米イェール大学の研究チームが、AIの推論モデルを構造化された評価基準で訓練する「ルーブリック条件付き自己蒸留」を発表した。従来手法を上回る精度を示し、企業のAI内製化コスト削減に直結する可能性がある。

中国・英国の研究チームが拡散型大規模言語モデル向けの自己蒸留学習手法「d-OPSD」を発表した。従来手法比で最適化ステップを約90%削減しつつ推論精度を向上させ、AI開発コストの大幅圧縮につながる可能性がある。

米研究者らがロボットポリシーの推論時誘導と自己改善を可能にするフレームワーク「VERITAS」を発表した。人間の介入なしに専門家デモと同等の学習効率を実現する本技術は、製造・物流業界の自動化コスト構造を根本から変える可能性を持つ。