トピック: Residual Stream

全セクション横断 4 件

大規模言語モデルの内部処理を層ごとに意味論的に追跡する新手法「SemRF」が発表された。モデルの軽量化や品質保証に直結する知見として、AI開発・導入企業の注目を集めそうだ。

視覚言語モデルが視覚情報と記憶知識の矛盾をどう解決するかを示す因果的メカニズムが特定された。わずか数%の注意ヘッドが挙動を支配しており、医療・製造・小売など現場導入企業のリスク管理に直結する知見である。

カナダの研究チームが、言語モデルの層ごとにパラメータ容量を傾斜配分する「Tapered Language Models」を発表。同一パラメータ数・計算量のまま精度を向上させる手法として、AI開発コスト削減に直結する可能性を示した。

MITとIBMの研究チームが開発した「><former」は、層ごとに幅を変える新設計でLLMの計算量を22%削減する。クラウドAI基盤を運営する企業にとってコスト構造の抜本的見直しを迫る成果である。