トピック: KV Cache

全セクション横断 3 件

ループ型言語モデルで状態が固定点に近づく性質を利用し、学習・復号・RLを効率化する手法が提案された。KVキャッシュを3分の1にしても精度を保ち、運用コスト低減に道を開く。

中国の研究チームは、線形注意モデルの再帰状態を6ビットで圧縮する量子化手法STEPQuantを開発した。精度をほぼ維持し、同時処理時のサービング総メモリを最大68.7%減らす。

AIモデルの軽量化技術「量子化」がメモリ使用量を最大85%削減する一方、推論時間とエネルギー消費を増大させることが実証研究で判明した。企業のAI導入コスト試算に再考を迫る結果である。