長文推論精度を大幅改善、新学習法を開発

米テキサス大学オースティン校の研究チームは、大規模言語モデル（LLM）が長い文書を処理・推論する能力を大幅に向上させる新たな学習手法「Randomized YaRN」を開発し、論文として公開した。短い文脈データで学習した際にも、より長い文書への汎化能力を獲得できる点が特徴である。

現在の主要な商用LLMは、比較的短いテキスト列で事前学習されており、契約書や技術仕様書、医療記録など数万字を超える長文書を処理する際に推論精度が著しく低下する課題を抱えていた。これに対し同研究は、学習時にYaRNと呼ばれる位置エンコーディング手法をベースに、モデルが実際には短いデータを処理している際でも、より広い位置範囲からサンプリングした位置情報を割り当てる「ランダム化」と、段階的に長い文脈へ慣らす「長さカリキュラム」を組み合わせた。

評価実験では、8,000トークン未満のデータのみで学習したにもかかわらず、16,000から128,000トークンという広範な長さにわたって推論性能が一貫して向上した。特に学習データの分布から大きく外れた超長文コンテキストで顕著な改善効果が確認されており、汎化能力の高さが示された。

ビジネス上のインパクトは複数の産業領域に及ぶ。法務部門では、M＆A案件における数百ページに及ぶ契約書や目論見書のAI審査精度が向上し、リスク見落とし件数の削減や審査リードタイムの短縮が期待できる。金融機関のリサーチ部門においても、長大な有価証券報告書や規制文書を横断して要因分析を行う際の正答率向上が見込まれ、アナリストの生産性向上に直結する。

製造業の設計・品質管理部門では、機器の技術仕様書や過去の障害報告書を長期にわたって参照しながらトラブルシューティングを行うAIアシスタントの実用性が高まる。また医療分野では、患者の長期診療記録を横断した診断支援や薬剤相互作用の検出精度が改善し、医療過誤リスクの低減に寄与する可能性がある。

コスト面での優位性も見逃せない。本手法の最大の特長は、8,000トークン以下の短文データのみで学習できる点にある。長文学習データの収集・整備コストや、長い文脈を処理するための計算資源コストを抑制したまま、企業が必要とする長文処理能力を獲得できる。AI基盤モデルのファインチューニングを検討するIT部門や、社内LLM整備を進める情報システム部門にとって、総所有コスト（TCO）削減の観点から実装優先度が高い知見といえる。

課題としては、本研究が特定のベンチマークでの評価にとどまっており、実業務データへの適用時の効果については引き続き検証が必要である点が挙げられる。また、対象とするモデルアーキテクチャや既存のファインチューニング手法との組み合わせ適性についても、実導入前に個別評価が求められる。

研究チームは、今後さらに多様な推論タスクや言語への適用拡大を予定しており、エンタープライズ向けLLM開発における長文処理の標準的手法として定着する可能性がある。企業のAI戦略担当者にとって、既存モデルの能力拡張コストを再評価する契機となる研究成果である。