LMの「知識」はタスク依存と判明

研究の概要

イスラエル工科大学（テクニオン）およびテルアビブ大学の研究チームは、大規模言語モデル（LM）が「知識ベース」として機能するという通説を、行動分析とメカニズム解析の両面から検証した。

研究チームが着目したのは、知識ベースとして満たすべき一貫性の条件、すなわち「同一の事実に関する異なる形式の問い合わせが同一の結果を返すか」という点である。実験の結果、LMは同じ事実であっても、タスクの形式が変わると答えられなくなるケースが頻繁に発生することが確認された。

さらにパラメータ局在化実験により、同一の事実に対して異なるタスク形式が、モデル内部の異なるパラメータ部分集合を活性化させることが判明した。これはLMが事実をタスク横断的な抽象表現としてではなく、タスクに紐づいた形で符号化していることを示す機械論的な証拠である。

加えて、近年注目されるチェーン・オブ・ソート（CoT）推論が精度向上をもたらす理由の一部が、評価タスクのパラメータにとどまらず、タスク固有の追加パラメータを動員することにあると示された。これは、CoTの効果がモデル内部の知識へのアクセス経路を変えることで生じる側面があることを示唆する。

ビジネスへの示唆

この知見は、LMを業務システムに組み込んでいる企業にとって看過できない含意を持つ。

最も直接的な影響を受けるのは、医療・法務・金融といった高精度な事実回答を求められる分野である。たとえば医療機関のクリニカルデシジョンサポートや、法律事務所の判例検索支援ツールにおいては、質問の表現形式が変わるだけでモデルの回答が変動するリスクがある。これは誤情報に基づく意思決定を引き起こし、医療過誤リスクや法的瑕疵につながりかねない。

企業のAI活用部門が直ちに見直すべきKPIとして、以下が挙げられる。

• 回答一貫性スコア：同一事実を異なるプロンプト形式で問い合わせた際の一致率
• ハルシネーション率：タスク形式変更時のファクトチェック不合格件数
• プロンプト依存度指標：本番環境での問い合わせ形式の標準化達成率

マーケティング部門やカスタマーサポート部門においても、チャットボットが顧客の言い回しの違いによって矛盾した情報を提供する「知識の揺れ」が、顧客満足度（CSAT）や解決率（FCR）を押し下げる要因になり得る。

また、エンタープライズRAG（検索拡張生成）システムの設計においても影響は大きい。モデルが内部に「知っているはずの知識」も、プロンプトの設計次第でアクセスできなくなるため、外部ナレッジベースとの組み合わせ設計において、プロンプト形式の標準化とテストケースの多様化が不可欠となる。

今後の展望

この研究が示す「モデルが何を知っているかと、どのように問うかはパラメータ空間において不可分である」という結論は、LMの信頼性評価の枠組み自体を問い直すものである。

今後、企業がLMを基幹業務に組み込む際には、単一ベンチマークスコアではなく、多様なプロンプト形式にわたる一貫性テストを標準的な評価プロセスに組み込むことが求められる。モデル選定・調達部門は、従来の精度指標に加え、タスク横断的な知識安定性を評価指標として新設することが現実的な対応策となろう。

AIガバナンスの観点からも、特定プロンプトで動作確認をしたモデルが、本番環境の多様な問い合わせに対して同等の信頼性を維持できるかを継続モニタリングする体制の整備が急務である。モデルの「知識」を静的な資産として扱う時代は終わりつつある。