LLM障害分析の精度、実態は2割どまり

研究の概要

香港中文大学などの研究チームは、大規模言語モデル（LLM）のエージェントが企業システムの障害原因を特定する能力を厳密に評価するベンチマーク「​OpenRCA 2.0​」を発表した。従来の評価手法が「最終的な根本原因」のラベルのみを正解とするのに対し、同研究では障害がどのように伝播したかの「因果プロセス」まで含めた段階的評価プロトコル「PAVE」を導入している。

PAVEは、意図的に障害を注入する「フォルト・インジェクション」の実験記録を活用し、原因から結果へと順方向に因果連鎖を再構築する手法である。500件のインスタンスから成るデータセットを用いて、最先端LLM11モデルを評価した結果、​正確な根本原因セットを特定できたのは平均20.7%​にとどまった。

注目すべきは「根拠なき診断」と呼ばれる失敗モードの発見である。少なくとも一つの正しい障害サービスを特定できた割合は76.0%に達する一方、その診断を検証済みの因果伝播経路と結びつけられた割合は​61.5%​に下落した。つまり、エージェントは正しい答えを偶然当てているケースが相当数存在し、従来の評価指標ではこの欠陥が見えない構造になっていた。

ビジネスへの示唆

この研究が直撃するのは、AIOps（AI活用型ITオペレーション）への投資を加速させている金融・通信・EC・クラウドサービス業界である。これらの業種では、システム障害時の​MTTR（平均復旧時間）​短縮をKPIに掲げ、LLMエージェントによる自動根本原因分析の導入を検討または実運用している企業が増加している。

研究結果が示す危険性は二重構造を持つ。

• ​過信リスク​：エージェントが「正しい原因サービス名」を出力しても、その根拠となる因果経路が誤っている場合、エンジニアは誤った方向で対処を進める可能性がある。
• ​評価指標の不備​：現行の多くのAIOpsソリューションが採用するアウトカム評価では、このような根拠なき診断を検出できない。

影響を受ける主な部門・KPIは以下のとおりである。

• ITインフラ・SRE部門：MTTR、インシデント再発率
• システム品質保証部門：障害対応精度、誤検知率
• 経営企画・DX推進部門：AI投資対効果（ROI）の算出基準

企業がAIベースのRCAツールを調達・評価する際には、アウトカム精度だけでなく因果プロセスの整合性を測定できるベンチマークへの準拠を調達要件に盛り込むことが、リスク管理上の重要な検討事項となる。

今後の展望

OpenRCA 2.0はクロスシステム対応の評価基盤として設計されており、特定のシステムアーキテクチャに依存しない汎用性を持つ。研究チームはPAVEプロトコルを公開することで、業界横断での標準化を促す狙いがあるとみられる。

中長期的には、本研究が提唱する因果プロセス教師あり学習のアプローチが、LLMの​ファインチューニング​やエージェント設計の指針として採用される可能性がある。AIシステムが「答えを知っている」ことと「なぜその答えに至ったかを説明できる」ことは別問題であり、特に金融・医療・インフラ領域では説明責任の観点からも後者の重要性が増している。企業のAI導入担当者は、ベンダー選定の評価軸を早急に見直す必要があるだろう。