AI×経営戦略2026年9月25日読了約6分

LLMの実行時挙動推論、最高精度37%にとどまる

保存

研究チームは、実在するPythonリポジトリ12件から480問を作成した新ベンチマーク「SWE-Flux」を公表した。5種のLLMのうち最高の正答率は37%で、プログラム実行時の挙動の理解に課題が残ることが示された。

研究チームは、大規模言語モデル（LLM）がプログラムの実行時の挙動をどこまで推論できるかを測る評価基準「SWE-Flux」を開発し、論文として公開した。従来のリポジトリ単位の質問応答ベンチマークは静的なコード理解が中心であり、採点にもLLMによる評価が使われることが多かった。実行推論を扱う既存の評価も、コード断片や関数単位にとどまっていた。これに対し、SWE-Fluxは実際のプログラム実行に基づく新たな評価基準を提供するものである。

研究の概要

SWE-Fluxは、実在するPython開発リポジトリ12件から480問を収録している。正解は人手で書いたものでも、LLMが判定したものでもなく、計測コードを仕込んだテスト実行から自動的に採取した値である。出題範囲は制御フロー、ループ、プログラム状態、データフロー、例外、プログラム不変条件であり、単一テストに関する問いと複数テストにまたがる問いの双方を含む。

5種類のLLMで評価した結果、最高の正答率は37%であった。不変条件、手続き内の制御フロー、例外、単純なループといった局所的な挙動には比較的強いが、一方でデータフロー、手続き間にまたがる実行、正確な状態の推論、テストスイート全体での集計には苦戦していることが示された。さらに研究チームは、入力を摂動させることで新しい問題を自動生成できることも示した。選定した問題の約90%で有効な派生問題を得られ、それらは評価対象モデルにとって大幅に難しかったという。

しくみをやさしく

SWE-Fluxの仕組みは、実際にプログラムを実行し、その結果を基に問題を作成するものである。従来の方法では、コードの静的な解析に依存していたが、SWE-Fluxは動的な実行結果に基づくため、より実践的な評価が可能である。これにより、プログラムの挙動をより正確に理解するための基準が提供される。

ビジネスへの示唆

本結果は、AIコーディング支援の導入を進める企業にとって、期待値の設定に直結する。コード生成や要約で高い性能を示すモデルでも、実際に動かしたときに変数の値がどう変わり、例外がどこで発生するかを正確に追えるとは限らない。障害の原因調査や不具合修正をAIに一任する運用は、現時点では慎重な設計が求められる。

影響が想定される部門と指標は次のとおりである。

ソフトウェア開発部門：障害解析やデバッグでの平均復旧時間（MTTR）、AIが提示した修正案の採用率
品質保証部門：欠陥流出率、コードレビューの所要時間
金融・製造・通信などの情報システム部門：レガシーシステムの保守工数、仕様調査にかかる時間
調達・IT企画部門：AIツール選定における評価コストと導入後の効果検証

実務上の使い分けとしては、局所的な挙動の確認や例外の説明はAIの得意領域とみなし、関数間にまたがるデータの流れや複雑な状態遷移の判断は人間のレビューを残す方針が合理的である。AIによる自動修正を本番に反映する場合は、テスト実行結果による検証工程を必須とすることで、誤った推論に起因する手戻りを抑えられる。

ベンチマークの作り方そのものも、企業に応用の余地がある。SWE-Fluxは、計測付きのテスト実行から正解を自動採取するため、人手による作問や、LLMによる採点に依存しない。同様の仕組みを自社のリポジトリに適用すれば、自社コードベースを対象にした再現性の高いモデル比較が可能になると考えられる。入力の摂動で派生問題を作れるため、公開ベンチマークの内容を事前に学習したモデルによる過大評価も避けやすい。ベンダー選定や、モデル更新時の回帰確認に活用できる可能性がある。

現場での導入イメージ

仮に導入支援に入るなら、以下の4つのステップを経て、AIを活用したプログラム実行時の挙動理解を促進することが目指される。

棚卸し
現在のプログラムの実行環境やコードベースを詳細に把握し、どの部分がAIの支援を受けるべきかを明確にする。目指す到達点は、AI導入の対象となる業務の全体像を把握することである。
差し込み先の設計
既存のツールや業務プロセスにAIをどのように組み込むかを設計する。新たなツールを増やさず、既存のフローにスムーズに統合することを目指す。これにより、業務の効率化を図る。
小さく試す（PoC）
限定的な範囲でAIの導入を試行し、その効果を測定する。目指す到達点は、実際の業務におけるAIの有用性を確認することである。
運用と横展開
成功したPoCを基に、AIの運用を本格化させ、他の業務部門にも展開する。目指す到達点は、全社的にAIを活用した業務改善を実現することである。

これらのステップを経て、最終的にはプログラムの実行時挙動を正確に理解し、AIを活用した障害解析やデバッグの効率化を図ることが目指される。

今後の展望

今回の対象はPythonの12リポジトリ、480問に限られるため、他の言語や、より大規模で複雑な業務システムに結果がそのまま当てはまるかは、今後の検証課題である。一方、最も高い精度でも4割に届かないという事実は、実行時挙動の理解がLLMの改善余地の大きい領域であることを示す。実際にコードを実行して得た情報をモデルに参照させる設計など、実行環境と連携する開発支援ツールの需要が高まる可能性がある。生成AIを開発現場に組み込む企業は、コード生成の品質だけでなく、実行時挙動を踏まえた検証能力を評価軸に加えることが望ましい。