AI×経営戦略2026年9月23日読了約5分

AIエージェント訓練、介入好機をAIが診断

保存

サレスフォースなど研究チームが、複数手順にまたがるAIエージェントの対話のうち、どの発話を訓練すべきかを診断する新手法「Critical-State RL」を発表した。誤った地点で訓練すると成果が横ばいか悪化する一方、正しい地点を選べば最大約14ポイントの精度向上を確認した。

研究の概要

セールスフォース・リサーチなどの研究チームは、AIエージェントの訓練手法として「Critical-State RL」を提案した。この手法は、複数ターンにわたって外部ツールを呼び出しながらタスクを遂行するAIエージェントにおいて、どの発話を訓練すべきかを判断するものである。特に、カスタマーサポートや業務システムとの連携など、AIが複数の手順を踏むことで初めて成果が確定するタスクにおいて、成功か失敗かの報酬が最終結果に依存するため、どの発話や判断に問題があったのかが不明瞭になることが多い。

「Critical-State RL」は、候補となる発話ごとに「その後の展開に左右されるランダムな変動」と「その発話自体が結果を左右する変動」を統計的に切り分けることで、訓練価値の高い地点（Critical State）のみを選び出し、強化学習を行う。研究チームは、業界標準ベンチマークであるBFCL v4（Berkeley Function Calling Leaderboard）を用いてこの手法の検証を実施した。具体的には、必要なツールが使用可能になる直後の応答を選び訓練した結果、ツール未提供タスクにおいて約14ポイントの性能向上が確認された。一方で、診断せずに別の地点を訓練した場合は、成果が横ばいか、むしろ悪化したことが明らかになった。この手法は、引数不足の対応や、同じ関数呼び出しの重複実行回避、対話履歴の記憶管理といった別タスクでも同様の効果を示した。

しくみをやさしく

「Critical-State RL」は、AIエージェントがどの発話を訓練すべきかを科学的に分析する手法である。具体的には、AIエージェントが行う発話の結果が、後の展開にどのように影響を与えるかを評価し、重要な発話を特定する。これにより、訓練の際に無駄な努力を避け、より効果的な結果を得ることができる。従来の方法では、全ての対話ログを無差別に学習させることが一般的であったが、Critical-State RLは特定の重要な発話に焦点を当てることで、訓練の効率を大幅に向上させる可能性がある。

ビジネスへの示唆

本研究の最大の実務的意義は、AIエージェントの追加学習において「どこを訓練するか」が「どれだけ訓練するか」よりも重要であることを示している。企業が自社データでAIエージェントを微調整する際、無差別に対話ログ全体を学習させることは、計算コストに見合う改善が得られない、あるいは既存の性能を損なうリスクを伴う。特に影響が大きいのは、複数システムを横断する業務にAIエージェントを組み込む業界である。

例えば、以下のような業務において、Critical-State RLが活用できる。

カスタマーサポート・コールセンター：問い合わせ対応から社内システム照会、返金処理までを一貫して行うAIエージェントの一次解決率（FCR）向上に寄与する。
ITサービス・ヘルプデスク運用部門：チケット対応の自動化における誤操作率やエスカレーション率の低減を実現する可能性がある。
ECおよび物流企業：在庫確認、注文変更、配送手配など、複数APIを連鎖的に呼び出す業務でのタスク完遂率改善が期待できる。
社内DX推進・AI開発部門：モデル再学習のコストとGPU利用時間の最適化、学習データの取捨選択効率を向上させることができる。

特に、同じ関数呼び出しを重複実行してしまう「無駄なAPIコール」を抑制できる点は、従量課金のAPI利用料やクラウド計算資源のコスト管理に直結する。エージェントが同じ処理を何度も繰り返すことは、応答遅延や外部サービスの利用料増加を引き起こすため、業務効率化を目指す情報システム部門にとって見過ごせない成果である。

現場での導入イメージ

仮にこの手法を導入支援する場合、以下のようなステップを踏むことが考えられる。

棚卸し：現在の業務プロセスとAIエージェントの利用状況を把握し、どの発話が訓練対象となるかを明確にする。これにより、訓練の方向性を定める。
差し込み先の設計：既存のツールや業務フローの中で、どの部分にCritical-State RLを適用するかを設計する。新たなツールを増やさず、既存のシステムに統合する現実解を目指す。
小さく試す（PoC）：選定した発話に対して小規模な検証を行い、Critical-State RLの効果を確認する。この段階で、訓練の成果を具体的に測定し、必要に応じて調整を行う。
運用と横展開：成功したPoCの結果を基に、全体の業務にCritical-State RLを展開する。これにより、訓練の効果を業務全体に広げ、持続的な改善を目指す。

この一連のプロセスを通じて、最終的にはAIエージェントの性能を最大限に引き出し、業務効率を大幅に向上させることが目指される。