LLM推論で試験難易度を自動予測

研究の概要

メリーランド大学らの研究チームは、大規模推論モデル（LRM）が問題を解く際に生成する「推論トレース」を構造化し、人間が感じる問題難易度を予測するフレームワーク「Epi2Diff（Episode to Difficulty）」を開発した。論文はarXivに公開されている。

従来の難易度推定手法は、受験者データの大規模な収集（キャリブレーション）や、問題文のテキスト表現のみに依存するものが主流であった。これらは費用と時間がかかるうえ、「なぜその問題が難しいのか」という認知的根拠を示せない欠点があった。

Epi2Diffは推論トレースを「問題理解」「計画立案」「実装」「検証」といった機能的な認知エピソードに自動分類し、各エピソードの規模・配分・遷移パターンから難易度を数値化する。4つの実際の難易度データセットを用いた実験では、教師ありLLMファインチューニングと比較して平均**8.1%**の精度向上を達成した。また、難問ほど「反復的・実装中心のエピソード」が増えるという解釈可能な知見も得られた。

ビジネスへの示唆

この技術が実用化されれば、教育・人材・資格認定の各領域で広範な業務効率化が見込まれる。

教育サービス・EdTech企業にとっては、問題バンクの難易度ラベリングを従来比で大幅に低コスト化できる。受験者データが存在しない新設資格や教科の問題に対しても、キャリブレーションなしで難易度を付与できるため、コンテンツ制作リードタイムの短縮と試験の公平性向上が同時に実現する。

人材・採用領域では、企業の適性検査や技術認定試験の設計部門が直接の受益者となる。難易度の偏りが少ないテストを迅速に構築できれば、**合否判定の信頼性（測定精度KPI）**が向上し、採用ミスマッチのリスクを低減できる。

具体的に影響を受ける部門・KPIは以下の通りである。

• カリキュラム開発部門：難易度設計サイクルの短縮（目標：現状比30〜50%削減）
• 試験センター・資格認定機関：キャリブレーション費用の削減（フィールドテスト受験者数の最小化）
• HR・タレントマネジメント部門：アセスメントの測定精度（識別力・信頼性係数）の改善
• EdTechプロダクト部門：アダプティブラーニングエンジンの推薦精度向上

さらに、難易度の根拠が「認知エピソードの分布」として可視化されるため、**説明可能なAI（XAI）**の観点から規制対応や受験者への説明責任を果たしやすい点も企業には重要である。

今後の展望

Epi2Diffの有効性はSAT（米国大学進学適性試験）由来のデータセットで示されており、日本の大学入学共通テストや各種国家資格試験への適用可能性も高い。ただし、エピソード分類の精度はLRMの推論能力に依存するため、日本語対応の高性能推論モデルの整備が普及の前提条件となる。

中長期的には、問題作成AIと難易度予測AIを組み合わせた自律型テスト設計システムの実現が視野に入る。教育測定の専門家とAIが協働する形で、試験設計プロセス全体のデジタル変革が加速するとみられる。