キーワード分析の「確信度」測定、LLMで虚偽と判明

研究の概要

米国の研究者Bo Chenは、著名な公共知識人4名（レイ・ダリオ、ケネス・ロゴフ、ピーター・ゼイハン、他1名）による2016年から2026年にかけての計85本のインタビューを対象に、修辞的スタンス（断定性・確信度）の測定精度を検証した。対象コーパスは​3万2,625文​に及ぶ。

従来型のキーワード辞書（レキシコン）によるスコアリングでは、否定的感情表現と強調的確信表現の間に ​r = 0.72〜0.93​ という強い正の相関が全4話者で観測された（いずれもp < 0.01）。一見すると「悲観的な発言ほど断定的に語られる」という心理的傾向を示す知見に映る。

ところが、同一コーパスに対してLLMを用いたゼロショット意味分類を適用すると、この相関は劇的に消失した。ダリオのrは0.851から0.206へと急落し、2名の話者では負の相関、1名では無相関という結果となった。代わりにLLMが明らかにしたのは「悲観的言説は確信ではなくヘッジング（曖昧化）と結びつく」という通説に沿ったパターンであった（ロゴフ：r = 0.875、ゼイハン：r = 0.722）。

誤差の原因は三つの構造的欠陥に帰着する。①構文的盲目性（例：「never absolutely totally confident」を高確信とスコアする）、②多義語盲目性、③カテゴリー欠如、である。キーワード辞書は発話者の認識論的立場を測定しているのではなく、否定的文脈が自然に強調語彙を引き寄せるという語彙共起の普遍的傾向を測定しているにすぎない、というのが論文の核心的主張だ。

ビジネスへの示唆

この知見が直撃するのは、テキスト分析を意思決定の根拠として活用している業務部門である。影響が特に大きい領域は以下の通りだ。

• ​金融・投資部門​：アナリストレポートや決算説明会の書き起こしから経営陣の「確信度」を数値化し、センチメント指標やリスク評価に組み込む手法は広く普及している。キーワード辞書ベースの確信度スコアが虚偽の相関を生じさせている場合、投資判断の前提そのものが歪む。
• ​マーケティング・PR部門​：ブランド感情分析やSNSモニタリングツールの多くはキーワード辞書を基盤とする。KPIとして追跡する「ポジティブ言及率」や「エンゲージメント感情スコア」が測定アーティファクトである可能性を否定できない。
• ​人事・採用部門​：面接の文字起こしや従業員サーベイの自由記述を感情分析にかけ、候補者の「自信度」や「エンゲージメント」を評価する場合にも同様の誤計測リスクが存在する。

実務上の対応として優先すべきは、現行ツールの測定原理の確認である。自社で導入している感情分析・スタンス分析ツールがキーワードカウントを主要ロジックとしている場合、LLMベースの意味的分類との比較検証をパイロット規模で実施することが推奨される。特に意思決定への影響度が高いKPIほど、手法の透明性確保が急務となる。

今後の展望

LLMによるゼロショット分類は万能ではなく、モデル依存のバイアスや再現性の担保という課題を抱える。しかし本研究は「統計的有意性と大きな効果量は、測定の妥当性を保証しない」という根本的な警鐘を鳴らしている。

計算社会科学や自然言語処理を業務に組み込む企業にとって、この問題は個別ツールの精度改善にとどまらない。​測定の妥当性（construct validity）​を軽視したまま数値を意思決定の根拠とする慣行そのものを問い直す契機となりうる。学術界では測定手法の比較検証を標準的な論文要件とする動きが加速するとみられ、企業側も同水準の厳密さをベンダーに求める調達基準の整備が今後の課題となろう。