AI×経営戦略読了 約6分

自律型AIが陰謀論の投稿意図を文脈から判定

ヘブライ語ツイートを用いた研究チームが、社会的文脈をツールで調べながら陰謀論的投稿の意図を判定するエージェント型AIを提案した。文面のみの分類を上回り、SNS運営や広告業界の監視業務の効率化につながる可能性がある。

自律型AIが陰謀論の投稿意図を文脈から判定
広告

研究の概要

Lior Biton氏とOren Tsur氏は、SNS上の陰謀論的言説を検出するためのエージェント型AIの枠組みを提案した。この研究では、同じ文面が賛同、正当な懸念、批判、風刺、嘲笑といった異なる意図を持つ可能性があることを指摘している。従来の手法は、陰謀論的な主張を見つけることにとどまるが、本研究は発話者の意図、すなわち発話内行為の力を推定することを目指している。

提案された手法は、社会的文脈を照会するツール群を備えたAIエージェントである。このエージェントは投稿を読み、推論の各段階で必要な証拠だけをツールで取得する。評価には、2018年後半から2023年前半までの4年間に公開されたヘブライ語の公開ツイートの​80〜90%​を網羅するデータセットが用いられた。このデータセットには、複数回の選挙、新型コロナ流行期、ワクチン接種キャンペーンの期間が含まれ、多様な社会的文脈を再現できる点が特徴である。

評価は、人手で注釈を付けた敵対的データセットを用いて行われた。文脈を利用するワークフローは、文面のみの分類を一貫して上回る結果を示した。エージェント型は、同じ文脈をあらかじめ全て与えた非エージェント型モデルを含む他の枠組みよりも有意に高い性能を示した。著者らは、文脈を多く与えるだけでは不十分であり、事例ごとに必要な情報を選んで取りに行く適応的な推論が効果的であると結論づけている。また、誤りの傾向やトークン消費の効率とのトレードオフも分析されている。

しくみをやさしく

このエージェント型AIは、SNS上の投稿を分析する際に、単に文面を読むだけでなく、その文面が発信された社会的文脈を考慮する。具体的には、投稿の内容に基づいて、関連する過去の発言や周囲の議論を照会し、投稿の意図をより正確に把握することができる。このプロセスにより、陰謀論的な意図を持つ投稿と、単なる批判や風刺を区別することが可能になる。これにより、従来の手法では見逃されがちな意図の解釈が可能となる。

ビジネスへの示唆

この技術は、特にSNS運営会社のトラスト&セーフティ部門において大きな影響を与える可能性がある。従来のキーワードや文面分類では、陰謀論を批判する投稿や風刺まで誤って拾うリスクがあったが、意図を踏まえた判定が可能になることで、以下のようなKPIの改善が見込まれる。

  • 誤検出率の低下と、人手審査に回す件数の削減
  • 審査1件当たりの処理コストと、対応までの所要時間の短縮
  • 正当な批判や風刺を誤って削除することによる苦情件数の減少

また、広告業界においても、ブランドセーフティの精度向上が期待できる。単語単位で掲載を除外する手法は、広告枠の機会損失を招くことがあるが、投稿の意図を読み分けることで、除外の粒度を細かくし、広告在庫の稼働率とブランド毀損リスクを両立させることが可能となる。

製薬やヘルスケア企業では、ワクチンや医薬品に関する誤情報の監視が広報・リスク管理部門の重要な業務である。この技術を活用することで、賛同と批判を区別し、対応が必要な拡散と放置しても良い言及を切り分けやすくなる。金融機関や上場企業のIR部門においても、風説の流布や不安をあおる言説の早期把握に応用できる可能性がある。

一方、導入に際しては費用面の検討が不可欠である。エージェント型は必要な文脈だけを取得するため、全文脈を投入する方式よりもトークン消費を抑える可能性があるが、ツール呼び出しの回数が増えることで遅延やAPI費用が増加する可能性もある。導入企業は、精度の向上幅と1件当たりの推論コストを比較し、導入の可否を評価する必要がある。

現場での導入イメージ

仮に導入支援に入るなら、以下の4つのステップを経て実施することが考えられる。

  1. ​棚卸し​
    現在のSNS運営や広告業務における投稿の監視体制を見直し、どのような投稿が問題視されているかを把握する。このステップの目指す到達点は、現状の課題を明確にし、どの業務にAIを適用するべきかを特定することである。

  2. ​差し込み先の設計​
    既存のツールや業務フローにAIエージェントをどのように組み込むかを設計する。新たなツールを増やさずに、既存のシステムに自然に統合することを目指す。このステップの目指す到達点は、AIを効果的に活用できる環境を整えることである。

  3. ​小さく試す(PoC)​
    限定的な範囲でAIエージェントを試験的に導入し、その効果を評価する。具体的には、特定の投稿タイプに対してAIの判定精度を測定する。このステップの目指す到達点は、実際の業務におけるAIの効果を確認し、必要な調整を行うことである。

  4. ​運用と横展開​
    試験運用の結果をもとに、AIエージェントの運用を本格化させ、他の業務にも展開する。これにより、全社的な業務効率の向上を図る。このステップの目指す到達点は、AIを活用した業務の標準化と、全体の生産性向上である。

この一連のプロセスを経て、最終的にはSNS運営や広告業務における陰謀論的投稿の検出精度を向上させ、業務の効率化を図ることが目指される。

今後の展望

本研究の限界も明確である。対象はヘブライ語のツイートに限られており、日本語や他のプラットフォームで同様の効果が得られるかは未検証である。また、この手法の強みは、投稿者の過去の発言や周辺の議論といった文脈を照会できる点にある。実務で同様の構成を取るには、投稿データを検索できる基盤の整備が前提となる。網羅的な投稿アーカイブを持たない事業者は、利用できる文脈の範囲が限られ、効果も小さくなる可能性がある。

それでも、意図の解釈を社会的文脈に埋め込まれたタスクとして扱う視点は、陰謀論以外にも広がると考えられる。ハラスメント、詐欺の勧誘、ステルスマーケティングの判定など、文面だけでは判断できない領域においても、このアプローチが活用される可能性がある。企業がAIによるコンテンツ審査を設計する際には、モデルの大型化に頼るのではなく、どの文脈をどの順序で参照させるかという設計が競争力を左右することになる。

関連トピック

出典: Agentic Detection of Online Conspiracies, Lior Biton, Oren Tsur, arXiv:2609.30250v1

本記事はAIにより執筆され、Affectosphere Group が監修しています。

この記事のアイデアを、あなたの現場で試してみませんか。 どのくらいのコストで作れて、どのくらい手間やコストが減るかを一緒に試算し、試作から導入まで伴走します。

導入を相談する →

同セクションの記事

広告