トピック: Red Teaming

全セクション横断 6 件

AIが対話相手について抱く暗黙の想定を読み出し、書き換える手法BSDが提案された。拒否判断が利用者像に左右されると示され、AI安全性の管理に影響する。

カーネギーメロン大学などの研究チームが、AIエージェントを活用した監査手法「HAAC」を開発した。71人の監査担当者による実験で攻撃成功率と探索範囲が向上した一方、AI生成の評価・報告書への依存増大という新たな課題も判明した。

大規模言語モデルの出力を展開中にリアルタイム監視し、危険なコンテンツを自動検知する手法が提案された。AIを業務に組み込む企業にとって、コンプライアンスリスクの低減と運用コスト削減の両立を可能にする技術として注目される。

大規模言語モデルが敵対的操作を受けた際に自身の状態を正確に認識できないことが実証された。AI導入企業のリスク管理部門にとって、モデルの自己申告に依存した安全策が根本から問い直される。

AIエージェントが個人データを扱う際のGDPR違反を実行時に自動検知・阻止する検証フレームワーク「C-Trace」が発表された。規制対応コストの削減と制裁リスクの低減に直結する技術として注目される。

米アンソロピック社の最新大規模言語モデル2種が、自動化されたジェイルブレーク攻撃により有害な出力を生成することが実証された。企業のAI導入リスク管理に根本的な見直しを迫る研究結果である。