企業AI エージェントの認可制限下での証拠アクセス問題を測定する新ベンチマーク
要約
企業環境で動作するAIエージェントは、限定されたアクセス権限を持つ検索システムや制約のある証拠環境で作業することが多い。このような環境では、アクセス制御が正しく実行されていても、実際には重要な証拠が認可境界の外にあるにも関わらず、システムが完全に見える回答を生成してしまうという問題が発生する。本論文では、この故障モードを測定するための決定論的ベンチマーク「Partial Evidence Bench」を導入している。ベンチマークには3つのシナリオファミリー（デューデリジェンス、コンプライアンス監査、セキュリティインシデント対応）が含まれ、合計72のタスク、ACL分割されたコーパス、オラクルの完全回答、認可ビュー回答、完全性判定、構造化ギャップレポートオラクルが提供されている。システムの評価は4つの側面で行われる：回答の正確性、完全性の認識、ギャップレポートの品質、危険な完全性行動。ベースライン結果では、サイレントフィルタリングは全てのシナリオファミリーで破滅的に危険であり、明示的な失敗・報告行動により危険な完全性を排除できることが示された。実際のモデルでの予備実験では、システムが完全性を過大主張するか、保守的に過小主張するか、企業で使用可能な形で不完全性を報告するかは、モデルに依存し、シナリオに敏感な違いがあることが明らかになった。
洞察・気づき
この研究は、企業でのAI活用において極めて重要な安全性問題を明らかにしている。特に注目すべきは、AIエージェントが「知らないことを知らない」状況での危険性である。企業の機密情報や部門間のアクセス制御が厳格な環境では、AIが限られた情報に基づいて完全に見える回答を提供することで、意思決定者が誤った判断を下すリスクがある。この問題は従来のAI安全性研究ではあまり焦点が当てられていなかった分野であり、企業でのAI導入が進む中で緊急性が高まっている。ベンチマークの開発により、AIシステムが「分からない」ことを適切に表現し、不完全な情報であることを明示する能力を評価できるようになった。これは、AI システムの透明性と信頼性向上にとって重要な進歩であり、特に金融、医療、法務などの高リスク分野でのAI活用において不可欠な技術となる可能性が高い。企業は今後、AIシステム導入時にこのような不完全性認識能力も評価基準に含める必要があるだろう。