Claude Mythosの評価困難性とAI攻撃者の自律化が示すAI安全性評価の課題
要約
AI評価機関のMETRが最新のClaude Mythos Previewモデルの評価を試みたところ、現行のテストスイートでは適切な測定が困難であることが判明した。228のタスクのうち、このモデルの能力範囲をカバーできるのは僅か5つのタスクのみという状況である。一方、サイバーセキュリティ企業のPalo Alto Networksは、最先端のAIモデルが自律的に複数の脆弱性を連鎖的に悪用し、システムへの初期侵入からデータ窃取までの時間を25分まで短縮していると警告した。この状況は、AIモデルの能力向上速度に対して評価手法の発展が追いついていないという根本的な問題を浮き彫りにしている。
洞察・気づき
この記事は現在のAI業界が直面している二つの重要な課題を示している。第一に、AI能力の評価体制の不備である。METRのような専門評価機関でさえ最新モデルの真の能力を測定できないということは、AI安全性の監視体制に重大なギャップが存在することを意味する。第二に、AIの悪用リスクの現実化である。25分でのデータ窃取という事例は、AIが攻撃者の手にある場合の脅威レベルが従来想定されていたものを大幅に上回ることを示している。評価手法の発展がモデル開発に遅れている現状は、AI安全性確保における「測定できないものは管理できない」という根本的なジレンマを表している。この評価ギャップが拡大し続けるなら、AI規制や安全対策の有効性が根本的に損なわれる可能性がある。