AIモデルの「回路」はどの程度タスク固有か？一致性と特異性の測定研究
要約
機械的解釈可能性におけるサーキット（回路）フレームワークに関する重要な研究論文。従来、AIモデル内の因果的に重要なコンポーネントのスパースサブグラフを特定する手法として注目されていたサーキット分析について、その再利用性、一貫性、特異性を詳しく調査した。6つのタスクと7つのモデルを用いてエッジ帰属パッチング手法で分析した結果、タスク内でのコンポーネント再利用率は高く、共有コンポーネントはタスク性能に必須であることが判明（除去により最大100%の精度低下）。しかし予想外にも、サーキットはタスク固有ではないことが発覚した。あるタスク用のサーキットを除去すると、そのタスク自体と同程度に他のタスクの性能も損なわれる現象を観測。これはタスク間でサーキットが大幅に重複しており、その重複部分が各タスクの性能に因果的に重要だからと判明。一部のサーキットにはタスク固有のコンポーネントも存在するが、サーキット全体の性能に占める割合は限定的だった。
洞察・気づき
この研究は、現在のAI解釈可能性研究の重要な前提に疑問を投げかける画期的な発見である。アテンションヘッドやMLPレイヤーレベルでのサーキット発見は確かに重要なコンポーネントを特定できるが、その汎用性がかえって問題となる可能性を示している。AIモデルの動作を理解し制御するためには、これまで想定されていたよりもはるかに複雑な相互依存関係を考慮する必要がある。特に、モデルの特定の能力だけを選択的に修正したり無効化したりする「外科的介入」の実現が、従来考えられていたより困難である可能性を示唆している。この発見は、AI安全性研究や説明可能AI研究における手法の見直しを促すものであり、より洗練されたモデル制御手法の開発が急務であることを示している。