パープレキシティ差分による言語モデルのファインチューニング目的検出手法
要約
大規模言語モデルのファインチューニングは有害な行動を導入する可能性があるため、研究者は「モデル生物」と呼ばれる特定の行動を示すようにファインチューニングされたモデルを用いて研究を行っている。しかし、これらの隠された行動を特定することは困難だった。本研究では、パープレキシティ（困惑度）ベースのシンプルな手法を提案している。この手法は、ファインチューニングされたモデルが意図されたコンテキストを超えて行動を過度に一般化する傾向を利用する。具体的には、一般コーパスからの短いランダムなプレフィルを使用してファインチューニングされたモデルから多様な補完を生成し、リファレンスモデルとファインチューニングモデル間のパープレキシティギャップで補完をランク付けする。トップランクの補完は多くの場合、ファインチューニングの目的を明らかにする。76のモデル生物（0.5〜70Bパラメータ）で評価した結果、バックドアモデル、偽の事実を内在化したモデル、敵対的に訓練されたモデルなど、テストしたモデル生物の大多数で手法が有効であることが示された。特に、合成文書ファインチューニングや正確なフレーズ生成用に訓練されたモデルが影響を受けやすい。この手法は次トークン確率のみを必要とするため、APIゲートモデルとも互換性がある。
洞察・気づき
この研究は、AI安全性の分野において重要な技術的ブレークスルーを示している。従来、言語モデルに隠された有害な行動や意図しない学習パターンを検出することは困難だったが、この手法により比較的簡単にファインチューニングの隠された目的を発見できるようになった。特に重要なのは、モデルの内部構造にアクセスする必要がなく、次トークン確率だけで分析できる点である。これにより、商用APIとして提供されているモデルでも安全性評価が可能になる。また、正確な事前ファインチューニングチェックポイントがなくても、異なるファミリーのリファレンスモデルで代替できることも実用性を高めている。この発見は、AI開発者やセキュリティ研究者にとって、モデルの安全性評価やレッドチーミングの新たなツールとなる可能性が高い。一方で、この手法の存在により、悪意のあるファインチューニングを隠蔽する新たな対策も開発される可能性があり、AI安全性の軍拡競争が加速する懸念もある。今後のAIガバナンスや規制において、このような検出技術の標準化や義務化が議論される可能性もある。