構造化知識のアンラーニング：新手法GONEとNEDSによる大規模言語モデルの知識除去技術

要約

大規模言語モデル（LLM）が膨大なトレーニングデータを記憶する能力により、安全性、プライバシー、知的財産に関する深刻な問題が生じている中、知識のアンラーニング（学習済み知識の除去）が重要な課題となっています。従来の手法はパラメータ編集、ファインチューニング、蒸留ベースのアプローチなど、平坦な文レベルのデータに焦点を当てていましたが、自然に構造化されたデータにおける関係性、多ホップ推論、論理的知識を見落としていました。本研究では、この課題に対処するため、構造化知識グラフ事実に対するLLMsの知識アンラーニングを評価するベンチマーク「GONE（Graph Oblivion and Node Erasure）」を提案しています。このベンチマークにより、直接的事実除去、推論ベースのリーク、破滅的忘却という3つのアンラーニング効果を分離して評価できます。さらに、グラフの接続性を活用し、アンカー関連近傍を特定する新しいアンラーニングフレームワーク「NEDS（Neighborhood-Expanded Distribution Shaping）」を開発し、忘却すべき事実とその意味的近傍間の正確な決定境界を強制します。LLaMA-3-8BとMistral-7Bでの評価では、NEDSがGONEベンチマークで優れた性能（アンラーニング効率1.000、局所性0.839）を示しました。