言語モデルの内在的非ランダムネスを測定する新指標「エントロピック偏差」を提案
要約
この論文では、言語モデルのトークン分布における内在的な非ランダムネスを測定する新しい指標「Entropic Deviation（ED）」を提案している。EDは、モデルのトークン分布と一様分布間の正規化KLダイバージェンスとして定義される。研究では7つのモデル、transformer・状態空間モデルの2アーキテクチャ、9種類のプロンプト、3つの温度設定、5言語にわたって31,200の生成サンプルで系統的な測定を実施した。興味深い発見として、意味的に中立なプロンプト（空文字列、ランダム文字、無意味音節）でもtransformerは約0.30のEDを示し、これは意味的プロンプトで観察される非ランダムネスの88-93％が学習済み重みに内在することを意味している。異なる訓練データと語彙を持つ3つのtransformerファミリー（Gemma、Llama、Qwen）はほぼ同一のED値に収束した。一方、状態空間モデル（Mamba2）は質的に異なる特性を示し、2倍のED、3倍低いシーケンス内分散、温度に対する高い感度（r = -0.78）を持つのに対し、transformerは温度にほぼ無関係（r < 0.05）だった。多言語実験では、5言語で安定した勾配が観察され、これはトークン化と独立して言語自体が非ランダムネスの下限を調節することを示している。
洞察・気づき
この研究は言語モデルの根本的な性質について重要な洞察を提供している。まず、言語モデルには構造的なランダムネスの下限が存在し、これが学習済み重みに内在的に組み込まれていることを定量的に実証した点が画期的だ。異なる訓練データを用いたtransformerファミリーが同様のED値に収束することは、現在の大規模言語モデルが共通の内在的制約を持つことを示唆しており、モデル設計の理論的基盤となる可能性がある。Mamba2のような状態空間モデルが示した質的に異なる特性は、transformerとは根本的に異なる情報処理メカニズムを持つことを意味し、今後のアーキテクチャ選択において重要な判断材料となる。また、言語固有の非ランダムネス勾配の発見は、多言語モデルの設計や性能予測において新たな視点を提供する。開発者にとっては、モデル出力の予測可能性や制御性を理解する上で実用的な指標となり、特に創造性を要求するアプリケーションと一貫性を重視するアプリケーションの使い分けに活用できるだろう。