Brain Scoreによる言語の共通特性追跡：多言語と構造化シーケンスからの証拠
要約
この研究では、言語モデルと人間の言語処理の類似性について、Brain Score（BS）フレームワークを用いて検証しました。BSは読書中のfMRI活動を言語モデルの活動から予測する手法です。研究者らは様々な入力データで訓練した言語モデルを評価した結果、異なる言語族の多様な自然言語で訓練したモデルが非常に類似したBS性能を示すことを発見しました。興味深いことに、人間のゲノム、Pythonコード、純粋な階層構造（ネストした括弧）などの構造化データで訓練したモデルも、場合によっては自然言語に近い良好な性能を示しました。
洞察・気づき
この研究は、AI評価指標の解釈において重要な警鐘を鳴らしています。Brain Scoreが高いことが必ずしも人間らしい言語処理を意味するわけではないことが明らかになりました。言語モデルは言語特有の処理ではなく、様々な構造化データに共通する構造パターンを抽出する能力を発揮している可能性があります。これは、現在広く使われている評価指標が、私たちが思っているほど言語処理の本質を捉えていない可能性を示唆しており、より精密で人間らしさを正確に測定できる評価手法の開発が急務であることを示しています。