JEPA と MLM を組み合わせた新しい自己教師言語表現学習手法
要約
この研究は、BERT以降主流となっているマスク言語モデリング（MLM）の問題点である表面的なトークン依存に対処するため、新しいハイブリッド事前学習手法を提案している。研究者らは、ビジョンと音声分野で成功したJEPA（Joint Embedding Predictive Architectures）をテキスト領域に応用し、JEPA スタイルの潜在空間予測損失と従来の MLM 目標を組み合わせた手法を開発した。学習可能なスカラーパラメータにより、学習中に二つの目標のバランスを動的に調整できる。英語ウィキペディアで同一のアーキテクチャと計算予算（NVIDIA H100）を使用してハイブリッドモデルと純粋な MLM ベースラインを比較実験した結果、GLUE ベンチマーク5タスクでの詳細な表現分析により、ハイブリッドエンコーダーがより均一な埋め込み（-0.16 vs -0.05）を生成し、max pooling でより豊かなスペクトル幾何学を示し、表面的な語彙情報への依存を減らし、セマンティックと語彙のバランスを改善することが明らかになった。
洞察・気づき
この研究は言語表現学習における重要な課題に取り組んでいる。従来のMLMが表面的なトークン情報に過度に依存する問題を、ビジョン分野で成功したJEPAアプローチをテキストに適用することで解決しようとしている点が革新的である。興味深いのは、線形プローブでの下流タスク精度は似ているにも関わらず、表現の幾何学的特性に一貫した有意差が見られることで、これは従来の精度ベースの評価だけでは表現の質を完全に捉えられないことを示唆している。より均一で語彙情報への依存が少ない表現は、より汎用的で堅牢な言語理解につながる可能性がある。この手法は、大規模言語モデルの事前学習において、単なる精度向上だけでなく表現の質的改善を追求する新しい方向性を示しており、今後の言語モデル開発において参考になる知見を提供している。