Apple、テキスト条件付きJEPAによる意味豊かな視覚表現学習手法を発表
要約
AppleのMachine Learning研究チームが、視覚的自己教師あり学習の新手法「Text-Conditional JEPA（TC-JEPA）」を発表した。既存のI-JEPA（Image-based Joint-Embedding Predictive Architecture）は、マスクされた特徴予測による視覚学習アプローチを提供するが、マスクされた位置での視覚的不確実性により、意味的表現の学習が困難という課題があった。TC-JEPAはこの問題を解決するため、画像キャプションを活用して予測の不確実性を減少させる。具体的には、入力テキストトークンに対してスパースクロスアテンションを計算するファイングレインドテキストコンディショナーを使用し、予測されるパッチ特徴を調整する仕組みを導入している。
洞察・気づき
この研究は、視覚的自己教師あり学習における重要な課題である「予測不確実性」に対して、マルチモーダルアプローチで解決策を示している点で注目される。テキスト情報を視覚学習に統合することで、より意味豊かな表現を学習できる可能性を示唆しており、コンピュータビジョンタスクの性能向上が期待される。Appleがこの分野で研究を進めていることは、同社のAI戦略における視覚理解技術の重要性を示している。また、JEPAアーキテクチャの発展により、ラベル付きデータに依存しない効率的な学習手法の実用化が進む可能性がある。