Apple、大規模言語モデルの推論学習を効率化する「Goldilocks RL」手法を発表
要約
Appleの機械学習研究チームが、大規模言語モデルの推論能力向上における強化学習の課題を解決する新手法「Goldilocks」を提案した。従来の強化学習では、スパース報酬（まばらな報酬）により、モデルが広大な探索空間で最小限のフィードバックしか得られず、学習効率が極めて低いという問題があった。この課題に対し、従来のカリキュラム学習は複雑さに基づいてデータを順序付けするが、特定のモデルに適した順序が不明確であった。Goldillocksは教師モデルが各問題の難易度を生徒モデルに対して予測する教師駆動のデータサンプリング戦略を採用し、モデルにとって「ちょうど良い」難易度の問題を選択することで学習効率を大幅に向上させる。この手法により、推論タスクにおける学習の収束速度と性能の両方が改善されることが期待される。
洞察・気づき
この研究は、AI学習における「適切な難易度設定」の重要性を示している。人間の学習と同様に、AI モデルも易しすぎず難しすぎない「ちょうど良い」レベルの課題から最も効率的に学習できるという考え方だ。Appleのようなテック大手が効率的な学習手法の研究に注力していることは、今後のLLM開発コストの削減と性能向上の両立が業界全体の重要課題であることを示している。特に推論能力の向上は、ChatGPTやClaude等の対話AIの質的向上に直結するため、この手法の実用化は次世代AIサービスの競争力を左右する可能性がある。また、学習効率の向上は計算資源の削減にもつながり、より持続可能なAI開発への道筋を示している。