ARC-AGI-3ベンチマークが登場、200万ドルの賞金も最先端AIは1%未満のスコア
要約
新しいARC-AGI-3ベンチマークが発表され、訓練されていない人間と同等の性能を示すAIに対して200万ドルの賞金が設定された。このベンチマークでは、AIシステムを人間が簡単に解けるインタラクティブなゲーム環境に置く。しかし、GPTやClaude等の最先端フロンティアモデルは全て1%を下回るスコアしか達成できていない。これはベンチマークがAIの最大の利点である大規模データでの事前訓練の恩恵を受けにくい設計になっているためと考えられる。
洞察・気づき
この結果は現在のAIシステムの根本的な限界を浮き彫りにしている。最先端のAIモデルでも、事前に学習していない新しい問題に対する一般化能力や抽象的推論能力はまだ人間に遠く及ばないことを示している。AIが真の汎用人工知能（AGI）に到達するには、単なるスケールアップではなく、新しいアプローチや推論メカニズムが必要であることを示唆している。