AI による生物学研究能力を測定する新ベンチマーク LABBench2 が発表
要約
AI による科学的発見の加速への期待が高まる中、実世界での科学研究能力を測定するための新しいベンチマーク LABBench2 が発表されました。これは以前の LAB-Bench の改良版で、約1,900のタスクを含み、AI システムが実際の科学的作業をどの程度実行できるかを評価します。従来のベンチマークが知識や推論に焦点を当てていたのに対し、LABBench2 はより現実的な文脈での有用な科学的タスクの実行能力を測定することに重点を置いています。現在の最先端 AI モデルでの評価結果では、LAB-Bench と LABBench2 の両方で能力は大幅に向上しているものの、LABBench2 では難易度が意味のある程度上昇し、サブタスク全体でモデル固有の精度が26%から46%低下することが示されました。研究チームは、このベンチマークがコミュニティでの利用と開発を促進するため、タスクデータセットと評価ハーネスを公開しています。
洞察・気づき
LABBench2 の登場は、AI の科学研究への応用が単なる概念実証段階から実用的な評価段階へと移行していることを示しています。現在の最先端モデルでも大幅な精度低下が見られることは、AI が真に実用的な科学研究を行うためにはまだ重要な技術的課題が残っていることを明確に示しています。これは研究者や開発者にとって、AI 科学助手の開発において具体的な改善目標を設定する重要な指標となります。また、ベンチマークの公開により、科学 AI 分野における標準化された評価手法の確立と、研究コミュニティ全体での協力的な進歩が期待できます。この取り組みは、AI が科学的発見を真に加速するために必要な実世界での能力向上への道筋を示しており、今後の AI 研究開発の方向性に重要な影響を与えると考えられます。