AI時代の教育評価：人間とAIが判定する学生の批判的思考力研究
要約
この研究は、生成AI時代における学生の批判的思考能力を、反論作成を通じて評価する介入研究です。研究では36名の学生に4つの論文テーマから1つを選んで論述させ、焦点・論理・内容・スタイル・正確性・参考文献の6つの評価項目を用いて、人間（学生同士の相互評価2回と経験豊富な教師1回）とAI（6つの最先端大規模言語モデル）による評価を実施しました。35件の有効な提出物を5段階評価で分析した結果、2つの重要な発見がありました。第一に、学生が自分で作成したAI生成コンテンツに対する反論には、批判的思考の重要要素である論理性が含まれていることが確認されました。第二に、明確な評価基準があれば、生成AIを使って学生の文章作品を大規模に評価することが可能であり、これらのAI評価は人間の評価と高い一致を示すことが判明しました（Gwets AC2信頼性係数0.33）。
洞察・気づき
この研究は、AI時代の教育評価において重要な示唆を提供しています。生成AI普及による「不正行為」や「認知的負荷軽減」への懸念がある中で、適切に設計された課題により学生の真の批判的思考力を評価できることが示されました。特に、AI生成コンテンツに対する反論作成は、学生の独自の思考力を測る有効な手法として機能することが証明されています。また、AIによる評価の信頼性が人間評価と同程度であることは、教育現場の評価業務効率化に大きな可能性を示しています。これにより、教師はより多くの時間を個別指導や創造的な教育活動に充てることができるでしょう。一方で、0.33という信頼性係数は改善の余地があり、評価基準の精緻化やAIモデルの更なる進歩が求められます。