顶尖AI挑战北大化院174名顶尖学子，有机化学考场谁更胜一筹？

背景：随着大语言模型在自然科学领域的应用转向复杂推理，现有化学基准多关注基础能力，缺乏对深度推理的系统考察。研究目的：北京大学团队构建了化学大模型基准SUPERChem，旨在通过高难度、防泄漏的题目，系统评估大语言模型的化学推理分析能力，并探究多模态信息的影响。结论：评测显示，前沿模型的化学推理能力仅与化学专业低年级本科生水平相当，在产物结构预测、反应机理识别等高阶任务上存在明显短板，且视觉信息对部分模型产生干扰，表明当前AI从知识记忆到理解物理世界仍有差距。