北大团队发布化学大模型基准SUPERChem：挑战多模态高难度化学推理

背景：随着大语言模型在自然科学领域向复杂推理发展，现有化学基准多关注基础能力，缺乏对深度推理的系统评估。研究目的：北京大学团队发布化学大模型基准SUPERChem，旨在构建一个专注评估大语言模型化学推理分析能力的新体系，以推动化学智能评测的深入发展。结论：评测结果显示，当前前沿模型的化学推理能力仅接近化学专业低年级本科生水平，在高阶推理任务上存在明显短板；多模态信息对不同模型的影响具有差异性；该基准为后续模型的优化提供了明确方向。