大语言模型挑战研究生：CMPhysBench 发布，评估大语言模型的凝聚态物理水平，迈向科研级智能

背景：大语言模型在文本生成、编程等领域快速发展，但在科学问题特别是凝聚态物理等前沿领域的推理能力尚不明确。研究目的：为评估大语言模型在研究生级别凝聚态物理问题上的能力，上海人工智能实验室等机构联合发布了CMPhysBench评测集，涵盖磁学、超导等六大领域，并提出了SEED评分体系进行细粒度评估。结论：实验显示，即使最强模型Grok-4的平均SEED得分仅36，准确率不足30%，表明大模型在物理概念理解和数学推导上存在显著差距，需进一步优化以提升科研辅助能力。