中国科大、科大讯飞团队开发ChemEval：化学大模型多层次多维度能力评估的新基准

本文介绍了中国科大和科大讯飞团队开发的ChemEval，一个专门用于评估化学领域大语言模型（LLMs）能力的多层次多维度评估框架。ChemEval通过一系列精心设计的任务，覆盖了从基础化学知识到高级化学概念的多个层面，旨在全面评估LLMs在化学领域的理解和应用能力。研究动机在于现有的基准测试大多仅面向基础概念的问答，缺乏对化学领域更深层次能力的评估。ChemEval的开发填补了这一空白，为化学领域中的LLMs应用提供了宝贵的评估和见解，同时也为未来模型的优化和应用开辟了新的道路。