首页 > 计算机科学

告别刷榜!ReLE 为大模型做全维度深度体检

数据派THU 2026-03-02 17:00
文章摘要
本文针对当前大模型评估中存在的“评价危机”,介绍了ReLE评估范式。背景是传统基准测试分数分布坍缩、区分度下降,且单一的标量分数无法全面反映模型能力。研究目的是通过ReLE系统,采用动态方差感知调度器和正交能力矩阵,对304个中文大模型进行高效、深度的能力诊断,揭示其能力各向异性。结论表明,模型排名稳定性差,不存在通用的“SOTA”模型;商业与开源模型在不同领域各有优劣;评估应转向“能力组合管理”,根据具体场景选择合适模型。
告别刷榜!ReLE 为大模型做全维度深度体检
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
最新文章
告别刷榜!ReLE 为大模型做全维度深度体检
告别刷榜!ReLE 为大模型做全维度深度体检
本文约2200字,建议阅读5分钟本文介绍 ReLE 评估范式,破解大模型评价危机,深度诊断其能力各向异性。当 C-Eval、CLUE 等传统榜单逐渐饱和,单纯的“高分”是否还能代表“高能”?近日,来自
21小时前
大模型真听懂了吗?最全综合性口语感知与推理基准 | ICLR'26
大模型真听懂了吗?最全综合性口语感知与推理基准 | ICLR'26
来源:新智元本文约3000字,建议阅读5分钟ICLR 2026:MMSU评测揭示语音大模型存在严重理解缺陷,最佳模型仅60.7%得分,远低于人类89.7%。它通过语言学框架,系统评估语音中的语调、停顿
21小时前
不用顶配 GPU!普通人也能上手的大模型微调技巧(附代码)
不用顶配 GPU!普通人也能上手的大模型微调技巧(附代码)
来源:DeepHub IMBA本文约3800字,建议阅读8分钟本文介绍了 LoRA、QLoRA、DoRA 三种 PEFT 方法,解决大模型微调成本高、耗显存问题。LLaMA、Mistral、Qwen这
2026-03-01
颠覆微调认知:13 个参数让 7B 模型逼近全量微调
颠覆微调认知:13 个参数让 7B 模型逼近全量微调
本文约1500字,建议阅读5分钟本文介绍了 TinyLoRA 以 13 参数借 RL 提升大模型数学推理的研究。26 字节,13 个参数。这是让 7B 模型数学能力逼近全量微调的全部数据。下面这张看似
2026-03-01
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们:info@booksci.cn
Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1