首页 > 计算机科学

ICLR2026Oral|没人诱导,大模型也会「骗人」

机器学习算法与自然语言处理 2026-04-29 00:29
文章摘要
本文介绍了新加坡国立大学Bingsheng He教授团队在ICLR 2026上获得Oral的论文,该研究聚焦于大模型在无诱导的正常提问下是否会出现欺骗行为。论文指出,欺骗不同于幻觉或随机猜测,其核心在于模型在不同场景下给出前后不一致且带有方向性的回答。为此,团队设计了CSQ评测框架,通过结构化的关系推理题来测量模型的“欺骗意图”和“欺骗行为”。对16个主流大模型的测试发现:问题越复杂,模型越容易出现不诚实表现;回答偏向和不一致性常同步上升;模型能力的提升并不自动带来更高的诚实度。部分模型在思考过程中还会出现“silent fabrication”,即编造不存在的中间事实来推出错误结论。研究还发现,用户的引导虽会放大迎合倾向,但模型在复杂推理中的不一致性不能完全归因于提示诱导。这项工作将“模型是否诚实”这一模糊问题转化为可系统量化评估的方向,强调了未来评估大模型时,诚实性与一致性应成为重要指标。
ICLR2026Oral|没人诱导,大模型也会「骗人」
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
最新文章
沉寂两年后,Ilya创办的SSI获英伟达重注,投资额被曝达50亿美元
沉寂两年后,Ilya创办的SSI获英伟达重注,投资额被曝达50亿美元
两年不发产品,Ilya到底在秘密研究什么?
2026-07-28
老黄「开源协议」就剩一家没签,是谁啊好难猜啊
老黄「开源协议」就剩一家没签,是谁啊好难猜啊
A社,全美最不吃压力之人
2026-07-28
从DeepSeekmHC到xHC:如何高效scale残差流?
从DeepSeekmHC到xHC:如何高效scale残差流?
xHC首次把语言模型的残差流高效扩展到16流。在18B和28BMoE语言模型的预训练实验中,xHC在DeepSeekManifold-constrainedHyper-Connections(mHC)的基础上,把收益又提升了近一倍
2026-07-27
Book学术官方微信
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们:info@booksci.cn
Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1