首页 > 计算机科学

破案实锤!Qwen用假信号也能拿高分?虚假的RLVR如何激活隐藏记忆回路?

PaperWeekly 2026-01-28 14:23
文章摘要
本文探讨了在虚假奖励信号下,大语言模型(如Qwen2.5)通过RLVR训练后准确率仍能提升的现象。研究发现,这种提升并非源于推理能力的增强,而是模型激活了内部记忆捷径,高效检索训练数据中的污染知识。研究揭示了“困惑度悖论”这一关键宏观信号,并定位了驱动记忆检索的微观机制,即第18-20层的“锚点层”与后续“结构适配层”构成的协同电路。实验表明,可通过干预特定神经元来操控模型对污染知识的依赖。该工作为评估RLVR效果、检测数据污染及开发去污染技术提供了新视角。
破案实锤!Qwen用假信号也能拿高分?虚假的RLVR如何激活隐藏记忆回路?
本站注明稿件来源为其他媒体的文/图等稿件均为转载稿,本站转载出于非商业性的教育和科研之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请作者速来电或来函联系。
最新文章
Rebutta还在手动查文献?Paper2Rebuttal一键生成有理有据的学术回复
Rebutta还在手动查文献?Paper2Rebuttal一键生成有理有据的学术回复
眼下 CVPR Rebuttal 马上截稿,ECCV 的投稿准备也该提上日程了。审稿人写道:“Your method lacks comparison with recent work XXX(202
12小时前
破案实锤!Qwen用假信号也能拿高分?虚假的RLVR如何激活隐藏记忆回路?
破案实锤!Qwen用假信号也能拿高分?虚假的RLVR如何激活隐藏记忆回路?
无需真实奖励,哪怕用随机、错误的信号进行训练,大模型准确率也能大幅提升?此前,学术界已经发现了一个令人困惑的现象:像 Qwen2.5 这样的模型,即使在 RLVR(带验证奖励的强化学习)过程中给予虚假
2026-01-28
告别CLIP!DeepSeek-OCR-2开源:首创视觉因果流,用LLM重构视觉编码
告别CLIP!DeepSeek-OCR-2开源:首创视觉因果流,用LLM重构视觉编码
仅用几百 Token 读懂复杂文档?DeepSeek-OCR-2 发布:让视觉编码像人眼一样。在多模态大模型的竞赛中,文档解析始终是一个关键瓶颈。无论是早期的 CNN+RNN,还是目前主流的 ViT-
2026-01-27
AAAI 2026 | 告别Attention!北大清华首创波动方程建模,视觉速度精度双超越
AAAI 2026 | 告别Attention!北大清华首创波动方程建模,视觉速度精度双超越
“全局交互”几乎等同于 self-attention:每个 token 都能和所有 token 对话,效果强,但代价也直观 —— 复杂度随 token 数平方增长,分辨率一高就吃不消。现有方法大多从
2026-01-27
Book学术官方微信
Book学术文献互助
Book学术文献互助群
群 号:604180095
Book学术
文献互助 智能选刊 最新文献 互助须知 联系我们:info@booksci.cn
Book学术提供免费学术资源搜索服务,方便国内外学者检索中英文文献。致力于提供最便捷和优质的服务体验。
Copyright © 2023 Book学术 All rights reserved.
ghs 京公网安备 11010802042870号 京ICP备2023020795号-1