腾讯混元xMBZUAI港中文新研究：将纠错纳入策略空间，Search-R2重构搜索增强推理学习方式

背景：大语言模型在真实任务中常需进行多轮搜索与推理，但现有方法在长链推理中易因早期错误导致后续推理偏离，且训练时仅依据最终答案优化，无法有效约束中途错误。研究目的：为解决搜索增强推理中的错误传播与信用分配问题，研究团队提出Search-R2方法，通过将推理生成、轨迹判断和错误定位纳入统一的强化学习框架，使模型能定位并修正推理过程中的关键错误。结论：该方法在多项任务中显著提升性能，尤其在多跳推理任务上优势明显，其核心在于有效抑制错误传播，而非依赖参数记忆或增加采样次数，为搜索型智能体提供了更贴近真实失败模式的学习范式。