【ICLR2026】缩放推理步数暴露短板：揭示并提升大语言模型中的步数泛化能力

本研究针对大语言模型在推理步数泛化场景下性能下降的问题展开。背景方面，思维链推理虽已成为解决复杂问题的标准范式，但当所需推理步数超出训练分布时，模型性能会显著降低，其内部失效机制尚不明确。研究目的旨在揭示性能下降的内部原因，并探索有效的提升方法。通过多领域任务实验，发现错误集中在少数关键Token位置，源于特定注意力头（错误处理头）通过放大错误轨迹、抑制正确轨迹打破了表征平衡。结论上，研究提出一种轻量级的测试时推理修正方法，能在推理中动态识别并停用错误处理头，实验表明该方法能显著提升模型在多种任务上的推理步数泛化能力。