LLM加RL遭质疑：故意用错奖励，数学基准也显著提升，AI圈炸了

这篇论文挑战了当前大语言模型（LLM）与强化学习（RL）结合的传统观点，特别是可验证奖励强化学习（RLVR）的有效性。研究发现，使用虚假奖励（如随机奖励或错误奖励）训练Qwen2.5-Math-7B模型，竟然也能显著提升数学推理基准MATH-500的成绩，提升幅度接近真实奖励的效果。然而，这种效果并非在所有模型中都适用，例如在Llama3和OLMo2模型中表现有限。论文进一步探讨了虚假奖励生效的原因，指出这与模型预训练中学到的特定推理策略（如代码推理）密切相关。研究还发现，通过提示或强化学习诱导模型使用代码推理，可以进一步提升Qwen模型的性能，但对其他模型可能产生负面影响。最后，论文建议未来的RLVR研究应在更多样化的模型上进行验证，并更深入地理解预训练对下游任务的影响。