LLM竟藏多重策略？自动化所 × 腾讯揭示大模型RL多策略博弈新机制

本文背景在于大模型强化学习研究中，通常将大语言模型视为单一策略优化，忽略了其内部复杂的层级演化机制。研究目的旨在通过可解释性分析揭示LLM内部包含多个可采样的内部策略，并基于此提出新的强化学习算法。研究团队发现不同模型家族如Llama与Qwen在推理过程中展现出截然不同的推理熵模式，例如Qwen系列呈现渐进式结构化推理。基于这些发现，提出了自底向上的策略优化算法，通过在训练早期优化底层内部策略来重构模型的基础推理能力。结论表明，该算法在复杂数学推理任务上显著优于传统方法，为理解大模型内部工作机制和强化学习算法设计提供了新视角。