王梦迪团队推出TraceRL：迈向扩散语言模型「RL大一统」

背景：鉴于自回归大语言模型在计算效率和吞吐量上的局限性，扩散语言模型受到越来越多关注，但缺乏统一的强化学习框架。研究目的：为解决训练目标与推理轨迹不匹配问题，王梦迪团队提出TraceRL框架，旨在实现对不同架构DLM的高效优化。结论：实验证明TraceRL训练的4B模型在数学推理任务上超越7B自回归模型，并开发出首个长思维链扩散模型，准确率提升18.1%，同时开源了dLLM-RL集成框架。