Stable-DiffCoder超越自回归模型！扩散模型在代码生成取得新突破

本文介绍了华中科技大学和字节跳动联合推出的Stable-DiffCoder模型，该模型在代码生成领域取得突破。背景方面，扩散语言模型因并行生成等特性受关注，但其能力常落后于自回归模型。研究目的在于探索扩散训练能否提升模型能力上限，通过引入Block Diffusion持续预训练及稳定性优化策略，在复用Seed-Coder架构和数据条件下实现性能反超。结论显示，Stable-DiffCoder在多个代码基准测试中超越了其自回归原型及Qwen2.5-Coder等开源模型，证明扩散训练范式可作为强大的数据增强手段，提升了模型在代码生成、编辑和推理任务上的表现，并为未来模型演进提供了新路径。