RL算法推导！PPO->GRPO->DAPO->GSPO->SAPO

本文背景是强化学习（RL）领域中的策略优化算法发展。研究目的是梳理和对比在PPO（近端策略优化）和DPO（直接策略优化）之后的一系列典型工作，包括GRPO、DAPO、GSPO和SAPO，分析它们各自的改进点和核心思想。结论指出，GRPO通过组采样和基于规则的奖励函数，在降低显存占用方面具有优势；DAPO引入了归一化、非对称裁剪和动态采样等改进以提升训练稳定性与效率；GSPO调整了重要性采样系数，对MoE模型训练更友好；SAPO则采用了令牌级别的软信任区域和非对称温度设计，实现了更精细的控制。这些演进旨在平衡训练效率、稳定性和模型性能。