聊聊On-PolicyDistillation与那该死的ReverseKL

本文探讨了在资源有限条件下，如何通过在线策略蒸馏将大模型能力迁移至小模型。背景上，传统有监督微调存在暴露偏差问题，学生模型难以应对推理阶段的错误状态。研究目的旨在分析在线策略蒸馏中不同分布差异度量方法的作用机制，包括前向KL散度、反向KL散度和JSD散度。结论指出，前向KL过于严厉易导致输出模糊，反向KL虽能因材施教但可能引发模式坍塌，而JSD通过混合分布平衡师生要求，提供稳定训练并避免梯度爆炸，为高效模型蒸馏提供了可行路径。