2026开年新风向：上下文即Teacher，三文详解Self-Distillation新范式

本文围绕Self-Distillation（自蒸馏）新范式展开，背景是传统知识蒸馏依赖外部强模型作为教师，而近期MIT、ETH Zurich和UCLA等团队的研究转向利用模型自身在推理时的上下文构建内部教师。研究目的是探讨这种基于上下文的On-Policy自蒸馏如何在持续学习、强化学习和复杂推理等不同领域提升模型训练效率和性能。结论表明，在持续学习中，通过演示上下文（SDFT）能有效缓解灾难性遗忘；在强化学习中，利用环境反馈上下文（SDPO）可将稀疏奖励转化为密集的令牌级监督；在复杂推理中，借助真实答案上下文（OPSD）能优化推理路径搜索。这一范式通过将推理计算转化为训练信号，为垂直领域模型开发提供了高性价比的方案。