OpenAI理论失效、μP失灵？邱锡鹏团队重新定义预训练两大核心超参

本文背景探讨了在大模型预训练中，Batch Size（BS）和Learning Rate（LR）两个核心超参数设置的传统理论（如OpenAI的Critical Batch Size理论和微软的μP）在WSD调度器和MoE架构成为主流的当下可能面临失效。研究目的旨在通过大规模实证研究，重新定义适用于现代预训练范式的Scaling Laws。结论表明，在WSD下，Batch Size应根据动态变化的最优值采用逐步增大的调度策略，而非固定值；对于Learning Rate，基于模型参数量N和数据量D的拟合范式（如幂律公式）比μP迁移范式更有效，且数据量对LR的影响权重大于模型尺寸，同时全局统一LR已足够，无需复杂分层调参。