DeepSeek-V4的并行策略和计算通信遮掩

本文深入探讨了DeepSeek-V4模型的分布式并行策略，特别是专家并行（EP）中的计算与通信遮掩技术。背景方面，随着模型规模向万亿参数迈进，GPU显存限制和跨节点网络带宽瓶颈成为主要挑战，尤其是从Dense模型切换到MoE后，MFU显著下降。研究目的旨在解析如何通过精细的并行策略设计，在低带宽网络（如InfiniBand）条件下，最大化GPU利用率和训练吞吐量，平衡计算、访存和通信三者之间的关系。结论指出，DeepSeek采用了PP（流水线并行）+ EP（专家并行）+ ZeRO-1的组合方案，并创新性地提出了DualPipe和Waved-EP两种计算通信遮掩技术。DualPipe通过双向流水线调度，在稳态阶段将EP的通信开销隐藏到计算之后，而Waved-EP则是一个更通用的kernel级方案，将专家切分为多个wave，在wave间并行化dispatch、计算和combine，从而在小批次场景下也能实现高效遮掩。这些技术使得在8卡节点+IB网络的低成本硬件上高效训练万亿参数模型成为可能，体现了极致的工程平衡艺术。