从DeepSeekmHC到xHC：如何高效scale残差流？

本文探讨了如何高效扩展语言模型的残差流，作者在复现DeepSeek mHC的基础上，提出xHC（Expanded Hyper-Connections）方法。背景方面，传统残差流扩展在增大残差流数量（N）时存在边际收益递减和计算成本激增的问题。研究目的是解决这两个瓶颈：一是大N下写入信息多样性不足，二是更新所有流导致算力开销过大。通过Temporal Feature Augmentation (TFA)从相邻token提取多粒度局部特征，增加写入信息的多样性；同时采用非对称架构（Dense Read, Sparse Write），每层仅更新部分流，大幅降低计算成本。实验在18B和28B MoE模型上进行，xHC在同等FLOPs下相比mHC分别提升4.0和3.1个平均分，且验证了xHC与Muon优化器的兼容性。Scaling Law曲线显示，xHC达到相同loss所需的计算量仅为vanilla模型的67%。结果表明，xHC使残差流数量成为可有效扩展的维度，是目前同计算预算下最强的残差流改进方法之一。