150Btokens实测反转！你的DeepSeekmHC可能根本不需要“m”约束

本文背景探讨了DeepSeek mHC模型中引入的双随机矩阵（manifold constraint）约束。研究目的是验证该约束是否必要，通过实验对比了mHC与Identity约束的效果。结论表明，将双随机矩阵替换为简单的单位矩阵（Identity）在150B tokens的预训练中效果更优，因为双随机矩阵的累积乘积会导致信息坍缩为均匀混合矩阵，削弱了深层信号，而Identity约束保持了残差流的语义一致性，避免了衰减问题。