清华姚班校友刘壮团队再发力，无需归一化的Transformer性能进化

背景：Transformer架构中LayerNorm作为标配存在计算成本高、训练不稳定等问题，研究者长期探索无归一化Transformer但面临性能瓶颈。研究目的：提出新型激活层Derf（Dynamic erf），旨在替代传统归一化层，实现无归一化Transformer的稳定训练与性能超越。结论：Derf在多个任务（如图像分类、扩散生成、语音识别、基因组建模和语言模型）中表现优于或持平传统归一化层，验证了其作为简单逐点函数的有效性和泛化优势，推动了更强Transformer架构的发展。