Dense、MoE之外第三条Scaling路径：交大提出JTok模块，省1/3算力

背景：大模型发展遵循scaling law，但传统Dense模型参数与计算量深度绑定，导致扩展成本高昂；MoE虽能部分解耦，却存在样本效率低、路由负载均衡困难等问题。研究目的：上海交通大学与小红书Hi Lab联合团队提出JTok/JTok-M模块，通过token-indexed parameters实现新的scaling维度，旨在以低计算开销提升模型容量。结论：JTok-M作为插件可挂载于Transformer层，通过静态或动态调制向量提升性能，在650M至61B规模模型中显著降低损失并提升下游任务表现，节省约35%算力，且其扩展遵循可预测的幂律规律，为Dense和MoE之外的第三条scaling路径提供了理论支持和工程可行性。