上交大和辉羲把LLM刻进ROM！推理性能冲2万token/s，GPU时代终结？

背景：在Scaling Law驱动的大模型时代，传统通用计算架构面临“内存墙”瓶颈，端侧存储方案难以同时满足大模型推理的存储容量和访存带宽需求。研究目的：为了从物理层面突破大语言模型（LLM）部署的访存限制，上海交大、辉羲智能及微软亚洲研究院的研究团队提出了基于只读存储（ROM）的创新架构。结论：团队通过ROMA与TOM系列研究，利用ROM+SRAM的异构存储层次结构及算法-架构深度协同，成功将LLM端侧推理速度推向20,000 tokens/s，该方案在具身智能、极端环境及隐私敏感场景中展现出高确定性、低功耗和强稳定性的巨大应用潜力，标志着AI硬件架构向LLM原生设计的重要转向。