一句话生成LoRA、长文档瞬间内化：大模型更新成本还能这样摊销？

背景：面对超长序列输入带来的二次方注意力计算与KV-Cache显存瓶颈，以及监督微调（SFT）流水线高昂的算力消耗，大规模模型部署存在系统壁垒。研究目的：Sakana AI提出更新成本摊销框架，旨在通过元训练阶段的超网络，将权重更新与上下文处理开销前置，从而在推理阶段实现快速、低资源消耗的任务适配与文档内化。结论：Doc-to-LoRA能够将长文档即时内化为专属LoRA适配器，显著降低推理显存占用和更新延迟；Text-to-LoRA仅通过自然语言描述即可零样本生成任务特定LoRA权重，实现高效的任务自适应。两者均通过单次前向传播替代传统梯度更新，为AI Agent的实时知识内化与持续学习铺平道路。