一句话生成LoRA、长文档瞬间内化：大模型更新成本还能这样摊销？

背景：Transformer模型在处理长序列时面临注意力计算二次方增长和KV-Cache显存占用高的瓶颈，同时监督微调（SFT）流水线也带来高昂的算力与时间成本。研究目的：Sakana AI提出更新成本摊销框架，旨在通过元训练阶段的超网络，将权重更新与上下文处理开销前置，从而在推理阶段实现快速、低资源消耗的任务适配和长文档内化。结论：Doc-to-LoRA能够将长文档即时内化为LoRA适配器，显著降低推理显存（如128K token处理时从12GB降至50MB以内），并在问答任务中实现亚秒级更新延迟和良好性能。Text-to-LoRA则通过自然语言描述直接生成任务特定LoRA权重，在零样本任务自适应上优于基线方法，展示了指令可控性和跨模态泛化潜力。这两种方法共同推动了高效、可扩展的模型部署范式。