比二维码还小！Meta发布TinyLoRA：13个参数媲美全量，RL完胜SFT

背景：大模型微调通常需要调整大量参数，Meta FAIR等机构探索极低参数下的高效微调方法。研究目的：提出TinyLoRA方法，旨在仅用极少数参数（如13个）激活大模型的推理能力，挑战参数压缩的极限。结论：在强化学习（如GRPO算法）加持下，TinyLoRA仅用13个参数使Qwen2.5-7B在GSM8K数学任务上准确率从76%提升至91%，性能逼近全量微调，且优于监督微调（SFT）；研究还发现模型越大，所需更新参数越少，支持“能力激活假说”，为边缘计算和微调范式提供了新方向。