大模型的第一性原理：（一）统计物理篇

本文是系列文章的第一篇，从统计物理视角探讨大模型的第一性原理。背景是当前大模型能力飞速发展，但其理论基础尚不完善，存在“黑盒子”问题。研究目的是通过将统计物理、信号处理和信息论相结合，系统性地揭示大模型背后的数学原理，界定其能力极限。文章核心结论包括：Attention模块和Transformer架构可用能量模型描述，推理即寻找最小能量状态；模型记忆容量随参数线性增加而指数增长，解释了小模型的能力与增训风险；泛化误差上界与Logits绝对值和相关，指导模型小型化操作；最终指出大模型的能力极限是时间序列维度的Granger因果推断，因此Scaling Law虽会延续，但模型无法自主实现真正的符号抽象和逻辑推理。