CMU&NYU最新工作解释：存储在权重里的“智能”是从哪来的？

本文探讨了经典信息论在解释现代AI系统（如AlphaZero和LLM）智能来源时面临的悖论。背景是，从信息论角度看，确定性过程不创造新信息，但这与AI通过训练获得“智能”的直觉相悖。研究目的是为了解决这一矛盾，论文《From Entropy to Epiplexity》提出了“认识复杂性”（Epiplexity）这一新度量，强调信息的价值取决于观察者的计算能力。结论指出，智能的本质是模型为在有限算力下压缩数据而构建的复杂程序，Epiplexity高的数据（如需要推理的结构化数据）能迫使模型学到更通用的知识，这为数据筛选和合成数据价值提供了新视角。