CMU&NYU最新工作解释：存储在权重里的“智能”是从哪来的？

本文背景是经典信息论在解释现代AI（如AlphaZero、大语言模型）如何从确定性过程中产生“智能”时面临悖论。研究目的是提出一种名为“Epiplexity”（认识复杂性）的新度量，以解释在计算能力受限的现实世界中，观察者如何从数据中学习结构化信息。结论表明，信息是主观的，取决于观察者的算力；Epiplexity高的数据（如需要复杂推理的逆序任务）能迫使模型学到更通用的结构，从而提升智能，这为数据筛选和合成数据价值提供了新视角。