刚刚，Thinking Machines Lab首次发长文，揭开LLM推理不确定性真相

背景：大语言模型（LLM）推理中存在不可复现性问题，即使温度参数设为0，相同输入也可能产生不同输出。研究目的：揭示LLM推理不确定性的根本原因，提出实现确定性推理的解决方案。结论：发现不确定性主要源于核函数缺乏批次不变性，而非传统的“并发+浮点”假设；通过实现RMSNorm、矩阵乘法和注意力机制的批次不变性，可确保LLM推理的确定性，这对强化学习等应用至关重要。