仅需73美元！Karpathy单卡复现GPT-2，揭秘Muon优化器与架构细节

背景：2019年OpenAI训练GPT-2需高成本硬件与时间，如今硬件与软件栈进步使得高效复现成为可能。研究目的：Andrej Karpathy旨在通过优化架构、算法与数据，以极低成本（73美元）在单卡上复现GPT-2，并在评估指标上超越原模型。结论：通过采用Muon优化器、精简架构（如ReLU²激活、Value Embeddings）及高效数据处理，成功在3.04小时内训练出性能优于GPT-2的模型，突显了软硬件协同优化的潜力。