仅需73美元！Karpathy单卡复现GPT-2，揭秘Muon优化器与架构细节

本文背景是AI模型训练成本高昂，2019年训练GPT-2需数万美元。研究目的是展示Andrej Karpathy如何通过软件栈、优化算法和数据质量的综合改进，大幅降低复现GPT-2的成本与时间。核心结论是，使用单节点8xH100，仅耗时约3小时、成本73美元即可完成训练，并在CORE评估指标上超越原GPT-2。这得益于Muon优化器的分层策略、极简的架构调整（如ReLU²激活、Value Embeddings）以及高效的数据处理，证明了优化与细节对降低算力壁垒的关键作用。