GPT之父AlecRadford新作：从文档级到Token级，重塑大模型数据过滤范式

背景：大模型预训练数据过滤通常采用文档级方法，但面临精度与召回率的矛盾，可能误伤通用知识。研究目的：探讨将过滤粒度从文档级精细化到Token级，以提升模型安全性和能力保留。结论：Token级过滤在帕累托前沿上优于文档级过滤，能实现高达7000倍的计算效率阻滞，增强对抗鲁棒性，并意外提升模型的拒绝能力，同时减少对通用能力的损耗。