GPT之父Alec Radford新作：从文档级到Token级，重塑大模型数据过滤范式

本文探讨了在Scaling Law背景下，通过将预训练数据过滤粒度从文档级细化到Token级，以解决模型安全与能力平衡的问题。研究背景是传统文档级过滤在移除有害信息时容易误伤有用内容，导致模型通用能力下降。研究目的是验证Token级过滤在提升安全性的同时，能否更好地保留知识。结论表明，Token级过滤能实现高达7000倍的计算效率阻滞，增强模型对抗性鲁棒性，并意外提升拒绝能力，为数据工程提供了精细化治理的新范式。