token正式命名为“词元”，token到底是个啥？

本文背景是“词元”（token）这一技术术语通过官方媒体和发布会进入公共视野，成为一个被广泛讨论的新名词。研究目的在于向普通读者解释“词元”究竟是什么、它为何重要、以及它如何作为大模型处理语言的基本单位运作。文章通过比喻（如项链珠子、外卖订单）和对比（与字、词的区别）详细说明词元是模型将语言切分并转换为数字进行计算的基本颗粒，其数量不直接等同于字数或词数，且不同模型的切分方式可能不同。结论指出，理解词元有助于公众更具体地理解AI的工作原理，它连接着文字与数字、理解与计算，并正成为AI时代衡量性能、成本和规模的关键计量单位，类似于电表的度数或手机的流量。