词元
Token
学到 会用 就够：能亲手用起来
你可能会说
“我估算一批论文的处理成本，一个汉字、一个单词和一个词元该怎样区分？”
词元是模型处理序列时使用的离散单位。文本词元可能对应整词、子词、标点或字节片段，并非固定等于一个汉字或单词；计数取决于具体分词器。
使用 AI
科研里的例子
同样一页中文论文和一页英文论文，字符数量相近却可能有不同词元数，影响一次可处理的页数和输出预算。
输入文本先按规则切分，再映射成整数 ID；模型处理这些 ID 对应的向量。某个罕见词可能被拆成许多片段，不同语言与空格写法也会改变数量。输出词元经解码重新组成可读文本，所以界面看到的字数与内部步数不一致。科研中估算长文容量和资源，应使用目标模型的实际计数，并区分输入、输出以及产品额外计入的部分，不能照搬固定中英换算率。
判断
亲手检查一次
在公开分词器演示中输入中文、英文、数字和相同词的大小写变体，记录片段与 ID，比较字数和词元数。
它做不到的
词元的概率不是句子真实性概率；多模态系统里的图像或音频单位，也不能一律套用文本分词规则。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。