Token 是什么：AI 眼里的文字，不等于字数

本期词条：Token（词元）。

用快递分拣机的生活类比，看懂 AI 为什么要先把文字切成小块，再转换成编号与内部表示。片中会用英文子词、空格与大小写、中文切分三个例子，说明 Token 不固定等于一个字或一个单词；也会区分字符、词、Token、Token ID 与向量，并解释它为什么总和上下文窗口、输入输出用量一起出现。

所有切分画面均为机制示意。精确 Token 数取决于具体模型和编码，应使用对应的分词器计算。

资料来源：