笔记12分词器 (tokenizer)作用将原始文本转化为模型理解的数字序列LLM负责“理解和生成”而tokenizer负责“把语言变成模型能理解、可复用的格式”分词器会影响模型能力token划分得太“碎片化”或太“笼统”都会影响表达效率所以分词算法不是唯一的不同的分词算法如BPE、WordPiece会出现不同的划分结果它是独立优化的模块通常先在大规模文本上训练词表vocab再固定下来供模型使用。训练分词器1 准备语料运用命名实体识别Named Entity RecognitionNER技术实现数据脱敏去除私密信息个人信息属于噪声干扰分词算法的统计效率2 预分词阶段基于空格和标点的切分、按Unicode类别划分或直接采用字节级切分直接对字符流做分词会因为跨空格或者标点合并难造成难以还原、语义混乱的token3 统计并迭代更新字词候选统计并迭代更新训练分词器与训练神经网络不通往往采用贪心合并和统计频次的方式4 最终输出产物vocab.json token与idmerges.txt记录字词合并规则或者概率模型vocab.json是最终成品清单已知的直接匹配merges.txt是生成成品的工艺流程未知的按规则拆成已知的两者配合做到零未知词(OOV)假设词表vocab.json里有这些 tokenl,o,w,e,r,er,lo,low,lower,un,believe,able现在来了一个完全没见过的词unlowerable词表里没有这个词。Vocab 查不到→ 这时你必须把它拆成词表里有的子词。可问题是该拆成什么样可以拆成[un,low,er,able]也可以拆成[un,lo,w,er,able]还可以拆成[un,l,o,w,e,r,able]好几种拆法都合法但效果不一样。到底用哪种答案就是看 merges.txt。阶段①训练分词器原始文本 → ① 预分词 → ② BPE 合并 → 得到 vocab merges阶段②使用分词器编码新文本推理/生成时新文本 → ① 预分词 → ② BPE 查询 → Token IDs↑ 这个预分词和合并在两端各出现一次训练阶段离线一次使用阶段在线每次输入海量训练语料单个用户句子做的事统计频次、迭代合并、构建词表预分词 → 查表编码有统计吗✅ 有频次统计❌ 无有迭代吗✅ 有反复合并❌ 无产出固定 vocab.json merges.txttoken ID 序列常用分词器1 字节分词器直接维护大小256的词表与UTF-8编码一致压缩率为12 字符分词器一个字母或者汉字为一个字符字符类型UTF-8 字节数Token 数压缩比ASCII英文、数字1 字节1 token1中文、日文、韩文3 字节1 token3拉丁扩展、希腊文等2 字节1 token2Emoji 4 字节1 token43 词级分词器基于空格或者中文将文本切分为词一个词对应一个ID补充正则表达式用于描述字符串长什么样子的规则语言正则来源于regular表示可由一类规则描述用于提取和判断deepseek采用设计专门的预分词阶段用于切块规则4 BPE分词器统计相邻字符对出现的频率将频繁出现的字符对合并为Token思考四种分词算法对比与 LLM 为何选 BPE机制对比BPEWordPieceUnigramSentencePiece合并/挑选准则统计相邻字符对频率用语言模型概率挑最可能的合并删词从大到小删掉让似然损失最小的子词不直接是一种算法是框架方向自底向上小→大拼自底向上自顶向下大→小删可装 BPE / Unigram评分依据纯频次概率/似然似然可配置代表性使用GPT、LLaMA、DeepSeekBERTT5、GemmaLLMamba、T5 等是否依赖空格依赖需预分词依赖不依赖不依赖原始字节流关键差异BPE每次找出现最频繁的相邻对合并纯看次数。WordPiece不是看出现最多而是看合并后整体分词似然提升最大的对。选让 scoreP(xy)/(P(x)·P(y))最大的一对合并Unigram反着来先假设一个大词表逐个删掉对总似然损失最小的子词直到词表达标。SentencePiece不是独立算法而是处理框架。默认不依赖空格——把空格当作普通字符▁处理天然适配日语等无空格语言也免去预分词步骤。为什么现在的 LLM 普遍选 BPE原因说明简单高效只有数频次一个操作训练快、实现简单、容易并行无 OOV子词拆到字符/字节级兜底任何词都能编码字节级扩展最小单元可用 UTF-8 字节 → 能编码任何语言任何字符绝对 OOV-freeGPU 生态成熟GPT 全系都用它工具链、复现资料最全压缩好常见词整词保留、生僻词拆零件压缩率高省 token一句话BPE 以够用 简单 生态成熟 天然无 OOV取胜。WordPiece/Unigram 概率建模更优雅但 LLM 追求鲁棒性与性价比实用主义压倒了理论精致。如何衡量好的分词器压缩效率 vs 语义一致性维度含义好的表现压缩率平均每个 token 承载多少信息每 token 有效信息多、token 数少语义一致性token 是否对应有意义的语言单元“不开心不要拆成不”开心割裂语义鲁棒性对新词、噪声、不同语言的容忍新词能拆、不崩、产出稳定可还原性能否从 ID 无损还原原文空格标点状态不丢失效率编码/解码速度、词表大小词表不过大、延迟可控核心 trade-off压缩率 ↔ 语义一致性压缩率和语义一致性天然冲突——很难同时要最少的 token和最合理语义。压得越狠→ 词更粗更整 → token 少但可能把不该绑的一起绑语义边界错乱拆得越细→ 语义更纯净 → 但 token 变多序列变长成本上升中文例子-整词:[不开心]→3字1token省但开心难以复用到其他场景-子词:[不,开心]→ 语义清晰且开心可复用-单字:[不,开,心]→ 最灵活但 token 最多现代取平衡的做法高频词整词收进词表保语义 省 token低频生僻内容拆成子词保证覆盖。平衡点由词表大小和训练语料分布决定。类比像造乐高——大积木整词拼得快但形状受限小积木子词灵活但拼得慢。好分词器是找到常用部分用大积木、其余用小积木的黄金配比。分词器如何影响实际 LLM 的表现分词器虽是预处理但对模型能力上限影响极大。① 上下文窗口的实际长度被压缩率决定模型窗口2048token固定 压缩率高的分词器 →2048token 能塞进更多信息 → 模型看到更多上下文 压缩率低 → 同样文本吃满窗口 → 长文容易截断丢失直接影响长文档理解、多轮对话、代码生成的好坏。② 生成成本的直接杠杆API 按 token 收费/推理按 token 计算 好的分词器 token 少 → 便宜、生成快 英文1词≈1-2token中文每字≈1-2token直接影响经济成本和速度是工程上最被重视的原因。③ 学习能力与语义token 边界 模型的注意力边界模型基于 token 学习token 之间是离散的跨 token 组合主要靠注意力语义一致的 token→ 更容易学到词的用法/语法/搭配 → 生成更流畅准确语义割裂的 token→ 关联被切断模式更难学生成质量下降好的切分[在新,的,世界,里]→ 模型抓住在...里的句式 坏的切分[在,新,的,世,界,里]→ 每字孤立句式规律难学④ 特殊 token 的设计影响指令遵循BOS/EOS、PAD、角色分隔符等设计直接影响对话模板、指令跟随能力。⑤ 数字与代码切片方式决定推理薄弱点数字20242025拆成[2024,2025]→ 模型可能看出是相邻年份 拆成[20,24,20,25]→ 算术和数字关系更难学知名现象LLM 在大数运算、拼写、中英文混排上出问题根因往往是分词器把内容切碎了。★ 三个终极小结为什么选 BPE简单高效 生态成熟 字节级无 OOV实用主义胜出。好的分词器 在压缩率和语义一致性间找平衡通常用高频整词 低频子词兼顾。对 LLM 的影响决定窗口能装多少信息、生成成本、模型能否学到语义规律进而影响长文能力、质量、成本甚至数字和代码推理。参考链接分词器 ↩︎课程介绍与分词器cs336第一节 ↩︎