生活分享
分词(Tokenization)是什么:文本进入模型前的切分
分词是把原始文本转成 token 与编号的处理步骤,不等于为中文句子找出语法上的词。本文从早餐店整理餐品的例子出发,解释词汇表、子词、空白与规范化如何影响结果,分清 BPE、Unigram 与分词工具的角色,并提供检查繁体中文、混合语言及罕见符号的方法。读完能判断问题出在文本切分、模型理解,还是文件读取阶段。
阅读时间约 7 分钟

分词(Tokenization)是把原始文本转成模型可处理单位的步骤。日常说的“把句子分成词”容易让人想到语文课,但语言模型的分词器常把一个词再切成较小片段,也可能把空白和标点纳入表示。它追求的是一套可运算的编码方式,不一定是人认为自然的词界。
接下来以早餐店整理餐品名称为例,带你辨认分词器做了什么、没有做什么。你不需要自己训练分词器,也能学会在中文、英文缩写与特殊符号混用时,确认文本是否被正确送进系统,而不是一看到回答错误就怪模型不懂中文。
分词结果为何跟你心中的词不同
假设菜单里有“芝士蛋饼”“冰豆浆”和新取名的套餐。人会根据语义把它们理解为餐点,分词器则根据已建立的词汇表和规则决定片段。常见文本可能有较完整的表示,少见的新名称可能拆得较细;实际边界取决于你使用的分词器,不能只凭眼睛推算。
切完片段之后,程序会把它们转成对应编号。模型的数值运算使用这些编号所对应的表示,而不是直接在纸上的字形上思考。这也说明同一段文本换到不同模型,token 数可能不同:分词器和词汇表不同,选定的片段就可能改变。
不要因此以为被拆得细就完全无法理解。子词方法本来就是为了用有限的词汇表处理更多文本组合。相反,一个餐品刚好只占少量 token,也不能证明模型知道它的成分或价格。文本能被表示,与模型是否掌握这项信息,是两个不同问题。
阅读完整文字说明
菜单原稿经分词器生成片段与编号,再送入模型分类;另一路还原文本,回头与原稿对照。
词汇表、算法与工具各自负责什么
Hugging Face 文档整理了 BPE、Unigram 与 WordPiece 等子词方法。直观来说,BPE 的词汇构建会逐步合并常一起出现的片段;Unigram 则从候选片段与概率出发,选择合适的表示。这些是不同策略,不能只凭名称判断哪一种对所有中文任务最好。
SentencePiece 是实现分词与还原的工具,可采用 BPE 或 Unigram 等方法。它的原始项目说明可以直接从原始句子训练,不必先依赖语言专属的分词程序。因此“SentencePiece 和 BPE 哪个好”有时比较的层次就错了,就像把软件工具与工具内的一种运算方法当成互斥产品。
普通用户更需要注意模型与分词器是否配对。自行接入 API 或下载模型时,不能随意把另一套分词器生成的编号输入模型。同一个编号在不同词汇表中可能代表不同片段;即使程序没有立刻报错,输入含义也可能已改变。使用模型附带或官方指定的分词设置最容易避免这类混淆。
用早餐菜单检查完整处理链
以下是示意操作。准备一份测试菜单,包含常见餐点、新套餐名称、英文缩写、全角标点与表情符号。先保留一份纯文本原稿,然后用相应的分词工具查看片段、编号与总数。这份记录不是为了找漂亮的切法,而是建立可比较的基准。
下一步把编号还原为文本,与原稿逐项对照。预期结果是确认名称、标点和空白在这套处理流程中如何保留;有些设置包含规范化,因此应先查看工具规则,不能把所有差异都视为错误。特别留意全角和半角、看起来相同却编码不同的符号,以及多余的换行。
再把同一份菜单交给模型,要求只列出含蛋的餐品,并附上原始名称。若还原文本已经缺字,应先查文件读取、编码或预处理;若还原正确而模型选错餐品,问题更可能在任务说明、数据不足或理解。这样分段检查,比反复改问法更容易找出真正失败的位置。
空白与文本整理为何会改变结果
菜单从 PDF 复制出来,可能每个字中间都夹着空白;表格换行也可能把名称和价格分到不同行。对人而言只是排版瑕疵,对分词器和后续模型却是不同输入。先查看提取后的纯文本,通常比在错误数据上加更多指令有效。
不过清理不代表把所有空白都删掉。英文名称中的空格、餐品与注释的分隔、表格字段之间的界线,都可能承载必要结构。较好的做法是保留原稿,制定明确规则,例如只合并 PDF 产生的异常换行,并人工检查几条边界案例,再进行整批转换。
规范化也需要目的。如果你要找同一种餐点,合并部分字形差异可能方便比对;若要逐字转录合同、序列号或原文引句,改写字符可能造成损失。分词工具提供的能力与你的数据保真需求,要分别确认,不能用“AI人工智能(Artificial Intelligence)是什么人工智能是涵盖多种技术与应用的总称,不等于聊天机器人,也不一定会生成文字。本文从 OECD 的系统定义出发,以照片分类和社区资源推荐为例,说明输入、推导、输出与人的目标如何关联,梳理它与机器学习、深度学习和生成式 AI 的关系。读完能用具体问题判断一项 AI 功能在做什么,并区分能力、自主程度与可信度。阅读全文 看得懂就好”取代数据质量检查。
分词不是检索分块,也不是中文理解测试
文档分块通常把长数据切成段落或片段,以便检索;分词则把送入模型的文本表示成 token。你可以先把整本手册分成章节,再把其中一章经分词器编码,两者同时存在,而且服务于不同目的。把分块调得更小,不等于换了模型的分词方法。
同样,搜索引擎的中文分词常用来建立索引,重点是查询词与文档词如何匹配;语言模型分词则关系到模型输入与训练时的表示。名称相近时,要先问“这个切分结果要交给谁使用”,就能避免把搜索设置与模型设置混在一起。
如果你只用聊天界面,通常无法更换底层分词器,但仍可先清理来源文本、保留清晰字段、避免无意义重复。若开发自己的流程,则应把模型名称、分词设置与预处理版本一起记录。日后 token 数突然改变时,才能知道是内容变了,还是编码规则变了。
| 概念 | 切分对象 | 主要目的 |
|---|---|---|
| 语言模型分词 | 文本到 token | 模型表示 |
| 中文分词 | 句子中的词 | 语言分析或搜索索引 |
| 文档分块 | 长文档中的段落 | 检索与数据组织 |
token(Token)是什么:AI 如何计算文本长度
文档分块(Chunking):切多长,才不会把答案切断
AI 术语总索引:从 Loop Engineering 到生成式 AI
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
生活分享
代理式检索增强生成(Agentic RAG):何时需要再查一次
代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。
生活分享
图谱检索增强生成(GraphRAG):从关系看懂整批文档
GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。
生活分享
知识图谱(Knowledge Graph):把事物与关系说清楚
知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。
生活分享
混合搜索(Hybrid Search):兼顾精确字词与语义
混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。
资料来源
- Hugging Face:分词算法查证日期:
- SentencePiece 原始项目查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。