生活分享

分词(Tokenization)是什么:文本进入模型前的切分

分词是把原始文本转成 token 与编号的处理步骤,不等于为中文句子找出语法上的词。本文从早餐店整理餐品的例子出发,解释词汇表、子词、空白与规范化如何影响结果,分清 BPE、Unigram 与分词工具的角色,并提供检查繁体中文、混合语言及罕见符号的方法。读完能判断问题出在文本切分、模型理解,还是文件读取阶段。

阅读时间约 7 分钟

LINE 分享
左侧文档卡与右侧三块长短不同的圆角色块由橙色直线隔开,以抽象图形示意文本切分。
图片:Mokaair (© Mokaair)
目录
  1. 1. 分词结果为何跟你心中的词不同
  2. 2. 词汇表、算法与工具各自负责什么
  3. 3. 用早餐菜单检查完整处理链
  4. 4. 空白与文本整理为何会改变结果
  5. 5. 分词不是检索分块,也不是中文理解测试

分词(Tokenization)是把原始文本转成模型可处理单位的步骤。日常说的“把句子分成词”容易让人想到语文课,但语言模型的分词器常把一个词再切成较小片段,也可能把空白和标点纳入表示。它追求的是一套可运算的编码方式,不一定是人认为自然的词界。

接下来以早餐店整理餐品名称为例,带你辨认分词器做了什么、没有做什么。你不需要自己训练分词器,也能学会在中文、英文缩写与特殊符号混用时,确认文本是否被正确送进系统,而不是一看到回答错误就怪模型不懂中文。

分词结果为何跟你心中的词不同

假设菜单里有“芝士蛋饼”“冰豆浆”和新取名的套餐。人会根据语义把它们理解为餐点,分词器则根据已建立的词汇表和规则决定片段。常见文本可能有较完整的表示,少见的新名称可能拆得较细;实际边界取决于你使用的分词器,不能只凭眼睛推算。

切完片段之后,程序会把它们转成对应编号。模型的数值运算使用这些编号所对应的表示,而不是直接在纸上的字形上思考。这也说明同一段文本换到不同模型,token 数可能不同:分词器和词汇表不同,选定的片段就可能改变。

不要因此以为被拆得细就完全无法理解。子词方法本来就是为了用有限的词汇表处理更多文本组合。相反,一个餐品刚好只占少量 token,也不能证明模型知道它的成分或价格。文本能被表示,与模型是否掌握这项信息,是两个不同问题。

菜单原稿经分词器生成片段与编号,再送入模型分类;另一路还原文本,回头与原稿对照。
把文件读取、切分与模型判断分开检查,才能找到数据变形的阶段。 · 图片:Mokaair (© Mokaair)
阅读完整文字说明

菜单原稿经分词器生成片段与编号,再送入模型分类;另一路还原文本,回头与原稿对照。

词汇表、算法与工具各自负责什么

Hugging Face 文档整理了 BPE、Unigram 与 WordPiece 等子词方法。直观来说,BPE 的词汇构建会逐步合并常一起出现的片段;Unigram 则从候选片段与概率出发,选择合适的表示。这些是不同策略,不能只凭名称判断哪一种对所有中文任务最好。

SentencePiece 是实现分词与还原的工具,可采用 BPE 或 Unigram 等方法。它的原始项目说明可以直接从原始句子训练,不必先依赖语言专属的分词程序。因此“SentencePiece 和 BPE 哪个好”有时比较的层次就错了,就像把软件工具与工具内的一种运算方法当成互斥产品。

普通用户更需要注意模型与分词器是否配对。自行接入 API 或下载模型时,不能随意把另一套分词器生成的编号输入模型。同一个编号在不同词汇表中可能代表不同片段;即使程序没有立刻报错,输入含义也可能已改变。使用模型附带或官方指定的分词设置最容易避免这类混淆。

用早餐菜单检查完整处理链

以下是示意操作。准备一份测试菜单,包含常见餐点、新套餐名称、英文缩写、全角标点与表情符号。先保留一份纯文本原稿,然后用相应的分词工具查看片段、编号与总数。这份记录不是为了找漂亮的切法,而是建立可比较的基准。

下一步把编号还原为文本,与原稿逐项对照。预期结果是确认名称、标点和空白在这套处理流程中如何保留;有些设置包含规范化,因此应先查看工具规则,不能把所有差异都视为错误。特别留意全角和半角、看起来相同却编码不同的符号,以及多余的换行。

再把同一份菜单交给模型,要求只列出含蛋的餐品,并附上原始名称。若还原文本已经缺字,应先查文件读取、编码或预处理;若还原正确而模型选错餐品,问题更可能在任务说明、数据不足或理解。这样分段检查,比反复改问法更容易找出真正失败的位置。

空白与文本整理为何会改变结果

菜单从 PDF 复制出来,可能每个字中间都夹着空白;表格换行也可能把名称和价格分到不同行。对人而言只是排版瑕疵,对分词器和后续模型却是不同输入。先查看提取后的纯文本,通常比在错误数据上加更多指令有效。

不过清理不代表把所有空白都删掉。英文名称中的空格、餐品与注释的分隔、表格字段之间的界线,都可能承载必要结构。较好的做法是保留原稿,制定明确规则,例如只合并 PDF 产生的异常换行,并人工检查几条边界案例,再进行整批转换。

规范化也需要目的。如果你要找同一种餐点,合并部分字形差异可能方便比对;若要逐字转录合同、序列号或原文引句,改写字符可能造成损失。分词工具提供的能力与你的数据保真需求,要分别确认,不能用“ 看得懂就好”取代数据质量检查。

分词不是检索分块,也不是中文理解测试

文档分块通常把长数据切成段落或片段,以便检索;分词则把送入模型的文本表示成 token。你可以先把整本手册分成章节,再把其中一章经分词器编码,两者同时存在,而且服务于不同目的。把分块调得更小,不等于换了模型的分词方法。

同样,搜索引擎的中文分词常用来建立索引,重点是查询词与文档词如何匹配;语言模型分词则关系到模型输入与训练时的表示。名称相近时,要先问“这个切分结果要交给谁使用”,就能避免把搜索设置与模型设置混在一起。

如果你只用聊天界面,通常无法更换底层分词器,但仍可先清理来源文本、保留清晰字段、避免无意义重复。若开发自己的流程,则应把模型名称、分词设置与预处理版本一起记录。日后 token 数突然改变时,才能知道是内容变了,还是编码规则变了。

概念与使用场景比较;查证于 2026 年 9 月。
概念切分对象主要目的
语言模型分词文本到 token模型表示
中文分词句子中的词语言分析或搜索索引
文档分块长文档中的段落检索与数据组织

token(Token)是什么:AI 如何计算文本长度

文档分块(Chunking):切多长,才不会把答案切断

AI 术语总索引:从 Loop Engineering 到生成式 AI

觉得这篇整理实用吗?分享给需要的朋友

LINE 分享
  • 生活分享

    代理式检索增强生成(Agentic RAG):何时需要再查一次

    代理式检索增强生成让模型参与检索决策,根据问题与已找到的证据选择数据来源、改写查询或继续补查。本文采用 LangGraph 文档中的具体流程,以比较场地借用条件示范它和固定式 RAG 的差别,并说明停止条件、权限、查询记录及成本控制。读完能判断任务需要动态探索,还是用可预测的固定流程就足够。

  • 生活分享

    图谱检索增强生成(GraphRAG):从关系看懂整批文档

    GraphRAG 把实体及其关系纳入检索,帮助回答跨文档的关联与整体主题。本文以 Microsoft 原始论文及官方文档为范围,拆解实体抽取、社区摘要、局部搜索和全局搜索,以地方活动记录示范不同问题需要不同路径。也说明图谱漏连、名称误合并与摘要失真如何影响答案,避免把一张漂亮的关系图误认为已验证的事实。

  • 生活分享

    知识图谱(Knowledge Graph):把事物与关系说清楚

    知识图谱用实体及关系组织数据,让“谁参与什么、在哪里、何时发生”能沿链接查询。本文以社群活动数据演示实体识别、关系方向、来源与时间,介绍资源描述框架(RDF)和属性图的表示差异,也说明图谱不等于可视化或可信事实。读完能判断数据适不适合建图,并理解它如何与数据表、向量搜索及图谱检索增强生成(GraphRAG)搭配。

  • 生活分享

    混合搜索(Hybrid Search):兼顾精确字词与语义

    混合搜索将全文搜索与向量等不同检索结果合并,兼顾精确代码和自然语言需求。本文用设备说明书查询拆解候选获取、去重、排名融合和重新排序,介绍倒数排名融合(RRF)如何用名次融合不同搜索结果,也提醒混合不保证全面更准。读完能用代码题、改写题和无答案题检查质量,并辨认权限、筛选与重复内容造成的偏差。

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享