分詞（Tokenization）是什麼：文字進入模型前的切分

分詞（Tokenization）是把原始文字轉成模型可處理單位的步驟。日常說的「把句子分成詞」容易讓人想到國文課，但語言模型的分詞器常把一個詞再切成較小片段，也可能把空白和標點納入表示。它追求的是一套可運算的編碼方式，不一定是人認為自然的詞界。

接下來以早餐店整理品項名稱為例，帶你辨認分詞器做了什麼、沒有做什麼。你不需要自己訓練分詞器，也能學會在中文、英文縮寫與特殊符號混用時，確認文字是否被正確送進系統，而不是一看到回答錯誤就怪模型不懂中文。

分詞結果為何跟你心中的詞不同

假設菜單裡有「起司蛋餅」「冰豆漿」和新取名的套餐。人會根據語意把它們理解為餐點，分詞器則依已建立的詞彙表和規則決定片段。常見文字可能有較完整的表示，少見的新名稱可能拆得較細；實際邊界取決於你使用的分詞器，不能只憑眼睛推算。

切完片段之後，程式會把它們轉成對應編號。模型的數值運算使用這些編號所對應的表示，而不是直接在紙上的字形上思考。這也說明同一段文字換到不同模型，token 數可能不同：分詞器和詞彙表不同，選定的片段就可能改變。

不要因此以為被拆得細就完全無法理解。子詞方法本來就是為了用有限的詞彙表處理更多文字組合。相反地，一個品項剛好只佔少量 token，也不能證明模型知道它的成分或價格。文字能被表示，與模型是否掌握這項資訊，是兩個不同問題。

詞彙表、演算法與工具各自負責什麼

Hugging Face 文件整理了 BPE、Unigram 與 WordPiece 等子詞方法。以直覺來說，BPE 的詞彙建立會逐步合併常一起出現的片段；Unigram 則從候選片段與機率出發，選擇適合的表示。這些是不同策略，不能只憑名稱判斷哪一種對所有中文工作最好。

SentencePiece 是實作分詞與還原的工具，可採用 BPE 或 Unigram 等方法。它的原始專案說明可以直接從原始句子訓練，不必先依賴語言專屬的斷詞程序。因此「SentencePiece 和 BPE 哪個好」有時比較錯了層次，就像把軟體工具與工具內的一種運算方法當成互斥產品。

一般使用者更需要注意模型與分詞器是否配對。自行接 API 或下載模型時，不能任意拿另一套分詞器產生的編號送入模型。同一個編號在不同詞彙表可能代表不同片段；即使程式沒有立刻報錯，輸入含義也可能已改變。用模型附帶或官方指定的分詞設定最容易避免這類混淆。

用早餐菜單檢查完整處理鏈

以下是示意操作。準備一份測試菜單，包含常見餐點、新套餐名稱、英文縮寫、全形標點與表情符號。先保留一份純文字原稿，然後用相應的分詞工具查看片段、編號與總數。這份紀錄不是為了找漂亮的切法，而是建立可比較的基準。

下一步把編號還原為文字，與原稿逐項對照。預期結果是確認名稱、標點和空白在這套處理流程中如何保留；有些設定包含正規化，因此應先查看工具規則，不能把所有差異都視為錯誤。特別留意全形和半形、看起來相同卻編碼不同的符號，以及多餘的換行。

再把同一份菜單交給模型，要求只列出含蛋的品項，並附上原始名稱。若還原文字已經缺字，應先查讀檔、編碼或前處理；若還原正確而模型挑錯品項，問題更可能在任務說明、資料不足或理解。如此分段檢查，比反覆改問法更容易找出真正失敗的位置。

空白與文字整理為何會改變結果

菜單從 PDF 複製出來，可能每個字中間都夾空白；表格換行也可能把名稱和價格分到不同列。對人而言只是排版瑕疵，對分詞器和後續模型卻是不同輸入。先查看抽取後的純文字，通常比在錯誤資料上加更多指令有效。

不過清理不代表把所有空白都刪掉。英文名稱中的空格、品項與註記的分隔、表格欄位之間的界線，都可能承載必要結構。較好的做法是保留原稿，訂出明確規則，例如只合併 PDF 產生的異常斷行，並人工檢查幾筆邊界案例，再進行整批轉換。

正規化也需要目的。如果你要找同一種餐點，把部分字形差異合併可能方便比對；若要逐字轉錄合約、序號或原文引句，改寫字元可能造成損失。分詞工具提供的能力與你的資料保真需求，要分別確認，不能用「AI 看得懂就好」取代資料品質檢查。

分詞不是檢索分塊，也不是中文理解測驗

文件分塊通常把長資料切成段落或片段，以便檢索；分詞則把送入模型的文字表示成 token。你可以先把整本手冊分成章節，再把其中一章經分詞器編碼，兩者同時存在而且服務不同目的。把分塊調得更小，不等於換了模型的分詞方法。

同樣地，搜尋引擎的中文斷詞常用來建立索引，重點是查詢詞與文件詞如何匹配；語言模型分詞則關係到模型輸入與訓練時的表示。名稱相近時，要先問「這個切分結果要交給誰使用」，就能避免把搜尋設定與模型設定混在一起。

如果你只用聊天介面，通常無法更換底層分詞器，但仍可先清理來源文字、保留清楚欄位、避免無意義重複。若開發自己的流程，則應把模型名稱、分詞設定與前處理版本一起記錄。日後 token 數突然改變時，才能知道是內容變了，還是編碼規則變了。

token（Token）是什麼：AI 如何計算文字長度

文件分塊（Chunking）：切多長，才不會把答案切斷

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋