token（Token）是什麼：AI 如何計算文字長度

token 是語言模型讀取與產生內容時使用的單位。以文字而言，一段訊息會先被轉成 token 序列，再交給模型處理；一個 token 未必對應一個中文字或英文單字。因此，文件看起來很短、字數不多，仍可能佔用出乎預期的模型輸入空間。

理解 token 最實用的目的，是知道要量什麼。你可以據此檢查一份文件能否放進上下文、為回覆預留空間，也能看懂服務回傳的用量紀錄。以下採文字任務解釋基本原理，所有數字安排都是教學情境，不代表某個模型的固定換算率。

從人看的文字，變成模型用的編號

人看到的是句子，分詞器會依自己的詞彙表與規則切出片段，並把片段轉成編號。常見文字、空白、標點及較少見的字形可能用不同方式表示。這些編號再對應到模型可運算的表示，因此 token 並不是藏在字裡的自然邊界，而是特定系統選定的表示方式。

Google 的 token 文件用字元或完整單字說明這種單位；Hugging Face 的分詞文件則解釋，子詞方法能保留常見片段並拆開較少見的詞。兩者共同支持的重點是：token 的大小不固定。不要把英文估算比例直接套在中文、程式碼、表情符號或混合語言訊息上。

例如你想請 AI 整理「週六臺北見，帶雨傘」這句話，可以想像它被分成數個片段，但這裡不替任何實際分詞器指定切法。直接畫成「週六／臺北／見」容易讓人誤以為那是工具的測量結果；真正需要數量時，應對指定模型使用相應的計數功能。

輸入與輸出，量的是不同方向

輸入 token 包含這次實際交給模型的內容，不一定只有你剛打的那一句。應用程式可能還帶入規則、歷史訊息、檢索片段或工具說明。輸出 token 則對應模型產生的內容；有些服務另列推理、快取或工具相關用量，欄位定義需依提供者文件判讀。

想像社團助理每次都附上一份活動辦法，再請模型改寫新公告。即使新公告只有一小段，活動辦法仍可能是輸入的一部分。若應用程式把歷史對話重送，前幾輪產生的文字也可能成為下一輪的輸入。這解釋了為何「我這次只問了一句」不等於整次請求只有那一句的用量。

用量也不完全等於帳單。不同服務可能區分快取輸入、一般輸入與輸出，並使用各自規則計算。本篇只教你辨認方向，不提供跨產品價格換算。評估工作流程時，應先記錄同一服務回傳的實際欄位，再對照當時方案規則，不能拿字數乘上網路流傳的常數。

用一份公告做可重複的檢查

以下是可自行操作的示例。準備一份不含個資的社團公告，內容包含活動時間、集合地點、攜帶物品和取消條件；保留原文作為基準。先用指定模型的官方 token 計數功能量原文，再加上「整理成繁體中文公告，保留所有日期與否定條件」這項要求，量完整輸入。

接著複製另一份，只刪除重複的開場白與裝飾符號，保留會影響行動的資訊，再做同樣計數。預期產物是一張自己記錄的比較表，列出完整輸入與精簡輸入的 token 數，以及每份文字仍包含哪些必要欄位。實際增減由工具決定，不能預先宣稱精簡一定省下某個百分比。

最後請模型整理公告，對照原文檢查時間、地點與取消條件。若 token 數下降但漏掉「下雨取消」，這次精簡就不成功；若兩份 token 數差異很小，也不表示計數器壞了，可能刪除的文字本來就不多。你的目標是減少無用內容，同時保住任務所需的事實。

空間限制與回覆長度為何要一起看

上下文視窗是模型單次處理資訊的容量限制，通常用 token 表示；token 則是計量單位，兩者就像容器大小與容量刻度的關係。服務也可能分列輸入上限、輸出上限與合併限制，不能只看一個最大數字便假設所有空間都能用來貼文件。

當你要求產出長文時，要為答案保留餘裕。若只計算附件本身，忽略系統加入的規則和歷史內容，實際請求仍可能超限。遇到超限訊息時，先縮小本輪需要的資料範圍；若只是回覆太短，還需檢查輸出設定、停止原因與任務要求，不能一概說是輸入塞滿。

容量充足也不代表內容都會被正確使用。模型可能漏讀關鍵條款，或把相似段落混在一起。因此 token 計數是資源檢查，不是理解測驗。對長文件可先列出必須回答的問題，要求指出對應段落，再檢驗答案有沒有依據；這項檢查與是否超過上限同樣必要。

token 不等於字數，也不是登入憑證

如果你的目標是「交一篇一千字文章」，應另外用文字編輯器或程式計算文章字數。要求模型輸出一定數量的 token，通常不能保證剛好達到編輯規格，而且不同標點、空格和分詞方式都會影響結果。讀者的篇幅要求與模型的資源計量，本來就是兩套不同尺度。

軟體文件中的 token 也可能指存取權杖，例如用來證明登入身分的 access token。它與這裡談的文字 token 同名，但功能不同。前者可能是需要保密的憑證；後者是語言內容的表示單位。看到教學叫你「貼上 token」時，先讀清楚上下文，別把憑證誤當成文字統計結果。

平常使用 AI，不必每段文字都精算。當你處理長文件、設計重複工作或解讀用量時，再用正確工具測量會更有效。保留必要條件、固定比較方法、核對輸出內容，才能把 token 數變成有用資訊，而不是把所有注意力放在追求更短的提示詞。

分詞（Tokenization）是什麼：文字進入模型前的切分

上下文視窗（Context Window）是什麼：容量與理解的差別

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋