量化（Quantization）：用較少位元執行模型的取捨

量化，英文 Quantization，在模型部署中通常指使用較低精度的數值表示，儲存或計算模型權重、活化值等資料。它讓原本需要較多位元表示的數值，對映到較有限的表示集合，目的是減少記憶體或運算負擔，同時盡可能保留任務品質。這個過程不是把模型內容做成一般壓縮檔，而是改變數值表示與計算方式。

你可能看過模型標示八位元或四位元。這些名稱描述部分表示精度，不代表每個資料結構都使用同一精度，也不能直接推算整套服務的記憶體。本篇依 Hugging Face 量化文件與 GPTQ 原始研究說明概念，使用虛構本機文件分類情境，不列產品速度排名，不把特定論文結果當成所有量化模型的保證。

精度降低，改變了什麼

可以把量化想成用較粗的刻度描述原本細密的數值：相近數字可能被對映到同一刻度，或以額外縮放資訊還原近似值。誤差可能很小，也可能在模型某些敏感部分被放大。實際方法會考慮如何分組、選刻度、處理極端值，以及哪些運算保留較高精度，所以不能只看位元數就知道品質。

權重量化處理模型學得的數值，活化值量化則涉及執行時的中間結果；另有系統可能量化注意力快取。這些是不同位置的取捨。某份模型檔只有權重量化，執行時仍需較高精度的中間資料和其他工作空間，因此檔案減少的比例不等於峰值記憶體減少的比例。讀模型說明時，應先確認到底量化了哪些部分。

何時量化，是否需要校準

訓練後量化使用已訓練的模型，再做數值轉換或誤差控制。有些方法需要代表性資料校準，觀察模型在目標輸入上的數值行為。GPTQ 是研究生成式 Transformer 訓練後量化的代表方法，利用近似誤差處理來減少量化影響；它是一種具體演算法，不能把所有低位元權重檔都叫作 GPTQ。

量化感知訓練則在訓練過程納入量化效果，讓模型有機會適應這些誤差。兩條路徑的資料、訓練與計算需求不同，適用情境也不同。校準資料如果與真正使用的中文文件、長度或格式差很多，測試結果可能不具代表性。不能只說工具支援自動量化，就省略對實際輸入的驗證。

示範：在本機處理文件分類

假設原模型用於把社群文件分成公告、報名說明與裝置清單，但在目標電腦上記憶體不足。團隊可保留一組獨立測試文件，選擇硬體支援的量化方法，使用合適資料完成轉換或校準，再測載入是否成功、分類是否正確、輸出格式是否一致，以及執行時的記憶體與等待時間。這是教學流程，沒有實際效能數字。

測試內容不能只放最短、最標準的文件。應加入長表格、罕見機構名、混合類別和否定句，檢視量化後是否出現特定錯誤。若一般題表現接近，長文件卻退步，就需要辨認是量化誤差、上下文限制，還是推論引擎設定不同。比較時保持提示詞、資料及取樣設定一致，才有機會定位原因。

預期交付不是一句「已成功載入」，而是一份與原模型的對照結果。若模型能跑但分類品質不符需求，量化仍未達成目標；若速度改善不大，卻讓原本無法載入的模型可用，也可能有價值。這取決於產品主要限制是容量、回應時間還是批次吞吐，不同目標應用不同標準驗收。

檔案較小，為什麼不一定更快

低精度數值需要硬體與計算核心有效支援，才能把潛在節省轉成實際速度。某些配置可能在執行前轉回較高精度，或產生額外的解碼、搬移與處理成本；不同輸入長度和批次也會改變瓶頸。下載較小檔案帶來的方便，和每次回答更快，是可以分開發生的改善，不能互相替代。

記憶體還包含 tokenizer 或執行環境、快取、中間結果與並行請求。模型載入時看起來足夠，不表示長對話或多個使用者同時執行也足夠。估算時應量測實際工作負載的峰值，並記錄輸入長度及併發條件。只用權重檔大小乘上一個簡單比例，容易低估服務真正需要的資源。

和 LoRA、蒸餾的界線

LoRA 改變的是微調時更新哪些參數，量化改變的是數值表示，兩者可搭配。知識蒸餾則用教師訊號訓練學生，可能改變架構與能力分佈，也不是把同一組數值換成較少位元。模型可以經過多種處理，因此看到一個小檔案，不能單憑尺寸判定它是蒸餾、量化還是只有附加參數。

選擇量化版本時，先確認基礎模型與授權、量化方法、適用推論引擎、硬體支援，以及作者提供的評估。若資料只有一個通用分數，仍要用自己的任務補測。保留未量化或較高精度版本的評估基準，並記錄所有設定，讓後續更新可以重現比較，而不是每次改版本都重新猜哪個檔案比較好。

量化的合理目標是在可接受的品質範圍內節省資源，而非追求最低位元數。對某些任務，小幅錯誤會造成大量返工；對另一些探索用途，容量節省可能更重要。把任務容許的失誤、實際硬體表現與總使用成本放在一起看，才知道這份模型是否適合你。若量化後會套用附加參數或合併更新，也要測試最終組合。有些轉換順序與引擎支援不同，單獨載入成功不代表合併後仍維持品質。驗收應針對使用者真正執行的產物，而不只是每個零件分別可以開啟。

低秩適應（LoRA）：少量可訓練參數如何調整模型

知識蒸餾（Knowledge Distillation）：讓學生模型學教師

模型參數（Model Parameters）是什麼

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋