低秩適應（LoRA）：少量可訓練參數如何調整模型

低秩適應，英文 Low-Rank Adaptation，常用縮寫 LoRA，是一種參數效率微調方法。它保留基礎模型的主要權重不變，在選定位置加入較小、可訓練的更新，使模型適應新的任務。省下的重點是需要訓練與儲存的更新參數，而不是把原本的大模型直接縮成一個很小的完整模型。

LoRA 常出現在語言模型與影像模型的客製化討論，但具體插入位置、資料和訓練目標依架構而異。本篇以原始論文及 Hugging Face PEFT 文件為基礎，透過虛構客服分類情境說明，不提供普遍最佳的秩或學習率。理解它更新的是什麼，才能看懂附加檔、基礎模型與部署之間的關係。

低秩更新在做什麼

一個模型層可能包含大型權重矩陣，完整微調會直接調整其中許多值。LoRA 則把該層需要的改變表示為較小矩陣的組合，再加到原本計算上。可以把它理解為用較有限的變動方向描述任務調整，而不是自由修改每個位置。這個限制使可訓練參數減少，也代表更新表達能力受到所選設定影響。

「秩」可以粗略理解為更新容許的獨立方向數。秩較大通常提供更大的調整空間，也增加參數與運算需求；但不能直接推論越大品質越好。資料太少或目標不清楚時，更多自由度可能沒有幫助。原論文在特定模型與任務上研究低秩更新的效果，不能把其中節省幅度或品質結果套給所有架構與資料。

基礎模型與附加檔要配對

LoRA 訓練完成後，常見交付物是更新參數和設定，使用時仍需指定的基礎模型。即使附加檔很小，也不表示能單獨回答問題；主要語言能力仍來自基礎權重。設定通常還包含插入哪些模組、秩與其他必要資訊。只知道模型品牌或參數級別，未必足以確認相容性，最好保留精確版本。

在合適的線性層與實作條件下，更新可以合併到基礎權重，形成部署用的模型狀態；也可以保留附加路徑，方便切換不同任務。是否合併、量化後能否按預期運作，以及推論延遲如何，都要看具體引擎。不能把原始研究中的特定推論特性理解成任何未合併、動態切換配置都完全沒有額外成本。

示範：替客服模型加分類能力

假設已有一個通用語言模型，任務是把來信分成帳號、付款和其他，並按固定欄位輸出。團隊先建立一致的輸入和標準答案，再凍結基礎權重，只訓練選定層的 LoRA 更新。這裡的訓練目標是監督式微調，LoRA 則是更新參數的方式。兩個名稱描述不同層面，可以同時成立。

預期測試用未參與訓練的來信，檢視分類是否正確、格式是否穩定，以及模糊需求是否交人工。對照原模型加清楚提示詞，才能判斷附加訓練帶來多少改善。這是原創教學流程，沒有實際訓練結果，也不能據此保證某個秩就足夠。若錯誤來自標註規則矛盾，增加 LoRA 容量通常不會替你解決規則本身。

再設計部署測試：用指定基礎版本載入附加檔，確認同一批評估題結果合理；換成不同基礎版本則應視為新的相容性驗證。即使軟體沒有報錯，更新可能不再對應原本權重狀態。對一般使用者而言，下載一個名稱相近的模型再套附加檔，不能等同於作者驗證過的組合。

和量化、完整微調怎麼區分

完整微調通常容許更新更多基礎參數，訓練與儲存需求可能較高；LoRA 限制更新範圍，以效率換取不同的適應空間。哪個品質較好需要按任務比較，不能以可訓練參數比較少，就推定模型能力一定較差，也不能反過來保證完全不損失效果。資料品質、基礎能力與目標層選擇都會影響結果。

量化處理的是數值表示精度，LoRA 處理的是訓練更新方式。兩者能搭配，QLoRA 就是以量化基礎模型配合低秩更新的代表方法，但不能把任何 LoRA 都稱為 QLoRA。即使基礎權重量化，訓練仍要儲存其他狀態和中間計算，實際記憶體需求不能只看附加檔大小或權重位元數。

開始前與交付後要查什麼

開始前確認模型是否支援所選目標層、資料模板是否正確、哪些參數真的可訓練，以及是否保留測試集。可以先檢查少量樣本的輸入與目標，避免長時間訓練後才發現答案被截斷。PEFT 提供多種 LoRA 相關選項與變體，閱讀範例時應辨認哪些屬原始做法，哪些改變初始化或縮放方式。

交付時儲存基礎模型識別、附加設定、資料與評估版本，再驗證實際推論引擎的載入或合併結果。若打算切換多個附加檔，還要測試任務之間是否正確切換，避免把客服分類設定留在一般問答請求。小型附加檔降低某些管理成本，並沒有取消版本、權限和部署驗證的工作。

最後仍要檢查能力退化。模型可能更會輸出分類欄位，卻在範圍外問題硬套同一格式，或者把訓練資料中的偏差帶到新信件。維持一組需要保留的能力與未知題測試，能讓效率提升和行為品質一起被看見。LoRA 是調整模型的一把工具，它的價值應以任務改善與總體成本衡量，不是以附加檔看起來多小衡量。若計畫分享附加檔，也要標明它需要的基礎權重與使用條件。檔案大小較小，不會使原有模型或資料的授權要求自動消失。

微調（Fine-tuning）：讓既有模型更適合你的任務

監督式微調（SFT）：用好示範教模型完成任務

量化（Quantization）：用較少位元執行模型的取捨

AI 名詞總索引：從 Loop Engineering 到生成式 AI

• AI 工具
• 教學
• AI 名詞解釋