Amazon SageMaker AI 無伺服器模型客製化新增完整微調(FFT),AWS 稱 10 萬筆以上資料時 LLM 評審正確率達 90.0%
AWS 宣布 SageMaker AI Serverless Model Customization 支援完整微調(FFT),無需自行管理 GPU 或叢集。AWS 以程式碼生成實驗比較 FFT 與 LoRA,並提醒 FFT 對超參數很敏感。
新聞日期: 閱讀時間約 5 分鐘
「微調」是指拿已訓練好的大型語言模型,再用公司自己的資料繼續訓練,讓它更擅長特定領域或任務。AWS 在官方部落格宣布,Amazon SageMaker AI Serverless Model Customization 現在支援完整微調(Full Fine-Tuning,FFT),讓團隊不必自行管理基礎設施即可更新模型的全部參數。過去常見的 LoRA(低秩適應)則只訓練一小部分參數,較省 GPU 資源。文中未說明這是正式上市或預覽,也未提供價格與區域資訊,因此請以 AWS 文件為準。對想讓模型吸收公司領域知識、又不想操心 GPU 容量規劃的團隊,這提供了 LoRA 之外的選項。以下數據均為 AWS 自家實驗結果,並非獨立驗證。
這次到底改變了什麼?FFT 與 LoRA 有何不同?
AWS 說明,LoRA 會凍結預訓練權重,再插入小型低秩矩陣;當任務變複雜、資料量超過數萬筆時,LoRA 會遇到準確率瓶頸,AWS 將其歸因於秩不足。FFT 則同時更新模型參數,AWS 稱它能發揮權重矩陣的完整表達能力。
AWS 指出,使用這項服務時只需指定基礎模型、資料集與超參數(學習率、批次大小、訓練輪數等訓練前要設定的數值),運算資源配置與檢查點管理由服務自動處理。
| 維度 | LoRA | FFT(依 AWS 說法) |
|---|---|---|
| 更新方式 | 凍結原權重,只訓練低秩矩陣 | 同時更新模型參數 |
| 大資料量表現 | AWS 稱複雜任務、資料超過數萬筆時會遇到準確率瓶頸 | 10 萬筆以上時,LLM-as-Judge 語意正確率達 90.0% |
| 某次 LLM-as-Judge 比較 | 81.5% | 79.5% |
| 風險 | — | 學習率過高會覆蓋預訓練知識,造成災難性遺忘 |
AWS 是怎麼測試的?結果可信度如何?
AWS 以監督式微調(SFT)處理 SageMaker AI Studio 提供的 Qwen3-4B 基礎模型,並讓 LoRA 與 FFT 使用相同的提示、目標與評估程式碼。資料集為 Magicoder-Evol-Instruct-110K,共 11 萬筆程式碼指令與回應配對,依 90/5/5 切分為 99,000 筆訓練、5,500 筆驗證與 5,500 筆保留測試資料。Hugging Face 資料集頁面也列出約 111k 列的 train 分割。
評估使用服務內建的三種方法:以 Amazon Nova Pro 擔任評審的 LLM-as-Judge、以 BLEU 與 ROUGE 衡量程式碼相似度的 PRIMECODE,以及涵蓋 57 個學科、AWS 用來偵測遺忘的 MMLU。AWS 另表示,曾在 Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B 與 Gemma-4-26B 上執行數十組實驗,每組從提交到出結果約數小時,產出的模型會自動登錄到 SageMaker Model Registry。
想用 FFT,超參數與遺忘風險要注意什麼?
- 學習率:AWS 實驗中,在超過 10 萬筆的大資料集上,2e-5 屬於安全區。
- 訓練輪數(epoch,即完整看過一遍訓練資料):LLM-as-Judge 在 3 個 epoch 時升至 90.0%,超過 3 個 epoch 則讓所有測試變體變差。
- 批次大小:固定學習率下,較小批次更新雜訊較大,效果類似提高學習率,遺忘風險上升;較大批次可能欠擬合。
- 保留通用知識:AWS 指出 warmup 5%、批次大小 8、學習率 2e-5 的基準設定,在 MMLU 上最能保留通用知識。
如何開始?
AWS 建議用 SageMaker Python SDK 以程式方式設定並啟動訓練與評估工作,支援 FFT 的基礎模型清單請見 AWS 文件。以下是 AWS 文中的 FFT 範例(內容取自原文,排版略為整理):
from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType
trainer = SFTTrainer(
model=base_model_id,
training_type=TrainingType.FULL,
model_package_group=model_package_group_name,
training_dataset=training_dataset,
validation_dataset=val_dataset,
s3_output_path=output_path,
sagemaker_session=sess,
role=role,
)
# Configure hyperparameters as needed
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1
trainer.train(wait=False)AWS 表示,若要改用 LoRA,只需把 TrainingType.FULL 改成 TrainingType.LORA,其餘程式碼不變。
常見問題
這項功能是正式上市嗎?台灣可以用嗎?
AWS 文章只說 SageMaker AI Serverless Model Customization「現已支援」FFT,未說明是否為預覽,也未列出價格或可用區域,因此無法確認台灣是否可用。請查閱 AWS 官方文件。
FFT 一定比 LoRA 好嗎?
不是。AWS 表示 FFT 在複雜任務與大型高品質資料集上表現較佳,但在某次比較中 LoRA 的 LLM-as-Judge 分數略高(81.5% 對 79.5%),且 FFT 對超參數非常敏感。
什麼是災難性遺忘?
AWS 說明,FFT 會修改模型所有參數,若過於激進地推向狹窄領域,模型可能忘記原有的廣泛能力。AWS 以 MMLU 追蹤微調前後的通用知識保留情況。
需要自己準備 GPU 嗎?
依 AWS 說法不需要:使用此服務無需佈建 GPU、建立叢集或設定分散式訓練,服務會自動處理運算資源與檢查點。
覺得這篇整理實用嗎?分享給需要的朋友
同主題延伸閱讀
Signal 在 Android 與 iOS 27 預設封鎖截圖,阻止 Siri、Gemini 等 AI 代理讀取畫面
據 The Verge 報導,Signal 在 Android 與 iOS 27 上限制截圖,以防作業系統層級的 AI 代理讀取訊息內容;使用者可在設定中恢復截圖,但 Signal 警告會削弱隱私保障。
Claude Code 2.1.329:Code Mode 可搭配遙測、/tasks 整合排程任務、macOS computer use 安全規則收緊
Kimi Code CLI v2.7.0 新增原生 Bedrock provider:改用 AWS 憑證鏈連接 Kimi K3.1 Pro Highspeed
AWS 彙整 SageMaker 推論 13 項新功能:HyperPod 託管 NVIDIA Dynamo、MIG GPU 分割、跨區路由
資料來源
- Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization | Artificial Intelligence查證日期:
- ise-uiuc/Magicoder-Evol-Instruct-110K · Datasets at Hugging Face查證日期:
本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。