Amazon SageMaker AI 無伺服器模型客製化新增完整微調(FFT),AWS 稱 10 萬筆以上資料時 LLM 評審正確率達 90.0%

AWS 宣布 SageMaker AI Serverless Model Customization 支援完整微調(FFT),無需自行管理 GPU 或叢集。AWS 以程式碼生成實驗比較 FFT 與 LoRA,並提醒 FFT 對超參數很敏感。

新聞日期: 閱讀時間約 5 分鐘

LINE 分享
目錄
  1. 1. 這次到底改變了什麼?FFT 與 LoRA 有何不同?
  2. 2. AWS 是怎麼測試的?結果可信度如何?
  3. 3. 想用 FFT,超參數與遺忘風險要注意什麼?
  4. 4. 如何開始?

「微調」是指拿已訓練好的大型語言模型,再用公司自己的資料繼續訓練,讓它更擅長特定領域或任務。AWS 在官方部落格宣布,Amazon SageMaker AI Serverless Model Customization 現在支援完整微調(Full Fine-Tuning,FFT),讓團隊不必自行管理基礎設施即可更新模型的全部參數。過去常見的 LoRA(低秩適應)則只訓練一小部分參數,較省 GPU 資源。文中未說明這是正式上市或預覽,也未提供價格與區域資訊,因此請以 AWS 文件為準。對想讓模型吸收公司領域知識、又不想操心 GPU 容量規劃的團隊,這提供了 LoRA 之外的選項。以下數據均為 AWS 自家實驗結果,並非獨立驗證。

這次到底改變了什麼?FFT 與 LoRA 有何不同?

AWS 說明,LoRA 會凍結預訓練權重,再插入小型低秩矩陣;當任務變複雜、資料量超過數萬筆時,LoRA 會遇到準確率瓶頸,AWS 將其歸因於秩不足。FFT 則同時更新模型參數,AWS 稱它能發揮權重矩陣的完整表達能力。

AWS 指出,使用這項服務時只需指定基礎模型、資料集與超參數(學習率、批次大小、訓練輪數等訓練前要設定的數值),運算資源配置與檢查點管理由服務自動處理。

AWS 實驗中 LoRA 與 FFT 的比較(單一程式碼生成任務,結果不可一概而論)
維度LoRAFFT(依 AWS 說法)
更新方式凍結原權重,只訓練低秩矩陣同時更新模型參數
大資料量表現AWS 稱複雜任務、資料超過數萬筆時會遇到準確率瓶頸10 萬筆以上時,LLM-as-Judge 語意正確率達 90.0%
某次 LLM-as-Judge 比較81.5%79.5%
風險—學習率過高會覆蓋預訓練知識,造成災難性遺忘

AWS 是怎麼測試的?結果可信度如何?

AWS 以監督式微調(SFT)處理 SageMaker AI Studio 提供的 Qwen3-4B 基礎模型,並讓 LoRA 與 FFT 使用相同的提示、目標與評估程式碼。資料集為 Magicoder-Evol-Instruct-110K,共 11 萬筆程式碼指令與回應配對,依 90/5/5 切分為 99,000 筆訓練、5,500 筆驗證與 5,500 筆保留測試資料。Hugging Face 資料集頁面也列出約 111k 列的 train 分割。

評估使用服務內建的三種方法:以 Amazon Nova Pro 擔任評審的 LLM-as-Judge、以 BLEU 與 ROUGE 衡量程式碼相似度的 PRIMECODE,以及涵蓋 57 個學科、AWS 用來偵測遺忘的 MMLU。AWS 另表示,曾在 Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B 與 Gemma-4-26B 上執行數十組實驗,每組從提交到出結果約數小時,產出的模型會自動登錄到 SageMaker Model Registry。

想用 FFT,超參數與遺忘風險要注意什麼?

  • 學習率:AWS 實驗中,在超過 10 萬筆的大資料集上,2e-5 屬於安全區。
  • 訓練輪數(epoch,即完整看過一遍訓練資料):LLM-as-Judge 在 3 個 epoch 時升至 90.0%,超過 3 個 epoch 則讓所有測試變體變差。
  • 批次大小:固定學習率下,較小批次更新雜訊較大,效果類似提高學習率,遺忘風險上升;較大批次可能欠擬合。
  • 保留通用知識:AWS 指出 warmup 5%、批次大小 8、學習率 2e-5 的基準設定,在 MMLU 上最能保留通用知識。

如何開始?

AWS 建議用 SageMaker Python SDK 以程式方式設定並啟動訓練與評估工作,支援 FFT 的基礎模型清單請見 AWS 文件。以下是 AWS 文中的 FFT 範例(內容取自原文,排版略為整理):

AWS 部落格中的 FFT 範例(SageMaker Python SDK) · python
from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType

trainer = SFTTrainer(
    model=base_model_id,
    training_type=TrainingType.FULL,
    model_package_group=model_package_group_name,
    training_dataset=training_dataset,
    validation_dataset=val_dataset,
    s3_output_path=output_path,
    sagemaker_session=sess,
    role=role,
)
# Configure hyperparameters as needed
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1
trainer.train(wait=False)

AWS 表示,若要改用 LoRA,只需把 TrainingType.FULL 改成 TrainingType.LORA,其餘程式碼不變。

常見問題

這項功能是正式上市嗎?台灣可以用嗎?

AWS 文章只說 SageMaker AI Serverless Model Customization「現已支援」FFT,未說明是否為預覽,也未列出價格或可用區域,因此無法確認台灣是否可用。請查閱 AWS 官方文件。

FFT 一定比 LoRA 好嗎?

不是。AWS 表示 FFT 在複雜任務與大型高品質資料集上表現較佳,但在某次比較中 LoRA 的 LLM-as-Judge 分數略高(81.5% 對 79.5%),且 FFT 對超參數非常敏感。

什麼是災難性遺忘?

AWS 說明,FFT 會修改模型所有參數,若過於激進地推向狹窄領域,模型可能忘記原有的廣泛能力。AWS 以 MMLU 追蹤微調前後的通用知識保留情況。

需要自己準備 GPU 嗎?

依 AWS 說法不需要:使用此服務無需佈建 GPU、建立叢集或設定分散式訓練,服務會自動處理運算資源與檢查點。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

LINE 分享

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享