Amazon SageMaker AI 无服务器模型定制新增完整微调(FFT),AWS 称 10 万条以上数据时 LLM 评审正确率达 90.0%
AWS 宣布 SageMaker AI Serverless Model Customization 支持完整微调(FFT),无需自行管理 GPU 或集群。AWS 以代码生成实验对比 FFT 与 LoRA,并提醒 FFT 对超参数很敏感。
新闻日期: 阅读时间约 5 分钟
“微调”是指拿已训练好的大语言模型,再用公司自己的数据继续训练,让它更擅长特定领域或任务。AWS 在官方博客宣布,Amazon SageMaker AI Serverless Model Customization 现在支持完整微调(Full Fine-Tuning,FFT),让团队无需自行管理基础设施即可更新模型的全部参数。此前常见的 LoRA(低秩适应)只训练一小部分参数,更省 GPU 资源。文中未说明这是正式发布还是预览,也未提供价格和区域信息,因此请以 AWS 文档为准。对想让模型吸收公司领域知识、又不想操心 GPU 容量规划的团队,这提供了 LoRA 之外的选择。以下数据均为 AWS 自家实验结果,并非独立验证。
这次到底改变了什么?FFT 与 LoRA 有何不同?
AWS 说明,LoRA 会冻结预训练权重,再插入小型低秩矩阵;当任务变复杂、数据量超过数万条时,LoRA 会遇到准确率瓶颈,AWS 将其归因于秩不足。FFT 则同时更新模型参数,AWS 称它能发挥权重矩阵的完整表达能力。
AWS 指出,使用这项服务时只需指定基础模型、数据集和超参数(学习率、批次大小、训练轮数等训练前要设定的数值),计算资源配置与检查点管理由服务自动处理。
| 维度 | LoRA | FFT(依 AWS 说法) |
|---|---|---|
| 更新方式 | 冻结原权重,只训练低秩矩阵 | 同时更新模型参数 |
| 大数据量表现 | AWS 称复杂任务、数据超过数万条时会遇到准确率瓶颈 | 10 万条以上时,LLM-as-Judge 语义正确率达 90.0% |
| 某次 LLM-as-Judge 对比 | 81.5% | 79.5% |
| 风险 | — | 学习率过高会覆盖预训练知识,造成灾难性遗忘 |
AWS 是怎么测试的?结果可信度如何?
AWS 用监督式微调(SFT)处理 SageMaker AI Studio 提供的 Qwen3-4B 基础模型,并让 LoRA 与 FFT 使用相同的提示、目标和评估代码。数据集为 Magicoder-Evol-Instruct-110K,共 11 万条代码指令与回应配对,按 90/5/5 切分为 99,000 条训练、5,500 条验证和 5,500 条保留测试数据。Hugging Face 数据集页面也列出约 111k 行的 train 分割。
评估使用服务内置的三种方法:以 Amazon Nova Pro 担任评审的 LLM-as-Judge、以 BLEU 和 ROUGE 衡量代码相似度的 PRIMECODE,以及涵盖 57 个学科、AWS 用来检测遗忘的 MMLU。AWS 另表示,曾在 Qwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B 和 Gemma-4-26B 上运行数十组实验,每组从提交到出结果约数小时,产出的模型会自动登记到 SageMaker Model Registry。
想用 FFT,超参数与遗忘风险要注意什么?
- 学习率:AWS 实验中,在超过 10 万条的大数据集上,2e-5 属于安全区。
- 训练轮数(epoch,即完整过一遍训练数据):LLM-as-Judge 在 3 个 epoch 时升至 90.0%,超过 3 个 epoch 则让所有测试变体变差。
- 批次大小:固定学习率下,较小批次更新噪声更大,效果类似提高学习率,遗忘风险上升;较大批次可能欠拟合。
- 保留通用知识:AWS 指出 warmup 5%、批次大小 8、学习率 2e-5 的基准设置,在 MMLU 上最能保留通用知识。
如何开始?
AWS 建议用 SageMaker Python SDK 以编程方式配置并启动训练与评估任务,支持 FFT 的基础模型列表请见 AWS 文档。以下是 AWS 文中的 FFT 示例(内容取自原文,排版略作整理):
from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType
trainer = SFTTrainer(
model=base_model_id,
training_type=TrainingType.FULL,
model_package_group=model_package_group_name,
training_dataset=training_dataset,
validation_dataset=val_dataset,
s3_output_path=output_path,
sagemaker_session=sess,
role=role,
)
# Configure hyperparameters as needed
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_steps_ratio = 0.1
trainer.train(wait=False)AWS 表示,若要改用 LoRA,只需把 TrainingType.FULL 改成 TrainingType.LORA,其余代码不变。
常见问题
这项功能是正式发布吗?中国大陆或台湾能用吗?
AWS 文章只说 SageMaker AI Serverless Model Customization“现已支持”FFT,未说明是否为预览,也未列出价格或可用区域,因此无法确认各地区是否可用。请查阅 AWS 官方文档。
FFT 一定比 LoRA 好吗?
不是。AWS 表示 FFT 在复杂任务和大型高质量数据集上表现更好,但在某次对比中 LoRA 的 LLM-as-Judge 分数略高(81.5% 对 79.5%),且 FFT 对超参数非常敏感。
什么是灾难性遗忘?
AWS 说明,FFT 会修改模型所有参数,若过于激进地推向狭窄领域,模型可能忘记原有的广泛能力。AWS 以 MMLU 跟踪微调前后的通用知识保留情况。
需要自己准备 GPU 吗?
依 AWS 说法不需要:使用此服务无需配置 GPU、创建集群或设置分布式训练,服务会自动处理计算资源和检查点。
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
Signal 在 Android 与 iOS 27 默认封锁截图,阻止 Siri、Gemini 等 AI 代理读取屏幕
据 The Verge 报道,Signal 在 Android 与 iOS 27 上限制截图,以防操作系统层级的 AI 代理读取消息内容;用户可在设置中恢复截图,但 Signal 警告会削弱隐私保障。
Claude Code 2.1.329:Code Mode 可配合遥测、/tasks 整合定时任务、macOS computer use 安全规则收紧
Kimi Code CLI v2.7.0 新增原生 Bedrock provider:改用 AWS 凭证链连接 Kimi K3.1 Pro Highspeed
AWS 汇总 SageMaker 推理 13 项新功能:HyperPod 托管 NVIDIA Dynamo、MIG GPU 分割、跨区路由
资料来源
- Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization | Artificial Intelligence查证日期:
- ise-uiuc/Magicoder-Evol-Instruct-110K · Datasets at Hugging Face查证日期:
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。