AWS 汇总 SageMaker 推理 13 项新功能:HyperPod 托管 NVIDIA Dynamo、MIG GPU 分割、跨区路由
AWS 于 11 月 20 日发布 SageMaker 推理 2026 年度回顾第二部分,汇总 13 项上线后运维功能,涵盖推理建议、GPU 分割、大模型服务、跨区路由与监控。
新闻日期: 阅读时间约 6 分钟
AWS 在官方博客发布《Amazon SageMaker Inference: 2026 launches in review, part 2》,延续第一部分的 13 项功能,再列出编号 14 到 26 的推理新功能,时间跨越 2026 年 7 月至 11 月。AWS 未在文中逐项标明各功能为预览版或正式版,各功能的区域与条件请以 AWS 文档为准。对正在运营生成式 AI 服务的团队而言,重点在于上线后如何调优配置、提高 GPU 利用率并降低延迟。以下功能说明与性能数字均来自 AWS。
这批更新改变了什么?
AWS 以一个假想的客服助理团队贯穿全文,按五个阶段介绍功能:选择配置、让更多模型共用 GPU、服务超出单一实例的模型、把请求导向合适的 GPU,以及上线后持续调优。
- 推理建议:AWS 称在 4 月的 API 之外,已加入 SageMaker AI Studio(7 月)、Python SDK v3 3.17.0 及以上(8 月)、LoRA 适配器支持与 SLA 并发度搜索(9 月)。LoRA 适配器是用来让同一个基础模型针对不同用途特化的附加模块。
- 编程代理技能:aws-ai-ml 技能通过 Agent Toolkit for AWS 提供,AWS 称设置约需 10 分钟,输出为可审阅的 SDK v3 代码。
- GPU 利用:控制台可管理 Inference Components(在同一端点上分别部署和扩缩多个模型),并以 NVIDIA MIG 将一块 GPU 切成最多七个分区。
- 大模型:HyperPod 提供托管 NVIDIA Dynamo,支持多节点分片服务(一份模型横跨多个节点)与预填充/解码分离(处理提示与生成文本分开在不同 GPU 上运行)。
各功能的时间、范围与限制是什么?
| 功能 | AWS 标明时间 | 范围或限制(依 AWS 说明) |
|---|---|---|
| Studio 推理建议 | 2026 年 7 月 | Jobs > Inference optimization;可从 Studio 部署到实时端点 |
| Python SDK v3 推理建议 | 2026 年 8 月 | 3.17.0 及以上版本;可并行比较 LMI、vLLM |
| LoRA 支持与 SLA 并发度搜索 | 2026 年 9 月 | search_recipe 设为 max-concurrency-under-sla |
| Inference Components 控制台 | 2026 年 10 月 | 可创建、扩缩(可缩至零份)与监控 |
| NVIDIA MIG 分割 | 2026 年 10 月 | 最多七个分区;仍按整台实例时长计费 |
| 托管 NVIDIA Dynamo | 2026 年 11 月 | HyperPod 可用的区域;vLLM、SGLang、TensorRT-LLM |
| KV 缓存感知路由 | 2026 年 11 月 | 首版需 AWS 验证的模型容器 |
| HyperPod Inference Gateway | 2026 年 9 月 | P99 TTFT 最多降 97%/98%(对比轮询) |
| 跨区推理路由 | 文中未标明月份 | 不新增容量、不复制模型;可设溢出上限与区域限制 |
| 持续性能监控 | 2026 年 11 月 | 默认开启、可退出;不读取请求或响应 |
| 就地滚动更新 | 2026 年 11 月 | 自动应用;20 台、批次 2 时获取 2 台新实例 |
对日常推理工作流有什么影响?
AWS 表示,工程师可在笔记本、CI 流水线或编程代理中发起基准测试并获得排名建议,不必依赖控制台。并发度是端点同时处理的请求数;SLA 并发度搜索会找出仍满足延迟和错误率目标的最大并发度,取代过去逐轮手动测试的做法。
在路由方面,AWS 说 HyperPod 的每个集群可用单一 OpenAI 兼容端点服务所有模型,Gateway 会依各 pod(集群中运行模型的单元)的实时状态挑选目标,而非轮询(依序轮流分派)。普通端点的 KV 缓存感知路由,则把请求发送到已存有最长相同提示前缀缓存的实例;KV 缓存是模型处理提示后留下、可重复使用的中间结果。跨区路由通过 AWS PrivateLink 连接,并可限制哪些区域能处理请求。持续监控会检测延迟漂移、配置落差与闲置 GPU,并开启 Studio 中的引导式修复,但在用户应用之前不会部署任何变更。
想开始使用,AWS 建议怎么做?
AWS 建议从符合当前问题的部分着手:流量已改变就重新运行推理建议;放置名额不足就把小模型移到分割后的 GPU;请求排队但自有容量闲置,就为跨区路由注册集群和端点。各功能的文档与入门指南位于 Amazon SageMaker AI Developer Guide。AWS 还说明,已在 HyperPod Inference 上的团队可更新附加组件,并在现有 InferenceEndpointConfig 中加入简短的 dynamoSpec 块。
常见问题
托管 Dynamo 在哪些区域可用?
AWS 表示,它可用于提供 Amazon SageMaker HyperPod 的区域。文中未列出具体区域名单,请以 AWS 文档为准。
MIG 会让每小时费用变便宜吗?
不会。AWS 说明仍按整台实例时长的标准费率计费,节省来自在每台实例上放置更多模型。
性能监控会读取我的请求内容吗?
AWS 表示不会,只看延迟、GPU 使用率和端点服务配置。默认开启,可退出,也可随时关闭。
跨区推理路由能解决容量不足吗?
AWS 说路由器不新增容量、不复制模型也不部署端点,而是在你已部署的区域端点之间导流。
后续还有哪些计划?
AWS 计划在 2027 年初扩展就地滚动更新,推出先缩减式更新,使模型更新时不需要任何额外实例。
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
Signal 在 Android 与 iOS 27 默认封锁截图,阻止 Siri、Gemini 等 AI 代理读取屏幕
据 The Verge 报道,Signal 在 Android 与 iOS 27 上限制截图,以防操作系统层级的 AI 代理读取消息内容;用户可在设置中恢复截图,但 Signal 警告会削弱隐私保障。
Claude Code 2.1.329:Code Mode 可配合遥测、/tasks 整合定时任务、macOS computer use 安全规则收紧
Kimi Code CLI v2.7.0 新增原生 Bedrock provider:改用 AWS 凭证链连接 Kimi K3.1 Pro Highspeed
BMW Group 公开 AI 代理治理做法:逾 1.25 万名开发者、三级自主度与 CI/CD 四阶段闸门
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。