AWS SageMaker HyperPod Inference 支持 NVIDIA Dynamo:多节点、分离式 prefill/decode,Qwen3-235B 基准吞吐达 2.05 倍
AWS 宣布 Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,提供多节点部署、prefill 与 decode 分离及 KV 感知路由。以下依据 AWS 文章梳理运作方式、基准测试与限制。
新闻日期: 阅读时间约 6 分钟
AWS 在官方博客宣布,Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,用于部署超出单个实例 GPU 内存的大语言模型。文章未提及预览、测试版或区域限制。简单说,prefill 是模型读入并处理提示词的阶段,decode 是逐个生成回复 token 的阶段。KV cache 是处理提示词时留下、之后可复用的缓存数据。KV 感知路由则会参考可复用的提示词前缀缓存和各 worker 的负载来分派请求。对需要自行运营大型模型推理的团队而言,重点是把 prefill 与 decode 拆开、跨节点部署的工作,交给受管理的附加组件处理。
这次更新解决什么问题?与此前有何不同
AWS 指出,GLM-5.3 的 FP8 权重超过单个 ml.p5.48xlarge 实例的 640 GB GPU 内存(尚未计入 KV cache 与运行时开销),而且长提示词与 token 生成共用 GPU 时会拖慢生成速度。AWS 称 Dynamo 是开源分布式推理框架,支持多节点部署、prefill 与 decode 分离、KV 感知路由,可搭配 vLLM、SGLang 与 TensorRT-LLM。
据 AWS 介绍,HyperPod 附加组件会安装 Dynamo 的自定义资源定义,以及 HyperPod Inference Operator、Dynamo operator、Grove 与 Kubernetes AI(KAI)Scheduler。Grove 负责协调相关 pod 组,KAI Scheduler 以 gang scheduling(成组调度)让多节点 worker 所需的 pod 一起调度。Dynamo 运行时由 AWS Deep Learning Containers 提供,采用新版 Dynamo 需要更新附加组件。
在分离式架构中,AWS 表示前端将请求导向处理提示词的 prefill worker 与生成 token 的 decode worker,两组可独立扩缩和调优,两者都加载完整模型权重,KV cache 通过 EFA(Elastic Fabric Adapter,AWS 的高性能网络)传输。Dynamo 也支持聚合式服务,即 prefill 与 decode 在同一 worker 上。
支持哪些部署方式?
AWS 提供两条路径:自带 DynamoGraphDeployment(DGD),适合沿用上游文档与清单的现有 Dynamo 用户;或使用含 dynamoSpec 的 InferenceEndpointConfig,适合已熟悉 HyperPod Inference 配置格式与 OpenAI 兼容接口的用户。引擎可选 vLLM、SGLang 或 TensorRT-LLM,默认为 vLLM。两者都支持单实例与多节点。KEDA 指 Kubernetes Event-driven Autoscaling,即基于事件的自动扩缩工具。
| 项目 | 自带 DGD | IEC 搭配 dynamoSpec |
|---|---|---|
| 你要编写 | 完整 DGD 清单 | 含 dynamoSpec 的 IEC |
| 适合对象 | 想直接控制服务图或复用现有 DGD 的团队 | 想通过 IEC 以托管方式配置端点的团队 |
| 模型权重 | 自行配置下载或挂载 | Operator 从 Amazon S3 或 Amazon FSx 暂存 |
| 端点、TLS、注册 | 自行配置与管理 | 由 HyperPod Inference Operator 管理 |
| 自动扩缩 | 自行配置与管理 | 通过 autoScalingSpec 使用 KEDA(聚合式与分离式均可) |
AWS 的基准测试显示了什么?
第一项测试用 AIPerf 比较 Qwen3-235B-A22B-FP8 在两台 p5en.48xlarge(16 块 H200)上,使用 Dynamo 与 TensorRT-LLM 的聚合式与分离式服务。请求包含 4,000 个输入 token 和 200 个输出 token,只保留 P90 首 token 时间(90% 请求的首个 token 等待时间)低于一秒、且每位用户中位生成速度至少 50 tokens/秒的测量点。AWS 称在这些点中,分离式达到聚合式最高吞吐的 2.05 倍:每 GPU 每秒 207 对 101 个输出 token,并发数分别为 80 与 32。
第二项测试针对 Qwen3.5-397B-A17B-FP8,使用 Dynamo 与 vLLM、TP4 × PP2(4 路张量并行乘 2 路流水线并行)、八块启用的 H200。AWS 比较单台 p5en.48xlarge 上的八块 GPU,与两台各四块 GPU。在高前缀复用的代理型工作负载、并发 32 时,双节点每 GPU 达 126.4 输出 token/秒,保留单节点吞吐的 99.1%。AWS 说明该模型本可放进单个实例,此处仅作受控基准。
实际部署流程与最佳实践有哪些?
AWS 以 ml.p5.48xlarge 上的 GLM-5.3 与 vLLM 为例。聚合式示例用一个 model-worker 副本跨两个实例(16 块 GPU)、两个前端副本,并把 frontend.routingMode 设为 kv-aware 以启用 KV 感知路由。分离式示例为一个 prefill 副本与两个 decode 副本,每个跨两个实例,共六个实例。完整清单用 kubectl apply 应用,端点就绪后可经 SageMaker Runtime API 发送 OpenAI 兼容请求;具体清单与配置步骤请见 AWS 文章及其链接的仓库。
- 先选择符合模型、推理引擎与 GPU 类型的 Dynamo recipe,并把权重、KV cache 与运行时内存纳入 worker 规模估算。
- 跨实例部署时,先确认通信使用预期的 EFA 传输,包括 prefill 与 decode 之间的 KV cache 传输。
- 用 AIPerf 重放自己的流量,扫描并发数,保留达成 SLA(服务等级目标)的点,再按成本与延迟取舍。
- 依据实测瓶颈调整,先动拓扑与 worker 配置,再调引擎设置,一次只改一个变量。
常见问题
什么情况适合用分离式 prefill/decode?
AWS 指出长提示词与 token 生成共用 GPU 会拖慢生成速度,分离式让两组 worker 独立扩缩和调优。是否划算要以自身流量实测,AWS 的 2.05 倍仅是特定条件下的结果。
已有 Dynamo 清单的团队可以沿用吗?
据 AWS,可用自带 DGD 路径沿用上游文档、recipe 与清单,需使用受支持的容器镜像,并为集群配置存储、网络与 pod 放置。
节点故障时会怎样?
AWS 表示 HyperPod 监控节点、GPU 与 EFA 健康并负责替换节点,编排组件会重建受影响的 worker。
如何升级 Dynamo 版本?
AWS 称附加组件管理集成组件版本,采用受支持的 Dynamo 版本时更新附加组件即可。
同主题延伸阅读
Shortical 推出 AI 微短剧《Inevitable》并开放“脸部授权”:首次使用真人肖像,方案尚无签约
据 TechCrunch,微短剧初创公司 Shortical 与演员 Aki Avni 签约,以其 AI 化身制作全 AI 微短剧;对外的脸部授权方案仍在早期,尚无已签署合同,报酬未公开。
Chess.com 推出 Classic Games 平台公开测试:新增 10 款经典游戏,支持网页、iOS 与 Android
Claude Code 2.1.330:企业管理控制台登录、easel 图表模块、定时任务延长至 30 天
AWS Quick 更新:对话创建流程、多智能体协作、新增 Meta ads 与 Amplitude 连接器,AWS 称所有 Quick 区域即日可用
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。