AWS SageMaker HyperPod Inference 支持 NVIDIA Dynamo:多节点、分离式 prefill/decode,Qwen3-235B 基准吞吐达 2.05 倍

AWS 宣布 Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,提供多节点部署、prefill 与 decode 分离及 KV 感知路由。以下依据 AWS 文章梳理运作方式、基准测试与限制。

新闻日期: 阅读时间约 6 分钟

目录
  1. 1. 这次更新解决什么问题?与此前有何不同
  2. 2. 支持哪些部署方式?
  3. 3. AWS 的基准测试显示了什么?
  4. 4. 实际部署流程与最佳实践有哪些?

AWS 在官方博客宣布,Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,用于部署超出单个实例 GPU 内存的大语言模型。文章未提及预览、测试版或区域限制。简单说,prefill 是模型读入并处理提示词的阶段,decode 是逐个生成回复 token 的阶段。KV cache 是处理提示词时留下、之后可复用的缓存数据。KV 感知路由则会参考可复用的提示词前缀缓存和各 worker 的负载来分派请求。对需要自行运营大型模型推理的团队而言,重点是把 prefill 与 decode 拆开、跨节点部署的工作,交给受管理的附加组件处理。

这次更新解决什么问题?与此前有何不同

AWS 指出,GLM-5.3 的 FP8 权重超过单个 ml.p5.48xlarge 实例的 640 GB GPU 内存(尚未计入 KV cache 与运行时开销),而且长提示词与 token 生成共用 GPU 时会拖慢生成速度。AWS 称 Dynamo 是开源分布式推理框架,支持多节点部署、prefill 与 decode 分离、KV 感知路由,可搭配 vLLM、SGLang 与 TensorRT-LLM。

据 AWS 介绍,HyperPod 附加组件会安装 Dynamo 的自定义资源定义,以及 HyperPod Inference Operator、Dynamo operator、Grove 与 Kubernetes AI(KAI)Scheduler。Grove 负责协调相关 pod 组,KAI Scheduler 以 gang scheduling(成组调度)让多节点 worker 所需的 pod 一起调度。Dynamo 运行时由 AWS Deep Learning Containers 提供,采用新版 Dynamo 需要更新附加组件。

在分离式架构中,AWS 表示前端将请求导向处理提示词的 prefill worker 与生成 token 的 decode worker,两组可独立扩缩和调优,两者都加载完整模型权重,KV cache 通过 EFA(Elastic Fabric Adapter,AWS 的高性能网络)传输。Dynamo 也支持聚合式服务,即 prefill 与 decode 在同一 worker 上。

支持哪些部署方式?

AWS 提供两条路径:自带 DynamoGraphDeployment(DGD),适合沿用上游文档与清单的现有 Dynamo 用户;或使用含 dynamoSpec 的 InferenceEndpointConfig,适合已熟悉 HyperPod Inference 配置格式与 OpenAI 兼容接口的用户。引擎可选 vLLM、SGLang 或 TensorRT-LLM,默认为 vLLM。两者都支持单实例与多节点。KEDA 指 Kubernetes Event-driven Autoscaling,即基于事件的自动扩缩工具。

AWS 所述两种部署路径的职责分工
项目自带 DGDIEC 搭配 dynamoSpec
你要编写完整 DGD 清单含 dynamoSpec 的 IEC
适合对象想直接控制服务图或复用现有 DGD 的团队想通过 IEC 以托管方式配置端点的团队
模型权重自行配置下载或挂载Operator 从 Amazon S3 或 Amazon FSx 暂存
端点、TLS、注册自行配置与管理由 HyperPod Inference Operator 管理
自动扩缩自行配置与管理通过 autoScalingSpec 使用 KEDA(聚合式与分离式均可)

AWS 的基准测试显示了什么?

第一项测试用 AIPerf 比较 Qwen3-235B-A22B-FP8 在两台 p5en.48xlarge(16 块 H200)上,使用 Dynamo 与 TensorRT-LLM 的聚合式与分离式服务。请求包含 4,000 个输入 token 和 200 个输出 token,只保留 P90 首 token 时间(90% 请求的首个 token 等待时间)低于一秒、且每位用户中位生成速度至少 50 tokens/秒的测量点。AWS 称在这些点中,分离式达到聚合式最高吞吐的 2.05 倍:每 GPU 每秒 207 对 101 个输出 token,并发数分别为 80 与 32。

第二项测试针对 Qwen3.5-397B-A17B-FP8,使用 Dynamo 与 vLLM、TP4 × PP2(4 路张量并行乘 2 路流水线并行)、八块启用的 H200。AWS 比较单台 p5en.48xlarge 上的八块 GPU,与两台各四块 GPU。在高前缀复用的代理型工作负载、并发 32 时,双节点每 GPU 达 126.4 输出 token/秒,保留单节点吞吐的 99.1%。AWS 说明该模型本可放进单个实例,此处仅作受控基准。

实际部署流程与最佳实践有哪些?

AWS 以 ml.p5.48xlarge 上的 GLM-5.3 与 vLLM 为例。聚合式示例用一个 model-worker 副本跨两个实例(16 块 GPU)、两个前端副本,并把 frontend.routingMode 设为 kv-aware 以启用 KV 感知路由。分离式示例为一个 prefill 副本与两个 decode 副本,每个跨两个实例,共六个实例。完整清单用 kubectl apply 应用,端点就绪后可经 SageMaker Runtime API 发送 OpenAI 兼容请求;具体清单与配置步骤请见 AWS 文章及其链接的仓库。

  • 先选择符合模型、推理引擎与 GPU 类型的 Dynamo recipe,并把权重、KV cache 与运行时内存纳入 worker 规模估算。
  • 跨实例部署时,先确认通信使用预期的 EFA 传输,包括 prefill 与 decode 之间的 KV cache 传输。
  • 用 AIPerf 重放自己的流量,扫描并发数,保留达成 SLA(服务等级目标)的点,再按成本与延迟取舍。
  • 依据实测瓶颈调整,先动拓扑与 worker 配置,再调引擎设置,一次只改一个变量。

常见问题

什么情况适合用分离式 prefill/decode?

AWS 指出长提示词与 token 生成共用 GPU 会拖慢生成速度,分离式让两组 worker 独立扩缩和调优。是否划算要以自身流量实测,AWS 的 2.05 倍仅是特定条件下的结果。

已有 Dynamo 清单的团队可以沿用吗?

据 AWS,可用自带 DGD 路径沿用上游文档、recipe 与清单,需使用受支持的容器镜像,并为集群配置存储、网络与 pod 放置。

节点故障时会怎样?

AWS 表示 HyperPod 监控节点、GPU 与 EFA 健康并负责替换节点,编排组件会重建受影响的 worker。

如何升级 Dynamo 版本?

AWS 称附加组件管理集成组件版本,采用受支持的 Dynamo 版本时更新附加组件即可。

查看同分类最新消息

觉得这篇整理实用吗?分享给需要的朋友

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享