Amazon SageMaker AI 默认监控 vLLM GPU 推理端点:检测延迟漂移、闲置 GPU 与未启用的优化
AWS 宣布 SageMaker AI 会默认监控使用 vLLM 容器与 GPU 实例的生成式 AI 推理端点,通过 AWS Health 通知延迟、闲置容量与配置问题,且不会自动变更生产环境。
新闻日期: 阅读时间约 6 分钟
AWS 在官方博客宣布,SageMaker AI 现在会自动监控生成式 AI 推理端点,并在性能可改善或成本可降低时通知用户。推理端点是指部署好、供应用程序调用模型的服务。据 AWS 介绍,这项监控现已对符合条件的端点默认开启,无需申请或配置。符合条件是指使用 vLLM 服务容器并搭配 GPU 实例;vLLM 是一种模型服务引擎。通知会按 AWS 区域分别显示。对运维团队而言,端点上线后即使没有故障,延迟也可能悄悄变差,GPU 也可能白白闲置。这项功能相当于提供持续的提醒。
这次到底改变了什么?
AWS 指出,端点上线时通常调得很好。但流量模式、提示长度、vLLM 版本与模型检查点会随时间变化,由于没有告警,这些变化容易被忽略。新功能通过“Generative AI optimized inference recommendations”持续观察端点并给出建议。它搭配 SageMaker Studio 的 agentic 体验,也就是能以对话方式协助执行后续步骤的 AI 助手界面。AWS 将流程分为四步:观察、通知、建议(需主动选择)与决策。
在检测范围上,AWS 列出三类发现。第一类是延迟漂移:p50(中位数)端到端延迟或首个 token 时间周环比上升;首个 token 时间指模型开始输出第一段响应前的等待时间。第二类是未使用容量,也就是付费却大多闲置的 GPU。第三类是配置落差:容器缺少新的性能改进或安全补丁,或者模型支持、端点却没用上的优化,例如推测解码(一种加快响应的技术)与 GPU 内核调优。AWS 还表示,延迟比较以端点自身历史为基准,无需事先设置阈值。
| 发现类型 | 触发条件(AWS 说明) | 基准测试比较内容 |
|---|---|---|
| 延迟漂移 | 响应时间相对端点周环比趋势发生变动 | 张量并行配置、其他实例类型或规格 |
| GPU 利用不足 | GPU 使用率在观察期间远低于容量 | 在观察到的峰值流量下测试更便宜或更小的实例 |
| 未启用推测解码 | 模型与容器支持但功能关闭 | 当前配置与启用推测解码的比较 |
| 服务容器 | 有较新版本,含性能改进与严重、高风险 CVE(公开登记的安全漏洞)补丁 | 当前容器与更新后容器比较 |
| GPU 内核未调优 | 内核配置未针对模型与硬件调优 | 默认内核与调优后内核比较 |
哪些端点适用?收到通知后要怎么处理?
根据 AWS,监控对使用 vLLM 服务容器与 GPU 实例的端点默认启用。每个端点只会收到一条涵盖其所有发现的通知,同一时间最多一条,账户同时收到的数量也有上限。通知会出现在 AWS Health 控制台并以电子邮件发送,内容包括端点、观察结果、重要性与建议操作。
若用户选择处理,可一键打开 SageMaker Studio 的 agentic 体验,端点与近期流量已预先填入。AWS 说明,智能体会先用通俗语言概述发现,并询问是否继续。确认后,它会生成使用 SageMaker Python SDK 的笔记本,创建推理建议任务,并标记对应的 AWS Health 事件。每个步骤是独立单元格,可在运行前查看或编辑。完成后可并排比较响应时间、吞吐量与每百万 token 成本;token 是模型处理文本的基本单位。
AWS 举了三个场景:一是加入检索后提示变长、首个 token 变慢的聊天助手;二是未启用推测解码的代码补全模型;三是上线规模低于预期、GPU 大多闲置的摘要端点。AWS 的示例截图显示,在延迟事件中,中位数首个 token 时间周环比增加约 200 毫秒。在未使用容量事件中,最繁忙的 GPU 大部分时间使用率不超过 12%。
引入前要注意哪些限制与费用?
AWS 称监控本身没有额外 GPU 成本,但基准测试按常规 SageMaker AI 计费,或使用用户已有的机器学习预留容量。要运行基准测试并可选地应用变更,需要以下条件:AWS Health 与 AWS User Notifications 控制台的访问权限、SageMaker Studio 域、可运行推理建议任务并更新端点的 IAM 权限,以及足够的服务配额。
在隐私方面,AWS 表示监控读取的是端点级汇总的延迟与容量遥测,不读取请求或响应内容。若不想被监控,AWS 说明可在调用 CreateModel 时设置 OPT_OUT_TRACKING 环境变量,值可自定义。设置位置是 Environment 映射中的 PrimaryContainer,或模型中的其他容器。设置后,SageMaker AI 不会收集该端点的引擎指标、GPU 指标与启动配置信息,也不会发送通知。
常见问题
这项监控会读取我的提示或模型响应吗?
AWS 表示不会。它只看延迟、GPU 使用率与端点服务配置等运营信号,并读取端点级的汇总遥测。
收到建议后,生产端点会被自动修改吗?
不会。AWS 表示基准测试在独立计算资源上运行,用户选择应用结果之前,端点不会有任何变更;也可以选择不处理或忽略发现。
监控与基准测试要付费吗?
AWS 说监控没有额外 GPU 成本;基准测试则使用标准 SageMaker AI 费用,或用户的机器学习预留容量。来源未提供具体价格。
如何让特定端点不被监控?
据 AWS 说明,在 CreateModel 的 Environment 中为容器设置 OPT_OUT_TRACKING 环境变量,值可自定义。之后该端点不会收集遥测,也不会有通知。
通知会在哪里看到?
AWS 说明通知出现在 AWS Health 并以电子邮件发送,且按区域显示,需登录端点所在区域才能看到该端点的发现。可在 AWS User Notifications 控制台管理接收方式。
觉得这篇整理实用吗?分享给需要的朋友
同主题延伸阅读
Signal 在 Android 与 iOS 27 默认封锁截图,阻止 Siri、Gemini 等 AI 代理读取屏幕
据 The Verge 报道,Signal 在 Android 与 iOS 27 上限制截图,以防操作系统层级的 AI 代理读取消息内容;用户可在设置中恢复截图,但 Signal 警告会削弱隐私保障。
Claude Code 2.1.329:Code Mode 可配合遥测、/tasks 整合定时任务、macOS computer use 安全规则收紧
Kimi Code CLI v2.7.0 新增原生 Bedrock provider:改用 AWS 凭证链连接 Kimi K3.1 Pro Highspeed
AWS 汇总 SageMaker 推理 13 项新功能:HyperPod 托管 NVIDIA Dynamo、MIG GPU 分割、跨区路由
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。