Amazon SageMaker AI 默认监控 vLLM GPU 推理端点:检测延迟漂移、闲置 GPU 与未启用的优化

AWS 宣布 SageMaker AI 会默认监控使用 vLLM 容器与 GPU 实例的生成式 AI 推理端点,通过 AWS Health 通知延迟、闲置容量与配置问题,且不会自动变更生产环境。

新闻日期: 阅读时间约 6 分钟

LINE 分享
目录
  1. 1. 这次到底改变了什么?
  2. 2. 哪些端点适用?收到通知后要怎么处理?
  3. 3. 引入前要注意哪些限制与费用?
  4. 4. 常见问题

AWS 在官方博客宣布,SageMaker AI 现在会自动监控生成式 AI 推理端点,并在性能可改善或成本可降低时通知用户。推理端点是指部署好、供应用程序调用模型的服务。据 AWS 介绍,这项监控现已对符合条件的端点默认开启,无需申请或配置。符合条件是指使用 vLLM 服务容器并搭配 GPU 实例;vLLM 是一种模型服务引擎。通知会按 AWS 区域分别显示。对运维团队而言,端点上线后即使没有故障,延迟也可能悄悄变差,GPU 也可能白白闲置。这项功能相当于提供持续的提醒。

这次到底改变了什么?

AWS 指出,端点上线时通常调得很好。但流量模式、提示长度、vLLM 版本与模型检查点会随时间变化,由于没有告警,这些变化容易被忽略。新功能通过“Generative AI optimized inference recommendations”持续观察端点并给出建议。它搭配 SageMaker Studio 的 agentic 体验,也就是能以对话方式协助执行后续步骤的 AI 助手界面。AWS 将流程分为四步:观察、通知、建议(需主动选择)与决策。

在检测范围上,AWS 列出三类发现。第一类是延迟漂移:p50(中位数)端到端延迟或首个 token 时间周环比上升;首个 token 时间指模型开始输出第一段响应前的等待时间。第二类是未使用容量,也就是付费却大多闲置的 GPU。第三类是配置落差:容器缺少新的性能改进或安全补丁,或者模型支持、端点却没用上的优化,例如推测解码(一种加快响应的技术)与 GPU 内核调优。AWS 还表示,延迟比较以端点自身历史为基准,无需事先设置阈值。

AWS 列出的发现类型、触发条件与基准测试内容(张量并行指把模型分散到多张 GPU 上一起运算的配置)
发现类型触发条件(AWS 说明)基准测试比较内容
延迟漂移响应时间相对端点周环比趋势发生变动张量并行配置、其他实例类型或规格
GPU 利用不足GPU 使用率在观察期间远低于容量在观察到的峰值流量下测试更便宜或更小的实例
未启用推测解码模型与容器支持但功能关闭当前配置与启用推测解码的比较
服务容器有较新版本,含性能改进与严重、高风险 CVE(公开登记的安全漏洞)补丁当前容器与更新后容器比较
GPU 内核未调优内核配置未针对模型与硬件调优默认内核与调优后内核比较

哪些端点适用?收到通知后要怎么处理?

根据 AWS,监控对使用 vLLM 服务容器与 GPU 实例的端点默认启用。每个端点只会收到一条涵盖其所有发现的通知,同一时间最多一条,账户同时收到的数量也有上限。通知会出现在 AWS Health 控制台并以电子邮件发送,内容包括端点、观察结果、重要性与建议操作。

若用户选择处理,可一键打开 SageMaker Studio 的 agentic 体验,端点与近期流量已预先填入。AWS 说明,智能体会先用通俗语言概述发现,并询问是否继续。确认后,它会生成使用 SageMaker Python SDK 的笔记本,创建推理建议任务,并标记对应的 AWS Health 事件。每个步骤是独立单元格,可在运行前查看或编辑。完成后可并排比较响应时间、吞吐量与每百万 token 成本;token 是模型处理文本的基本单位。

AWS 举了三个场景:一是加入检索后提示变长、首个 token 变慢的聊天助手;二是未启用推测解码的代码补全模型;三是上线规模低于预期、GPU 大多闲置的摘要端点。AWS 的示例截图显示,在延迟事件中,中位数首个 token 时间周环比增加约 200 毫秒。在未使用容量事件中,最繁忙的 GPU 大部分时间使用率不超过 12%。

引入前要注意哪些限制与费用?

AWS 称监控本身没有额外 GPU 成本,但基准测试按常规 SageMaker AI 计费,或使用用户已有的机器学习预留容量。要运行基准测试并可选地应用变更,需要以下条件:AWS Health 与 AWS User Notifications 控制台的访问权限、SageMaker Studio 域、可运行推理建议任务并更新端点的 IAM 权限,以及足够的服务配额。

在隐私方面,AWS 表示监控读取的是端点级汇总的延迟与容量遥测,不读取请求或响应内容。若不想被监控,AWS 说明可在调用 CreateModel 时设置 OPT_OUT_TRACKING 环境变量,值可自定义。设置位置是 Environment 映射中的 PrimaryContainer,或模型中的其他容器。设置后,SageMaker AI 不会收集该端点的引擎指标、GPU 指标与启动配置信息,也不会发送通知。

常见问题

这项监控会读取我的提示或模型响应吗?

AWS 表示不会。它只看延迟、GPU 使用率与端点服务配置等运营信号,并读取端点级的汇总遥测。

收到建议后,生产端点会被自动修改吗?

不会。AWS 表示基准测试在独立计算资源上运行,用户选择应用结果之前,端点不会有任何变更;也可以选择不处理或忽略发现。

监控与基准测试要付费吗?

AWS 说监控没有额外 GPU 成本;基准测试则使用标准 SageMaker AI 费用,或用户的机器学习预留容量。来源未提供具体价格。

如何让特定端点不被监控?

据 AWS 说明,在 CreateModel 的 Environment 中为容器设置 OPT_OUT_TRACKING 环境变量,值可自定义。之后该端点不会收集遥测,也不会有通知。

通知会在哪里看到?

AWS 说明通知出现在 AWS Health 并以电子邮件发送,且按区域显示,需登录端点所在区域才能看到该端点的发现。可在 AWS User Notifications 控制台管理接收方式。

查看同分类最新消息

觉得这篇整理实用吗?分享给需要的朋友

LINE 分享

资料来源

本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。

生活分享