Amazon SageMaker AI 預設監控 vLLM GPU 推論端點:偵測延遲漂移、閒置 GPU 與未啟用優化

AWS 宣布 SageMaker AI 會預設監控使用 vLLM 容器與 GPU 執行個體的生成式 AI 推論端點,透過 AWS Health 通知延遲、閒置容量與設定問題,且不會自動變更正式環境。

新聞日期: 閱讀時間約 6 分鐘

LINE 分享
目錄
  1. 1. 這次到底改變了什麼?
  2. 2. 哪些端點適用?收到通知後要怎麼處理?
  3. 3. 導入前要注意哪些限制與費用?
  4. 4. 常見問題

AWS 在官方部落格宣布,SageMaker AI 現在會自動監控生成式 AI 推論端點,並在效能可改善或成本可降低時通知使用者。推論端點是指部署好、讓應用程式呼叫模型的服務。依 AWS 說法,這項監控現已對符合條件的端點預設開啟,不需申請或設定。符合條件是指使用 vLLM 服務容器並搭配 GPU 執行個體;vLLM 是一種模型服務引擎。通知會依 AWS 區域分別顯示。對維運團隊而言,端點上線後即使沒有故障,延遲也可能悄悄變差,GPU 也可能白白閒置。這項功能等於提供持續的提醒。

這次到底改變了什麼?

AWS 指出,端點上線時通常調得很好。但流量模式、提示長度、vLLM 版本與模型檢查點會隨時間改變,由於沒有警報,這些變化容易被忽略。新功能透過「Generative AI optimized inference recommendations」持續觀察端點並提出建議。它搭配 SageMaker Studio 的 agentic 體驗,也就是能以對話方式協助執行後續步驟的 AI 助理介面。AWS 將流程分為四步:觀察、通知、建議(需主動選擇)與決策。

在偵測範圍上,AWS 列出三類發現。第一類是延遲漂移:p50(中位數)端到端延遲或首個 token 時間週對週上升;首個 token 時間指模型開始吐出第一段回應前的等待時間。第二類是未使用容量,也就是付費卻大多閒置的 GPU。第三類是設定落差:容器缺少新的效能改進或安全修補,或者模型支援、端點卻沒用上的優化,例如推測解碼(一種加快回應的技術)與 GPU 核心調校。AWS 也表示,延遲比較以端點自身歷史為基準,不需事先設定門檻。

AWS 列出的發現類型、觸發條件與基準測試內容(張量平行指把模型分散到多張 GPU 上一起運算的設定)
發現類型觸發條件(AWS 說明)基準測試比較內容
延遲漂移回應時間相對端點週對週趨勢變動張量平行設定、其他執行個體類型或大小
GPU 使用不足GPU 使用率在觀察期間遠低於容量在觀察到的尖峰流量下測試較便宜或較小的執行個體
未啟用推測解碼模型與容器支援但功能關閉目前設定與啟用推測解碼的比較
服務容器有較新版本,含效能改進與重大、高風險 CVE(公開登錄的安全漏洞)修補目前容器與更新後容器比較
GPU 核心未調校核心設定未針對模型與硬體調校預設核心與調校後核心比較

哪些端點適用?收到通知後要怎麼處理?

根據 AWS,監控對使用 vLLM 服務容器與 GPU 執行個體的端點預設啟用。每個端點只會收到一則涵蓋其所有發現的通知,同一時間最多一則,帳戶同時收到的數量也有上限。通知會出現在 AWS Health 主控台並以電子郵件寄出,內容包含端點、觀察結果、重要性與建議動作。

若使用者選擇處理,可一鍵開啟 SageMaker Studio 的 agentic 體驗,端點與近期流量已預先填入。AWS 說明,代理程式會先以白話摘要發現,並詢問是否繼續。確認後,它會產生使用 SageMaker Python SDK 的筆記本,建立推論建議工作,並標記對應的 AWS Health 事件。每個步驟是獨立儲存格,可在執行前檢視或編輯。完成後可並排比較回應時間、吞吐量與每百萬 token 成本;token 是模型處理文字的基本單位。

AWS 舉了三個情境:一是加入檢索後提示變長、首個 token 變慢的聊天助理;二是未啟用推測解碼的程式碼補全模型;三是上線規模低於預期、GPU 大多閒置的摘要端點。AWS 的範例截圖顯示,在延遲事件中,中位數首個 token 時間週對週增加約 200 毫秒。在未使用容量事件中,最忙的 GPU 大部分時間使用率不超過 12%。

導入前要注意哪些限制與費用?

AWS 稱監控本身無額外 GPU 成本,但基準測試採一般 SageMaker AI 計費,或使用者既有的機器學習預留容量。要執行基準測試並選擇性套用變更,需要以下條件:AWS Health 與 AWS User Notifications 主控台的存取權、SageMaker Studio 網域、可執行推論建議工作與更新端點的 IAM 權限,以及足夠的服務配額。

在隱私方面,AWS 表示監控讀取的是端點層級彙總的延遲與容量遙測,不讀取請求或回應內容。若不想被監控,AWS 說明可在呼叫 CreateModel 時設定 OPT_OUT_TRACKING 環境變數,值可自訂。設定位置是 Environment 對應中的 PrimaryContainer,或模型中的其他容器。設定後,SageMaker AI 不會收集該端點的引擎指標、GPU 指標與啟動設定資訊,也不會發送通知。

常見問題

這項監控會讀取我的提示或模型回應嗎?

AWS 表示不會。它只看延遲、GPU 使用率與端點服務設定等營運訊號,並讀取端點層級的彙總遙測。

收到建議後,正式端點會自動被修改嗎?

不會。AWS 表示基準測試在獨立運算資源上執行,使用者選擇套用結果之前,端點不會有任何變更;也可以選擇不處理或駁回發現。

監控與基準測試要付費嗎?

AWS 說監控沒有額外 GPU 成本;基準測試則使用標準 SageMaker AI 費用,或使用者的機器學習預留容量。來源未提供具體價格。

如何讓特定端點不被監控?

依 AWS 說明,在 CreateModel 的 Environment 中為容器設定 OPT_OUT_TRACKING 環境變數,值可自訂。之後該端點不會收集遙測,也不會有通知。

通知會在哪裡看到?

AWS 說明通知出現在 AWS Health 並以電子郵件寄送,且依區域顯示,需登入端點所在區域才能看到該端點的發現。可在 AWS User Notifications 主控台管理接收方式。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

LINE 分享

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享