AWS 彙整 SageMaker 推論 13 項新功能:HyperPod 託管 NVIDIA Dynamo、MIG GPU 分割、跨區路由
AWS 於 11 月 20 日發布 SageMaker 推論 2026 年度回顧第二部,彙整 13 項上線後營運功能,涵蓋推論建議、GPU 分割、大型模型服務、跨區路由與監控。
新聞日期: 閱讀時間約 6 分鐘
AWS 在官方部落格發布「Amazon SageMaker Inference: 2026 launches in review, part 2」,延續第一部的 13 項功能,再列出編號 14 到 26 的推論新功能,時間橫跨 2026 年 7 月至 11 月。AWS 未在文中逐項標示各功能為預覽或正式版,各功能的區域與條件請以 AWS 文件為準。對正在營運生成式 AI 服務的團隊而言,重點在於上線後如何調校設定、提高 GPU 利用率並降低延遲。以下功能說明與效能數字均來自 AWS。
這批更新改變了什麼?
AWS 以一個假想的客服助理團隊貫穿全文,依五個階段介紹功能:選擇設定、讓更多模型共用 GPU、服務超出單一執行個體的模型、把請求導向適合的 GPU,以及上線後持續調校。
- 推論建議:AWS 稱 4 月的 API 之外,已加入 SageMaker AI Studio(7 月)、Python SDK v3 3.17.0 以上(8 月)、LoRA 轉接器支援與 SLA 並行度搜尋(9 月)。LoRA 轉接器是用來讓同一個基礎模型針對不同用途特化的附加模組。
- 程式代理技能:aws-ai-ml 技能透過 Agent Toolkit for AWS 提供,AWS 稱設定約需 10 分鐘,輸出為可審閱的 SDK v3 程式碼。
- GPU 利用:主控台可管理 Inference Components(在同一端點上分別部署與擴縮多個模型),並以 NVIDIA MIG 將一顆 GPU 切成最多七個分區。
- 大型模型:HyperPod 提供託管 NVIDIA Dynamo,支援多節點分片服務(一份模型橫跨多個節點)與預填/解碼分離(處理提示與產生文字分開在不同 GPU 上執行)。
各功能的時程、範圍與限制為何?
| 功能 | AWS 標示時間 | 範圍或限制(依 AWS 說明) |
|---|---|---|
| Studio 推論建議 | 2026 年 7 月 | Jobs > Inference optimization;可從 Studio 部署到即時端點 |
| Python SDK v3 推論建議 | 2026 年 8 月 | 3.17.0 以上版本;可平行比較 LMI、vLLM |
| LoRA 支援與 SLA 並行度搜尋 | 2026 年 9 月 | search_recipe 設為 max-concurrency-under-sla |
| Inference Components 主控台 | 2026 年 10 月 | 可建立、擴縮(可縮至零份)與監控 |
| NVIDIA MIG 分割 | 2026 年 10 月 | 最多七個分區;仍按整台執行個體時數計費 |
| 託管 NVIDIA Dynamo | 2026 年 11 月 | HyperPod 可用的區域;vLLM、SGLang、TensorRT-LLM |
| KV 快取感知路由 | 2026 年 11 月 | 首版需 AWS 驗證的模型容器 |
| HyperPod Inference Gateway | 2026 年 9 月 | P99 TTFT 最多降 97%/98%(對比輪詢) |
| 跨區推論路由 | 文中未標示月份 | 不新增容量、不複製模型;可設溢流上限與區域限制 |
| 持續效能監控 | 2026 年 11 月 | 預設開啟、可退出;不讀取請求或回應 |
| 就地滾動更新 | 2026 年 11 月 | 自動套用;20 台、批次 2 時取得 2 台新執行個體 |
對日常推論工作流程有什麼影響?
AWS 表示,工程師可在筆記本、CI 管線或程式代理中發起基準測試並取得排名建議,不必依賴主控台。並行度是端點同時處理的請求數;SLA 並行度搜尋會找出仍符合延遲與錯誤率目標的最大並行度,取代過去逐輪手動測試的做法。
在路由方面,AWS 說 HyperPod 的每個叢集可用單一 OpenAI 相容端點服務所有模型,Gateway 會依各 pod 的即時狀態挑選目標,而非輪詢(依序輪流分派)。一般端點的 KV 快取感知路由,則把請求送到已存有最長相同提示前綴快取的執行個體;KV 快取是模型處理提示後留下、可重複使用的中間結果。跨區路由以 AWS PrivateLink 連線,並可限制哪些區域能處理請求。持續監控會偵測延遲漂移、設定落差與閒置 GPU,並開啟 Studio 中的引導式修正,但在使用者套用前不會部署任何變更。
想開始使用,AWS 建議怎麼做?
AWS 建議從符合目前問題的部分著手:流量已改變就重新執行推論建議;放置名額不足就把小型模型移到分割後的 GPU;請求排隊但自有容量閒置,就為跨區路由註冊叢集與端點。各功能的文件與入門指南位於 Amazon SageMaker AI Developer Guide。AWS 也說明,已在 HyperPod Inference 上的團隊可更新附加元件,並在現有 InferenceEndpointConfig 加入簡短的 dynamoSpec 區塊。
常見問題
託管 Dynamo 在哪些區域可用?
AWS 表示,它可用於提供 Amazon SageMaker HyperPod 的區域。文中未說明台灣或其他特定地區的細節。
MIG 會讓每小時費用變便宜嗎?
不會。AWS 說明仍按整台執行個體時數的標準費率計費,節省來自在每台執行個體放置更多模型。
效能監控會讀取我的請求內容嗎?
AWS 表示不會,只看延遲、GPU 使用率與端點服務設定。預設開啟,可退出,也可隨時關閉。
跨區推論路由能解決容量不足嗎?
AWS 說路由器不新增容量、不複製模型也不部署端點,而是在你已部署的區域端點之間導流。
後續還有哪些計畫?
AWS 計畫在 2027 年初擴充就地滾動更新,推出先縮減式更新,使模型更新時不需任何額外執行個體。
覺得這篇整理實用嗎?分享給需要的朋友
同主題延伸閱讀
Signal 在 Android 與 iOS 27 預設封鎖截圖,阻止 Siri、Gemini 等 AI 代理讀取畫面
據 The Verge 報導,Signal 在 Android 與 iOS 27 上限制截圖,以防作業系統層級的 AI 代理讀取訊息內容;使用者可在設定中恢復截圖,但 Signal 警告會削弱隱私保障。
Claude Code 2.1.329:Code Mode 可搭配遙測、/tasks 整合排程任務、macOS computer use 安全規則收緊
Kimi Code CLI v2.7.0 新增原生 Bedrock provider:改用 AWS 憑證鏈連接 Kimi K3.1 Pro Highspeed
BMW Group 公開 AI 代理治理做法:逾 1.25 萬名開發者、三級自主度與 CI/CD 四階段閘門
資料來源
本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。