AWS 推出分散式 KV 快取 Agent Skill:AWS 稱自架 LLM 成本最多降 40%、首字延遲最多降 80%

AWS 在 Agent Toolkit for AWS 提供分散式 KV 快取技能,讓 Kiro、Claude Code 等編碼代理協助評估、建置與除錯自架 LLM 的共享快取。AWS 稱成本最多降 40%,首字延遲最多降 80%,並有 GPU、軟體版本前提。

新聞日期: 閱讀時間約 7 分鐘

目錄
  1. 1. 這項技能解決什麼問題?和原本做法差在哪?
  2. 2. 技能如何運作?四個流程與安全做法
  3. 3. 支援哪些環境?有哪些版本與規模條件?
  4. 4. 如何開始?

AWS 在官方機器學習部落格介紹「分散式 KV 快取」Agent Skill,讓編碼代理協助評估、建置與除錯自架 LLM 的共享 KV 快取層。Agent Skill 是可載入編碼代理的一套專門指引。技能可從 Agent Toolkit for AWS 取得,且需符合特定 GPU、引擎與快取版本前提。對長對話、程式代理或文件問答服務而言,若回到舊對話時 GPU 須重算全部歷史,這項做法旨在減少重複運算;以下數字均為 AWS 自述。

這項技能解決什麼問題?和原本做法差在哪?

AWS 指出,自架 LLM 時每台伺服器的獨立小型快取,無法容納或共享 AI 代理與聊天應用重複送出的大量上下文。使用者回到舊對話時,接手的 GPU 伺服器記憶體中沒有歷史內容,必須重算所有 token 的 KV 注意力狀態,才能開始輸出。這個步驟稱為 prefill,也就是模型在回答前先「讀完」整段對話的運算。

AWS 表示,分散式 KV 快取在 GPU 本地快取之外,於 GPU 機群旁加入共享層。如此一來,任何伺服器都能在跨工作階段、路由改變與伺服器故障後,重用 KV 狀態達數日。AWS 稱此做法可將成本最多降 40%、TTFT 最多降 80%。

技能如何運作?四個流程與安全做法

AWS 以四段對話示範:診斷首字過慢、估算大小與成本、建置快取、排除傳輸失敗。據 AWS 說明,代理在動手前會遵循多項做法:

  • 適用性檢查:代理以唯讀的 describe-instances 呼叫讀取 GPU 機群,並計算 EFA(Elastic Fabric Adapter,AWS 的高速網路介面)數量。它只詢問看不到的資訊:引擎、模型、TP(tensor-parallel,把模型分散到多張 GPU 的程度)大小、KV 資料型別、伺服器價格與提示重複頻率。不適用時會停止並說明。
  • 以自身流量估算:短提示時,載入 KV 可能比重算更慢。超過某個長度(cutover point,即讀取開始比重算划算的分界)後,讀取才划算。代理用 KVTrace 估算,若節省無法涵蓋快取成本就停止。AWS 稱 KVTrace 不另收費。
  • 沿用既有堆疊:代理為現有 vLLM 或 SGLang 加入 LMCache connector,並保留原有路由與引擎設定。各伺服器會採用同一種 KV ID 機制(hash 與 seed)及明確的 KV 資料型別,避免鍵值不一致。
  • 上線前驗證:代理會清空本地層,並確認兩次由快取載入的結果輸出相同,因為版面配置不符可能出現命中計數正常卻答案錯誤。建立、變更或刪除資源等高影響操作會請求明確核准。

在第一個流程中,AWS 以 p5 機群、64K token 上下文、回訪對話首字需 13 秒為例。代理判斷原因是冷 prefill,並先檢查不需新基礎設施的做法,例如重新開啟 prefix caching(單台 GPU 重用相同開頭內容的內建快取)。若在 session affinity(同一對話固定送往同一台伺服器)下,GPU prefix cache 命中率已高於 90%,可能不需要共享 KV 快取。

第二個流程以 8 台 p5、64,000 token 提示的多輪 RAG(檢索增強生成)助理為例。代理查詢 GPU 與快取節點價格後,建議兩個 cache.i8ge.48xlarge 節點。由於未提供命中率,代理提出多種情境並建議執行 KVTrace。AWS 說明,KVTrace 記錄 vLLM 或 SGLang 的 KV 快取事件,再離線對各候選容量重播。追蹤內容只含區塊雜湊與 token 數,不含 token ID 或提示文字;提示敏感時應加上 --anonymize-key-file。

第三個流程是建置:代理在建立任何資源前,先確認節點數、可用區與預估價格。確認後,代理會建立含 EFA 權限的安全群組,以及使用自訂參數群組與快取淘汰策略的 Valkey 9.1 叢集。LMCache 有專屬快取使用者,密碼存於 AWS Secrets Manager。代理在每台 GPU 伺服器啟動一個 LMCache 伺服器,並以小型測試物件驗證。它也會確認重複提示經 RDMA(遠端直接記憶體存取,伺服器間直接搬資料的高速方式)從快取載入 KV 狀態。第四個流程中,若 BLOB.RDMA_HELLO 成功,但資料傳輸失敗且 rdma_write_errors 上升,代理會判斷可能是安全群組擋住成員間的 EFA 流量,並提供檢查與修正指令。

支援哪些環境?有哪些版本與規模條件?

依 AWS 部落格整理的前提條件與範例
項目AWS 列出的需求或內容
編碼代理支援 Agent Skills,如 Kiro、Claude Code;AWS 亦提及 OpenAI Codex
GPU 執行個體支援 EFA RDMA write,如 p5
推論引擎vLLM 0.11.1 以上;SGLang 0.5.13 以上
LMCache0.5.8rc1 以上
快取(若需建置)ElastiCache for Valkey 9.1 以上,使用 cache.i8ge.48xlarge 節點
範例規模8 台 p5、64,000 token 提示 → 建議 2 個 cache.i8ge.48xlarge 節點
評估工具KVTrace,AWS 稱不另收費

如何開始?

AWS 表示,可從 Agent Toolkit for AWS 取得分散式 KV 快取技能或 AWS MCP Server。取得後,描述你的問題,或請 AI 代理降低 GPU 機群的成本與延遲即可開始。完整建置指令請參閱 Amazon ElastiCache 文件中的「Getting started with distributed KV caching」;KVTrace 另有 GitHub 儲存庫。

常見問題

什麼情況下可能不需要共享 KV 快取?

AWS 指出,若曾關閉 prefix caching,重新開啟可加速連續回合;若 GPU prefix cache 命中率在 session affinity 下已高於 90%,可能不需要共享 KV 快取。

短提示也適合用嗎?

AWS 說明,短提示時載入 KV 狀態可能比重算更久,超過 cutover point 後讀取才較划算。是否值得,取決於該長度與提示重複頻率,代理會用 KVTrace 估算。

KVTrace 會收集我的提示內容嗎?

據 AWS 說明,記錄器不會寫入 token ID 或提示文字,追蹤只含區塊雜湊與 token 數。因區塊雜湊來自 token 內容,提示敏感時應加上 --anonymize-key-file。

代理會自動建立或刪除資源嗎?

AWS 表示,技能引導代理對建立、變更或刪除資源等高影響操作尋求明確核准,建置前也會先請你確認節點數、可用區與預估價格。

查看同分類最新消息

覺得這篇整理實用嗎?分享給需要的朋友

資料來源

本文依據上方所列參考來源與標示之核對日期整理;票價、時刻、功能規格或服務條款可能變動,出發、預訂或購買前請至相關官方網站確認最新資訊。

生活分享