AWS 推出分布式 KV 缓存 Agent Skill:AWS 称自建 LLM 成本最多降 40%、首字延迟最多降 80%
AWS 在 Agent Toolkit for AWS 中提供分布式 KV 缓存技能,让 Kiro、Claude Code 等编码代理协助评估、搭建和排查自建 LLM 的共享缓存。AWS 称成本最多降 40%,首字延迟最多降 80%,并有 GPU、软件版本前提。
新闻日期: 阅读时间约 7 分钟
AWS 在官方机器学习博客中介绍了“分布式 KV 缓存”Agent Skill,让编码代理协助评估、搭建和排查自建 LLM 的共享 KV 缓存层。Agent Skill 是可加载到编码代理中的一套专门指引。该技能可从 Agent Toolkit for AWS 获取,且需满足特定的 GPU、引擎和缓存版本前提。对长对话、编程代理或文档问答服务而言,如果回到旧对话时 GPU 必须重算全部历史,这种做法旨在减少重复计算;以下数字均为 AWS 自述。
这项技能解决什么问题?和原来的做法有何不同?
AWS 指出,自建 LLM 时,每台服务器各自独立的小型缓存,无法容纳或共享 AI 代理和聊天应用反复发送的大量上下文。用户回到旧对话时,接手的 GPU 服务器内存中没有历史内容,必须重算所有 token 的 KV 注意力状态,才能开始输出。这一步称为 prefill,也就是模型在回答前先“读完”整段对话的计算。
AWS 表示,分布式 KV 缓存在 GPU 本地缓存之外,于 GPU 集群旁增加一个共享层。这样,任何服务器在跨会话、路由变化和服务器故障之后,都能重用 KV 状态长达数日。AWS 称此做法可将成本最多降低 40%、TTFT 最多降低 80%。
技能如何运作?四个流程与安全做法
AWS 用四段对话进行演示:诊断首字过慢、估算规模与成本、搭建缓存、排查传输失败。据 AWS 介绍,代理在动手前会遵循多项做法:
- 适用性检查:代理通过只读的 describe-instances 调用读取 GPU 集群,并统计 EFA(Elastic Fabric Adapter,AWS 的高速网络接口)数量。它只询问看不到的信息:引擎、模型、TP(tensor-parallel,把模型分散到多张 GPU 的程度)大小、KV 数据类型、服务器价格和提示重复频率。不适用时会停止并说明原因。
- 基于自身流量估算:提示较短时,加载 KV 可能比重算更慢。超过某个长度(cutover point,即读取开始比重算划算的分界点)后,读取才划算。代理用 KVTrace 估算,若节省的成本无法覆盖缓存成本就会停止。AWS 称 KVTrace 不另收费。
- 沿用现有技术栈:代理为现有的 vLLM 或 SGLang 加入 LMCache connector,并保留原有路由和引擎配置。各服务器采用同一种 KV ID 机制(hash 与 seed)及明确的 KV 数据类型,避免键值不一致。
- 上线前验证:代理会清空本地层,并确认两次从缓存加载的结果输出相同,因为布局不匹配时可能出现命中计数正常但答案错误的情况。创建、变更或删除资源等高影响操作会请求明确批准。
在第一个流程中,AWS 以 p5 集群、64K token 上下文、回访对话首字需 13 秒为例。代理判断原因是冷 prefill,并先检查不需要新基础设施的做法,例如重新开启 prefix caching(单台 GPU 重用相同开头内容的内置缓存)。如果在 session affinity(同一对话固定发往同一台服务器)下,GPU prefix cache 命中率已高于 90%,可能就不需要共享 KV 缓存。
第二个流程以 8 台 p5、64,000 token 提示的多轮 RAG(检索增强生成)助手为例。代理查询 GPU 和缓存节点价格后,建议使用两个 cache.i8ge.48xlarge 节点。由于未提供命中率,代理提出多种情景并建议运行 KVTrace。AWS 说明,KVTrace 记录 vLLM 或 SGLang 的 KV 缓存事件,再离线针对各候选容量重放。追踪内容只含块哈希和 token 数,不含 token ID 或提示文本;提示敏感时应加上 --anonymize-key-file。
第三个流程是搭建:代理在创建任何资源前,先确认节点数、可用区和预估价格。确认后,代理会创建带 EFA 权限的安全组,以及使用自定义参数组和缓存淘汰策略的 Valkey 9.1 集群。LMCache 有专属缓存用户,密码存放在 AWS Secrets Manager 中。代理在每台 GPU 服务器上启动一个 LMCache 服务器,并用小型测试对象验证。它还会确认重复提示通过 RDMA(远程直接内存访问,服务器间直接搬运数据的高速方式)从缓存加载 KV 状态。第四个流程中,若 BLOB.RDMA_HELLO 成功,但数据传输失败且 rdma_write_errors 上升,代理会判断可能是安全组拦截了成员间的 EFA 流量,并提供检查和修复命令。
支持哪些环境?有哪些版本与规模条件?
| 项目 | AWS 列出的需求或内容 |
|---|---|
| 编码代理 | 支持 Agent Skills,如 Kiro、Claude Code;AWS 也提到 OpenAI Codex |
| GPU 实例 | 支持 EFA RDMA write,如 p5 |
| 推理引擎 | vLLM 0.11.1 以上;SGLang 0.5.13 以上 |
| LMCache | 0.5.8rc1 以上 |
| 缓存(若需搭建) | ElastiCache for Valkey 9.1 以上,使用 cache.i8ge.48xlarge 节点 |
| 示例规模 | 8 台 p5、64,000 token 提示 → 建议 2 个 cache.i8ge.48xlarge 节点 |
| 评估工具 | KVTrace,AWS 称不另收费 |
如何开始?
AWS 表示,可从 Agent Toolkit for AWS 获取分布式 KV 缓存技能或 AWS MCP Server。获取后,描述你的问题,或请 AI 代理降低 GPU 集群的成本和延迟即可开始。完整搭建命令请参阅 Amazon ElastiCache 文档中的“Getting started with distributed KV caching”;KVTrace 另有 GitHub 仓库。
常见问题
什么情况下可能不需要共享 KV 缓存?
AWS 指出,如果曾关闭 prefix caching,重新开启可加快连续轮次;如果 GPU prefix cache 命中率在 session affinity 下已高于 90%,可能就不需要共享 KV 缓存。
短提示也适合使用吗?
AWS 说明,提示较短时,加载 KV 状态可能比重算耗时更长,超过 cutover point 后读取才更划算。是否值得,取决于该长度和提示重复频率,代理会用 KVTrace 估算。
KVTrace 会收集我的提示内容吗?
据 AWS 说明,记录器不会写入 token ID 或提示文本,追踪只含块哈希和 token 数。由于块哈希源自 token 内容,提示敏感时应加上 --anonymize-key-file。
代理会自动创建或删除资源吗?
AWS 表示,该技能引导代理对创建、变更或删除资源等高影响操作寻求明确批准,搭建前也会先请你确认节点数、可用区和预估价格。
同主题延伸阅读
Claude Code 2.1.330:企业管理控制台登录、easel 图表模块、定时任务延长至 30 天
Anthropic 在 Claude Code 2.1.330 更新日志中列出企业管理控制台登录、内置图表模块 easel、定时任务最长 30 天,以及更严格的 rm 命令审核。
AWS Quick 更新:对话创建流程、多智能体协作、新增 Meta ads 与 Amplitude 连接器,AWS 称所有 Quick 区域即日可用
Amazon SageMaker HyperPod Slurm 推出集群扩展功能:可观测性与用户管理两项托管扩展,所有 HyperPod 支持区域可用
Amazon Textract Insights 正式推出:以自然语言抽取文档字段,附置信度评分与页面定位,单文件最多 3,000 页
资料来源
本文依据上方所列参考来源与标示之核实日期整理;票价、时刻、功能规格或服务条款可能变动,出发、预订或购买前请至相关官方网站确认最新信息。