AWSが分散KVキャッシュのAgent Skillを公開:AWSは自前LLMのコスト最大40%減、初回トークン遅延最大80%減と説明
AWSはAgent Toolkit for AWSで分散KVキャッシュのスキルを提供し、KiroやClaude Codeなどのコーディングエージェントが自前LLMの共有キャッシュの評価・構築・デバッグを支援します。AWSはコスト最大40%減、初回トークン遅延最大80%減と説明しており、GPUやソフトウェアのバージョンなどの前提があります。
ニュース日: 読了目安 10 分
AWSは公式の機械学習ブログで「分散KVキャッシュ」Agent Skillを紹介し、コーディングエージェントが自前LLM向け共有KVキャッシュ層の評価・構築・デバッグを支援するとしています。Agent Skillとは、コーディングエージェントに読み込ませる専門的な指針のことです。スキルはAgent Toolkit for AWSから入手でき、特定のGPU、エンジン、キャッシュのバージョンという前提を満たす必要があります。長い会話、コーディングエージェント、文書QAのサービスで、過去の会話に戻るたびにGPUが履歴全体を再計算している場合に、重複計算を減らすことを狙っています。以下の数値はすべてAWSの自己申告です。
このスキルは何を解決するのか?従来との違い
AWSによると、自前LLMでは各サーバーが個別に持つ小さなキャッシュでは、AIエージェントやチャットアプリが繰り返し送る大量のコンテキストを保持も共有もできません。ユーザーが過去の会話に戻ると、引き継いだGPUサーバーのメモリには履歴がなく、出力を始める前に全トークンのKVアテンション状態を再計算する必要があります。この工程がprefillで、モデルが回答前に会話全体を「読み込む」計算を指します。
AWSは、分散KVキャッシュがGPU本体のローカルキャッシュに加え、GPUフリートの隣に共有層を置くと説明しています。これにより、セッションをまたぐ場合、ルーティングが変わった場合、サーバー障害後でも、どのサーバーでも数日間KV状態を再利用できます。AWSはこの方法でコストを最大40%、TTFTを最大80%削減できるとしています。
スキルの仕組みは?4つのフローと安全面の運用
AWSは、初回遅延の診断、サイズとコストの試算、キャッシュの構築、転送失敗の解消という4つの対話で例を示しています。AWSの説明では、エージェントは作業前に次のような手順に従います。
- 適用可否チェック:エージェントは読み取り専用のdescribe-instances呼び出しでGPUフリートを読み取り、EFA(Elastic Fabric Adapter、AWSの高速ネットワークインターフェース)の数を数えます。確認できない情報、つまりエンジン、モデル、TP(tensor-parallel、モデルを複数GPUに分散する度合い)のサイズ、KVのデータ型、サーバー価格、プロンプトの重複頻度だけを尋ねます。適用できない場合は停止して理由を説明します。
- 自社トラフィックでの試算:短いプロンプトでは、KVの読み込みが再計算より遅くなることがあります。ある長さ(cutover point、読み込みが再計算より有利になり始める境目)を超えて初めて、読み込みが有利になります。エージェントはKVTraceで試算し、節約がキャッシュ費用を上回らなければ停止します。AWSはKVTraceに追加料金はかからないとしています。
- 既存スタックの活用:エージェントは既存のvLLMまたはSGLangにLMCache connectorを追加し、既存のルーティングとエンジン設定を維持します。各サーバーは同じKV ID方式(hashとseed)と明示的なKVデータ型を使い、キーの不整合を防ぎます。
- 本番前の検証:エージェントはローカル層を空にし、キャッシュから2回読み込んだ結果の出力が同一であることを確認します。レイアウトが合わないと、ヒット数は正常でも回答が誤る場合があるためです。リソースの作成・変更・削除など影響の大きい操作では、明示的な承認を求めます。
最初のフローでAWSは、p5フリート、64Kトークンのコンテキスト、再訪した会話の初回トークンまで13秒かかるケースを例にしています。エージェントは原因をコールドprefillと判断し、まず新たなインフラが不要な対策、たとえばprefix caching(単一GPUで同じ冒頭部分を再利用する内蔵キャッシュ)の再有効化を確認します。session affinity(同じ会話を同じサーバーに固定して送ること)の下でGPU prefix cacheのヒット率がすでに90%を超えていれば、共有KVキャッシュは不要かもしれません。
2つ目のフローは、p5を8台使い、64,000トークンのプロンプトを扱うマルチターンRAG(検索拡張生成)アシスタントが例です。エージェントはGPUとキャッシュノードの価格を調べ、cache.i8ge.48xlargeを2ノードにするよう提案します。ヒット率が示されていないため、エージェントは複数のシナリオを提示し、KVTraceの実行を勧めます。AWSによると、KVTraceはvLLMまたはSGLangのKVキャッシュイベントを記録し、候補の各容量でオフライン再生します。トレースにはブロックハッシュとトークン数のみが含まれ、トークンIDやプロンプトの文面は含まれません。プロンプトが機密の場合は--anonymize-key-fileを付けるべきです。
3つ目のフローは構築です。エージェントはリソースを作る前に、ノード数、アベイラビリティゾーン、概算価格を確認します。確認後、EFA権限付きのセキュリティグループと、カスタムパラメータグループおよびキャッシュ退避ポリシーを使うValkey 9.1クラスターを作成します。LMCacheには専用のキャッシュユーザーが用意され、パスワードはAWS Secrets Managerに保存されます。エージェントは各GPUサーバーでLMCacheサーバーを1つ起動し、小さなテストオブジェクトで検証します。また、重複したプロンプトがRDMA(リモートダイレクトメモリアクセス、サーバー間でデータを直接移す高速方式)でキャッシュからKV状態を読み込むことも確認します。4つ目のフローでは、BLOB.RDMA_HELLOが成功してもデータ転送が失敗しrdma_write_errorsが増える場合、エージェントはセキュリティグループがメンバー間のEFA通信を遮断している可能性を指摘し、確認と修正のコマンドを提示します。
対応環境は?バージョンと規模の条件
| 項目 | AWSが示す要件・内容 |
|---|---|
| コーディングエージェント | Agent Skills対応のもの(Kiro、Claude Codeなど)。AWSはOpenAI Codexにも言及 |
| GPUインスタンス | EFA RDMA write対応(p5など) |
| 推論エンジン | vLLM 0.11.1以上、SGLang 0.5.13以上 |
| LMCache | 0.5.8rc1以上 |
| キャッシュ(構築する場合) | ElastiCache for Valkey 9.1以上、cache.i8ge.48xlargeノードを使用 |
| 例の規模 | p5を8台、64,000トークンのプロンプト → cache.i8ge.48xlargeを2ノード推奨 |
| 評価ツール | KVTrace(AWSは追加料金なしとしている) |
始めるには?
AWSによると、分散KVキャッシュのスキルやAWS MCP ServerはAgent Toolkit for AWSから入手できます。入手後、課題を説明するか、AIエージェントにGPUフリートのコストとレイテンシの削減を依頼すれば開始できます。構築コマンドの全文はAmazon ElastiCacheドキュメントの「Getting started with distributed KV caching」を参照してください。KVTraceにはGitHubリポジトリもあります。
よくある質問
どのような場合に共有KVキャッシュは不要かもしれませんか?
AWSによると、prefix cachingを無効にしていたなら、再度有効にすれば連続したターンが速くなります。session affinityの下でGPU prefix cacheのヒット率がすでに90%を超えている場合も、共有KVキャッシュは不要かもしれません。
短いプロンプトでも使えますか?
AWSの説明では、短いプロンプトではKV状態の読み込みが再計算より長くかかることがあり、cutover pointを超えて初めて読み込みが有利になります。価値があるかはその長さとプロンプトの重複頻度次第で、エージェントがKVTraceで試算します。
KVTraceは私のプロンプト内容を収集しますか?
AWSによると、レコーダーはトークンIDやプロンプトの文面を書き込まず、トレースにはブロックハッシュとトークン数のみが含まれます。ブロックハッシュはトークンの内容から生成されるため、プロンプトが機密の場合は--anonymize-key-fileを付けてください。
エージェントはリソースを自動で作成・削除しますか?
AWSによると、スキルはリソースの作成・変更・削除など影響の大きい操作でエージェントに明示的な承認を求めさせます。構築前にもノード数、アベイラビリティゾーン、概算価格の確認を求めます。
同じテーマの記事
Claude Code 2.1.330:Enterprise Admin Consoleへのログイン、easelグラフモジュール、スケジュールタスクが最長30日に
AnthropicのClaude Code 2.1.330変更履歴には、Enterprise Admin Consoleへのログイン、組み込みグラフモジュールeasel、最長30日のスケジュールタスク、より厳格なrmコマンドの承認が記載されています。
AWS Quick アップデート:チャットでのフロー作成、マルチエージェント連携、Meta ads・Amplitude コネクタを追加。AWS によると全提供リージョンで即日利用可能
Amazon SageMaker HyperPod Slurm にクラスター拡張機能が登場:オブザーバビリティとユーザー管理の2つのマネージド拡張、HyperPod対応の全リージョンで利用可能
Amazon Textract Insights が一般提供開始:自然言語でフィールドを抽出、信頼度スコアとページ位置付き、1ファイル最大3,000ページ
出典
上記の参考資料および記載の確認日時点の情報をもとに整理しています。料金・時刻・機能・利用規約は変更される場合があるため、ご旅行や予約・購入の前には該当する公式サイトで最新情報をご確認ください。