AWS, 분산 KV 캐시 에이전트 스킬 공개: AWS "자체 호스팅 LLM 비용 최대 40%↓, 첫 토큰 지연 최대 80%↓"

AWS가 Agent Toolkit for AWS에 분산 KV 캐시 스킬을 제공해 Kiro, Claude Code 등 코딩 에이전트가 자체 호스팅 LLM용 공유 캐시의 평가·구축·디버깅을 돕습니다. AWS는 비용 최대 40%, 첫 토큰 지연 최대 80% 감소를 주장하며 GPU·소프트웨어 버전 전제 조건이 있습니다.

뉴스 날짜: 읽는 데 약 8분

목차
  1. 1. 이 스킬은 어떤 문제를 해결하나? 기존 방식과 무엇이 다른가?
  2. 2. 스킬은 어떻게 동작하나? 네 가지 흐름과 안전 수칙
  3. 3. 어떤 환경을 지원하나? 버전과 규모 조건은?
  4. 4. 어떻게 시작하나?

AWS는 공식 머신러닝 블로그에서 '분산 KV 캐시' Agent Skill을 소개했습니다. 코딩 에이전트가 자체 호스팅 LLM의 공유 KV 캐시 계층을 평가·구축·디버깅하도록 돕는 스킬입니다. Agent Skill은 코딩 에이전트에 불러와 쓰는 전문 지침 묶음입니다. 스킬은 Agent Toolkit for AWS에서 받을 수 있으며 특정 GPU, 엔진, 캐시 버전 조건을 충족해야 합니다. 긴 대화, 코드 에이전트, 문서 질의응답 서비스에서 이전 대화로 돌아올 때 GPU가 전체 기록을 다시 계산해야 하는 문제를 줄이려는 방식이며, 아래 수치는 모두 AWS의 주장입니다.

이 스킬은 어떤 문제를 해결하나? 기존 방식과 무엇이 다른가?

AWS는 LLM을 자체 호스팅할 때 서버마다 독립된 작은 캐시로는 AI 에이전트와 채팅 앱이 반복해서 보내는 방대한 컨텍스트를 담거나 공유할 수 없다고 지적합니다. 사용자가 이전 대화로 돌아오면 이어받은 GPU 서버의 메모리에 기록이 없어, 출력을 시작하기 전에 모든 토큰의 KV 어텐션 상태를 다시 계산해야 합니다. 이 단계가 prefill로, 모델이 답하기 전에 대화 전체를 먼저 '읽는' 연산입니다.

AWS는 분산 KV 캐시가 GPU 로컬 캐시 외에 GPU 클러스터 옆에 공유 계층을 추가한다고 설명합니다. 그러면 어느 서버든 세션 간 이동, 라우팅 변경, 서버 장애 이후에도 KV 상태를 며칠간 재사용할 수 있습니다. AWS는 이 방식으로 비용을 최대 40%, TTFT를 최대 80% 줄일 수 있다고 말합니다.

스킬은 어떻게 동작하나? 네 가지 흐름과 안전 수칙

AWS는 첫 토큰 지연 진단, 크기·비용 추정, 캐시 구축, 전송 실패 해결이라는 네 가지 대화로 시연합니다. AWS 설명에 따르면 에이전트는 작업 전에 다음 수칙을 따릅니다.

  • 적합성 점검: 에이전트가 읽기 전용 describe-instances 호출로 GPU 클러스터를 읽고 EFA(Elastic Fabric Adapter, AWS의 고속 네트워크 인터페이스) 수를 셉니다. 볼 수 없는 정보만 묻습니다: 엔진, 모델, TP(tensor-parallel, 모델을 여러 GPU에 나누는 정도) 크기, KV 데이터 타입, 서버 가격, 프롬프트 반복 빈도. 적합하지 않으면 중단하고 이유를 설명합니다.
  • 자체 트래픽으로 추정: 짧은 프롬프트에서는 KV를 불러오는 것이 다시 계산하는 것보다 느릴 수 있습니다. 일정 길이(cutover point, 읽기가 재계산보다 유리해지는 경계)를 넘어야 읽기가 이득입니다. 에이전트는 KVTrace로 추정하며, 절감액이 캐시 비용을 감당하지 못하면 중단합니다. AWS는 KVTrace에 별도 요금이 없다고 밝힙니다.
  • 기존 스택 유지: 에이전트는 기존 vLLM 또는 SGLang에 LMCache 커넥터를 추가하고 기존 라우팅과 엔진 설정을 유지합니다. 모든 서버가 동일한 KV ID 방식(hash와 seed)과 명시적 KV 데이터 타입을 사용해 키 불일치를 막습니다.
  • 가동 전 검증: 에이전트는 로컬 계층을 비우고 캐시에서 두 번 불러온 결과가 같은지 확인합니다. 레이아웃이 맞지 않으면 적중 횟수는 정상인데 답이 틀릴 수 있기 때문입니다. 리소스 생성·변경·삭제 같은 영향이 큰 작업은 명시적 승인을 요청합니다.

첫 번째 흐름에서 AWS는 p5 클러스터, 64K 토큰 컨텍스트, 재방문 대화의 첫 토큰이 13초 걸리는 상황을 예로 듭니다. 에이전트는 원인을 콜드 prefill로 판단하고, 새 인프라가 필요 없는 방법부터 점검합니다. 예를 들어 prefix caching(단일 GPU가 같은 앞부분 내용을 재사용하는 내장 캐시)을 다시 켜는 것입니다. session affinity(같은 대화를 같은 서버로 보내는 방식) 아래에서 GPU prefix cache 적중률이 이미 90%를 넘으면 공유 KV 캐시가 필요 없을 수 있습니다.

두 번째 흐름은 p5 8대, 64,000 토큰 프롬프트의 멀티턴 RAG(검색 증강 생성) 어시스턴트가 예시입니다. 에이전트는 GPU와 캐시 노드 가격을 조회한 뒤 cache.i8ge.48xlarge 노드 2개를 권장합니다. 적중률이 주어지지 않아 여러 시나리오를 제시하고 KVTrace 실행을 권합니다. AWS 설명에 따르면 KVTrace는 vLLM 또는 SGLang의 KV 캐시 이벤트를 기록한 뒤 후보 용량별로 오프라인 재생합니다. 추적에는 블록 해시와 토큰 수만 담기고 토큰 ID나 프롬프트 텍스트는 없습니다. 프롬프트가 민감하면 --anonymize-key-file을 추가해야 합니다.

세 번째 흐름은 구축입니다. 에이전트는 리소스를 만들기 전에 노드 수, 가용 영역, 예상 가격을 확인합니다. 확인 후 EFA 권한이 있는 보안 그룹과, 사용자 지정 파라미터 그룹 및 캐시 축출 정책을 쓰는 Valkey 9.1 클러스터를 만듭니다. LMCache에는 전용 캐시 사용자가 있고 비밀번호는 AWS Secrets Manager에 저장됩니다. 에이전트는 각 GPU 서버에서 LMCache 서버를 하나씩 띄우고 작은 테스트 객체로 검증합니다. 반복 프롬프트가 RDMA(원격 직접 메모리 접근, 서버 간에 데이터를 직접 옮기는 고속 방식)로 캐시에서 KV 상태를 불러오는지도 확인합니다. 네 번째 흐름에서 BLOB.RDMA_HELLO는 성공했지만 데이터 전송이 실패하고 rdma_write_errors가 늘면, 에이전트는 보안 그룹이 멤버 간 EFA 트래픽을 막았을 가능성을 판단하고 점검 및 수정 명령을 제공합니다.

어떤 환경을 지원하나? 버전과 규모 조건은?

AWS 블로그를 바탕으로 정리한 전제 조건과 예시
항목AWS가 제시한 요구 사항 또는 내용
코딩 에이전트Agent Skills 지원, 예: Kiro, Claude Code. AWS는 OpenAI Codex도 언급
GPU 인스턴스EFA RDMA write 지원, 예: p5
추론 엔진vLLM 0.11.1 이상, SGLang 0.5.13 이상
LMCache0.5.8rc1 이상
캐시(구축 시)ElastiCache for Valkey 9.1 이상, cache.i8ge.48xlarge 노드 사용
예시 규모p5 8대, 64,000 토큰 프롬프트 → cache.i8ge.48xlarge 노드 2개 권장
평가 도구KVTrace, AWS에 따르면 별도 요금 없음

어떻게 시작하나?

AWS에 따르면 분산 KV 캐시 스킬이나 AWS MCP Server는 Agent Toolkit for AWS에서 받을 수 있습니다. 받은 뒤 문제를 설명하거나 AI 에이전트에 GPU 클러스터의 비용과 지연을 낮춰 달라고 요청하면 시작됩니다. 전체 구축 명령은 Amazon ElastiCache 문서의 'Getting started with distributed KV caching'을 참고하세요. KVTrace는 별도의 GitHub 저장소가 있습니다.

자주 묻는 질문

어떤 경우 공유 KV 캐시가 필요 없을 수 있나?

AWS에 따르면 prefix caching을 꺼 두었다면 다시 켜는 것만으로 연속 턴이 빨라질 수 있습니다. session affinity 아래에서 GPU prefix cache 적중률이 이미 90%를 넘으면 공유 KV 캐시가 필요 없을 수 있습니다.

짧은 프롬프트에도 적합한가?

AWS는 짧은 프롬프트에서는 KV 상태를 불러오는 것이 재계산보다 오래 걸릴 수 있고, cutover point를 넘어야 읽기가 유리해진다고 설명합니다. 가치가 있는지는 그 길이와 프롬프트 반복 빈도에 달려 있으며, 에이전트가 KVTrace로 추정합니다.

KVTrace가 내 프롬프트 내용을 수집하나?

AWS 설명에 따르면 기록기는 토큰 ID나 프롬프트 텍스트를 쓰지 않으며 추적에는 블록 해시와 토큰 수만 담깁니다. 블록 해시는 토큰 내용에서 나오므로 프롬프트가 민감하면 --anonymize-key-file을 추가해야 합니다.

에이전트가 리소스를 자동으로 만들거나 삭제하나?

AWS에 따르면 스킬은 에이전트가 리소스 생성·변경·삭제 같은 영향이 큰 작업에서 명시적 승인을 구하도록 안내하며, 구축 전에 노드 수, 가용 영역, 예상 가격도 먼저 확인받습니다.

이 주제의 최신 뉴스 보기

이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요

출처

위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.

라이프스타일