AWS SageMaker HyperPod Inference, NVIDIA Dynamo 지원: 멀티 노드·prefill/decode 분리, Qwen3-235B 벤치마크 처리량 2.05배

AWS가 Amazon SageMaker HyperPod Inference에서 NVIDIA Dynamo를 지원한다고 발표했습니다. 멀티 노드 배포, prefill과 decode 분리, KV 인식 라우팅을 제공합니다. AWS 글을 바탕으로 동작 방식, 벤치마크, 제약을 정리했습니다.

뉴스 날짜: 읽는 데 약 8분

목차
  1. 1. 이번 업데이트는 어떤 문제를 해결하며, 기존과 무엇이 다른가?
  2. 2. 어떤 배포 방식을 지원하나?
  3. 3. AWS 벤치마크는 무엇을 보여주나?
  4. 4. 실제 배포 절차와 모범 사례는?

AWS는 공식 블로그에서 Amazon SageMaker HyperPod Inference가 이제 NVIDIA Dynamo를 지원하며, 단일 인스턴스의 GPU 메모리를 넘는 대형 언어 모델 배포에 쓸 수 있다고 발표했습니다. 글에는 프리뷰, 베타, 리전 제한에 대한 언급이 없고, 한국을 포함한 특정 리전의 제공 여부도 설명되어 있지 않습니다. 간단히 말해 prefill은 모델이 프롬프트를 읽고 처리하는 단계이고, decode는 응답 token을 하나씩 생성하는 단계입니다. KV cache는 프롬프트를 처리하면서 만들어져 이후 재사용할 수 있는 임시 데이터입니다. KV 인식 라우팅은 재사용 가능한 프롬프트 접두사 캐시와 각 worker의 부하를 참고해 요청을 분배합니다. 대형 모델 추론을 직접 운영하는 팀에게 핵심은 prefill과 decode를 분리하고 노드를 넘나드는 배포 작업을 관리형 애드온에 맡길 수 있다는 점입니다.

이번 업데이트는 어떤 문제를 해결하며, 기존과 무엇이 다른가?

AWS에 따르면 GLM-5.3의 FP8 가중치는 ml.p5.48xlarge 단일 인스턴스의 GPU 메모리 640GB를 넘습니다(KV cache와 런타임 오버헤드는 포함하지 않은 수치). 또한 긴 프롬프트와 token 생성이 GPU를 공유하면 생성 속도가 느려집니다. AWS는 Dynamo를 멀티 노드 배포, prefill/decode 분리, KV 인식 라우팅을 지원하는 오픈소스 분산 추론 프레임워크로 소개하며, vLLM, SGLang, TensorRT-LLM과 함께 쓸 수 있다고 설명합니다.

AWS 설명에 따르면 HyperPod 애드온은 Dynamo의 커스텀 리소스 정의와 함께 HyperPod Inference Operator, Dynamo operator, Grove, Kubernetes AI(KAI) Scheduler를 설치합니다. Grove는 관련 pod 그룹을 조율하고, KAI Scheduler는 gang scheduling으로 멀티 노드 worker에 필요한 pod를 함께 스케줄링합니다. Dynamo 런타임은 AWS Deep Learning Containers로 제공되며, 새 Dynamo 버전을 쓰려면 애드온을 업데이트해야 합니다.

분리형 아키텍처에서는 프런트엔드가 요청을 프롬프트를 처리하는 prefill worker와 token을 생성하는 decode worker로 보냅니다. 두 그룹은 독립적으로 확장·튜닝할 수 있고, 둘 다 전체 모델 가중치를 로드하며, KV cache는 EFA(Elastic Fabric Adapter, AWS의 고성능 네트워크)로 전송된다고 AWS는 설명합니다. Dynamo는 prefill과 decode가 같은 worker에서 실행되는 통합형 서빙도 지원합니다.

어떤 배포 방식을 지원하나?

AWS는 두 가지 경로를 제공합니다. 하나는 DynamoGraphDeployment(DGD)를 직접 가져오는 방식으로, 업스트림 문서와 매니페스트를 그대로 쓰는 기존 Dynamo 사용자에게 적합합니다. 다른 하나는 dynamoSpec이 포함된 InferenceEndpointConfig를 쓰는 방식으로, HyperPod Inference 설정 형식과 OpenAI 호환 인터페이스에 익숙한 사용자에게 맞습니다. 엔진은 vLLM, SGLang, TensorRT-LLM 중에서 고를 수 있으며 기본값은 vLLM입니다. 두 경로 모두 단일 인스턴스와 멀티 노드를 지원합니다.

AWS가 설명한 두 배포 경로의 역할 분담
항목자체 DGDIEC + dynamoSpec
작성할 것전체 DGD 매니페스트dynamoSpec이 포함된 IEC
적합한 대상서비스 그래프를 직접 제어하거나 기존 DGD를 재사용하려는 팀IEC로 관리형 엔드포인트를 구성하려는 팀
모델 가중치다운로드 또는 마운트를 직접 설정Operator가 Amazon S3 또는 Amazon FSx에서 스테이징
엔드포인트, TLS, 등록직접 설정 및 관리HyperPod Inference Operator가 관리
오토스케일링직접 설정 및 관리autoScalingSpec을 통해 KEDA 사용(통합형·분리형 모두 가능)

AWS 벤치마크는 무엇을 보여주나?

첫 번째 테스트는 AIPerf로 p5en.48xlarge 2대(H200 16개)에서 Dynamo와 TensorRT-LLM을 사용해 Qwen3-235B-A22B-FP8의 통합형과 분리형 서빙을 비교했습니다. 요청은 입력 4,000 token, 출력 200 token입니다. P90 첫 token 시간(요청의 90%가 첫 token을 받기까지 걸린 시간)이 1초 미만이고 사용자당 중앙값 생성 속도가 최소 50 tokens/초인 측정 지점만 남겼습니다. AWS는 이 지점들에서 분리형이 통합형 최고 처리량의 2.05배에 도달했다고 밝혔습니다. GPU당 초당 출력 token은 207 대 101이고, 동시성은 각각 80과 32입니다.

두 번째 테스트는 Qwen3.5-397B-A17B-FP8을 대상으로 Dynamo와 vLLM, TP4 × PP2, 활성화된 H200 8개를 사용했습니다. AWS는 p5en.48xlarge 한 대의 GPU 8개와 각 4개씩 쓰는 두 대를 비교했습니다. 접두사 재사용이 많은 에이전트형 워크로드에서 동시성 32일 때 2노드 구성은 GPU당 출력 126.4 token/초로 단일 노드 처리량의 99.1%를 유지했습니다. AWS는 이 모델이 원래 단일 인스턴스에 들어가며, 여기서는 통제된 벤치마크로만 사용했다고 설명합니다.

실제 배포 절차와 모범 사례는?

AWS는 ml.p5.48xlarge에서 GLM-5.3과 vLLM을 쓰는 예를 듭니다. 통합형 예시는 model-worker 레플리카 하나가 인스턴스 두 개(GPU 16개)에 걸치고 프런트엔드 레플리카가 두 개이며, KV 인식 라우팅을 켜기 위해 frontend.routingMode를 kv-aware로 설정합니다. 분리형 예시는 prefill 레플리카 하나와 decode 레플리카 두 개로, 각각 인스턴스 두 개에 걸쳐 총 인스턴스 여섯 개를 씁니다. 전체 매니페스트는 kubectl apply로 적용하며, 엔드포인트가 준비되면 SageMaker Runtime API로 OpenAI 호환 요청을 보낼 수 있습니다. 구체적인 매니페스트와 설정 단계는 AWS 글과 연결된 저장소를 참고하세요.

  • 모델, 추론 엔진, GPU 유형에 맞는 Dynamo recipe를 먼저 고르고, worker 규모를 산정할 때 가중치, KV cache, 런타임 메모리를 함께 고려합니다.
  • 인스턴스를 넘나드는 배포에서는 prefill과 decode 간 KV cache 전송을 포함해 통신이 예상한 EFA 전송을 쓰는지 먼저 확인합니다.
  • AIPerf로 자신의 트래픽을 재생하고 동시성을 바꿔 가며 SLA를 충족하는 지점만 남긴 뒤, 비용과 지연의 균형을 따져 결정합니다.
  • 실측한 병목에 따라 조정하되, 토폴로지와 worker 구성을 먼저 바꾸고 엔진 설정은 그다음에, 한 번에 변수 하나씩만 바꿉니다.

자주 묻는 질문

어떤 경우에 prefill/decode 분리형이 적합한가?

AWS는 긴 프롬프트와 token 생성이 GPU를 공유하면 생성 속도가 느려지며, 분리형에서는 두 worker 그룹을 독립적으로 확장·튜닝할 수 있다고 설명합니다. 비용 대비 효과는 자체 트래픽으로 측정해야 하며, AWS의 2.05배는 특정 조건에서의 결과일 뿐입니다.

이미 Dynamo 매니페스트가 있는 팀도 그대로 쓸 수 있나?

AWS에 따르면 자체 DGD 경로로 업스트림 문서, recipe, 매니페스트를 그대로 쓸 수 있습니다. 지원되는 컨테이너 이미지를 사용해야 하며, 클러스터의 스토리지, 네트워크, pod 배치도 직접 설정해야 합니다.

노드에 장애가 나면 어떻게 되나?

AWS는 HyperPod이 노드, GPU, EFA 상태를 모니터링하고 노드 교체를 담당하며, 오케스트레이션 구성요소가 영향받은 worker를 다시 만든다고 밝혔습니다.

Dynamo 버전은 어떻게 업그레이드하나?

AWS는 애드온이 통합 구성요소의 버전을 관리하므로, 지원되는 Dynamo 버전을 쓰려면 애드온을 업데이트하면 된다고 설명합니다.

이 주제의 최신 뉴스 보기

이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요

출처

위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.

라이프스타일