AWS, SageMaker 추론 신기능 13종 정리: HyperPod 관리형 NVIDIA Dynamo, MIG GPU 분할, 리전 간 라우팅
AWS가 11월 20일 SageMaker 추론 2026 연간 리뷰 2부를 공개했다. 추론 권장 사항, GPU 분할, 대형 모델 서빙, 리전 간 라우팅, 모니터링 등 출시 후 운영 기능 13종을 다뤘다.
뉴스 날짜: 읽는 데 약 7분
AWS는 공식 블로그에 'Amazon SageMaker Inference: 2026 launches in review, part 2'를 공개했다. 1부의 13개 기능에 이어 14번부터 26번까지의 추론 신기능을 소개하며, 시기는 2026년 7월부터 11월에 걸쳐 있다. AWS는 각 기능이 프리뷰인지 정식 출시인지 항목별로 밝히지 않았으므로 리전과 조건은 AWS 문서를 확인해야 한다. 생성형 AI 서비스를 운영하는 팀에게 핵심은 출시 후 설정을 조정하고 GPU 활용도를 높이며 지연 시간을 줄이는 방법이다. 아래 기능 설명과 성능 수치는 모두 AWS가 제공한 것이다.
이번 업데이트에서 무엇이 달라졌나?
AWS는 가상의 고객 지원 어시스턴트 팀을 예로 들어 다섯 단계로 기능을 설명한다. 구성 선택, 더 많은 모델의 GPU 공유, 단일 인스턴스를 넘는 모델 서빙, 요청을 적합한 GPU로 보내기, 출시 후 지속 튜닝이다.
- 추론 권장 사항(후보 인스턴스·컨테이너·최적화 구성을 실제 GPU에서 벤치마크해 순위를 매겨 주는 기능): AWS에 따르면 4월 API에 더해 SageMaker AI Studio(7월), Python SDK v3 3.17.0 이상(8월), LoRA 어댑터 지원과 SLA 동시성 탐색(9월)이 추가됐다. LoRA 어댑터는 하나의 기반 모델을 용도별로 특화하는 추가 모듈이다.
- 코딩 에이전트 스킬: aws-ai-ml 스킬은 Agent Toolkit for AWS로 제공되며, AWS는 설정에 약 10분이 걸리고 결과물은 검토 가능한 SDK v3 코드라고 밝혔다.
- GPU 활용: 콘솔에서 Inference Components(한 엔드포인트에 여러 모델을 따로 배포하고 확장)를 관리할 수 있고, NVIDIA MIG로 GPU 한 장을 최대 7개 파티션으로 나눈다.
- 대형 모델: HyperPod(전용 클러스터와 Kubernetes 기반 제어를 제공하는 SageMaker 배포 방식)는 관리형 NVIDIA Dynamo를 제공하며, 멀티 노드 샤딩 서빙(모델 하나를 여러 노드에 걸쳐 서빙)과 프리필/디코드 분리(프롬프트 처리와 텍스트 생성을 서로 다른 GPU에서 실행)를 지원한다.
기능별 시기, 범위, 제약은?
| 기능 | AWS 표기 시기 | 범위 또는 제약(AWS 설명 기준) |
|---|---|---|
| Studio 추론 권장 사항 | 2026년 7월 | Jobs > Inference optimization. Studio에서 실시간 엔드포인트로 배포 가능 |
| Python SDK v3 추론 권장 사항 | 2026년 8월 | 3.17.0 이상. LMI, vLLM을 병렬 비교 가능 |
| LoRA 지원 및 SLA 동시성 탐색 | 2026년 9월 | search_recipe를 max-concurrency-under-sla로 설정 |
| Inference Components 콘솔 | 2026년 10월 | 생성, 확장(0개까지 축소 가능), 모니터링 가능 |
| NVIDIA MIG 분할 | 2026년 10월 | 최대 7개 파티션. 여전히 인스턴스 전체 시간 기준 과금 |
| 관리형 NVIDIA Dynamo | 2026년 11월 | HyperPod 제공 리전. vLLM, SGLang, TensorRT-LLM |
| KV 캐시 인식 라우팅 | 2026년 11월 | 초기 버전은 AWS 검증 모델 컨테이너 필요 |
| HyperPod Inference Gateway | 2026년 9월 | 라운드 로빈 대비 P99 TTFT 최대 97%/98% 감소 |
| 리전 간 추론 라우팅 | 본문에 월 미표기 | 용량 추가·모델 복제 없음. 오버플로 상한 및 리전 제한 설정 가능 |
| 지속 성능 모니터링 | 2026년 11월 | 기본 활성화, 옵트아웃 가능. 요청/응답은 읽지 않음 |
| 인플레이스 롤링 업데이트 | 2026년 11월 | 자동 적용. 20대, 배치 2일 때 새 인스턴스 2대 확보 |
일상적인 추론 워크플로에는 어떤 영향이 있나?
AWS에 따르면 엔지니어는 콘솔에 의존하지 않고 노트북, CI 파이프라인, 코딩 에이전트에서 벤치마크를 시작하고 순위가 매겨진 권장 사항을 받을 수 있다. 동시성은 엔드포인트가 동시에 처리하는 요청 수다. SLA 동시성 탐색은 지연 시간과 오류율 목표를 만족하는 최대 동시성을 찾아, 과거의 수동 반복 테스트를 대체한다.
라우팅과 관련해 AWS는 HyperPod 클러스터마다 OpenAI 호환 엔드포인트 하나로 모든 모델을 서빙할 수 있고, Gateway가 라운드 로빈(순서대로 번갈아 배정) 대신 각 pod의 실시간 상태를 보고 대상을 고른다고 설명한다. 일반 엔드포인트의 KV 캐시 인식 라우팅은 가장 긴 동일 프롬프트 접두사 캐시를 가진 인스턴스로 요청을 보낸다. KV 캐시는 모델이 프롬프트를 처리한 뒤 남기는 재사용 가능한 중간 결과다. 리전 간 라우팅은 AWS PrivateLink로 연결되며 요청을 처리할 수 있는 리전을 제한할 수 있다. 지속 모니터링은 지연 시간 드리프트, 구성 격차, 유휴 GPU를 감지하고 Studio에서 안내형 수정을 열어 주지만, 사용자가 적용하기 전에는 어떤 변경도 배포하지 않는다.
시작하려면 AWS는 어떻게 하라고 권하나?
AWS는 현재 문제에 맞는 부분부터 시작하라고 권한다. 트래픽이 바뀌었다면 추론 권장 사항을 다시 실행하고, 배치할 슬롯이 부족하면 작은 모델을 분할된 GPU로 옮기며, 요청이 대기하는데 자체 용량이 놀고 있다면 리전 간 라우팅에 클러스터와 엔드포인트를 등록하라는 것이다. 각 기능의 문서와 시작 가이드는 Amazon SageMaker AI Developer Guide에 있다. 이미 HyperPod Inference를 쓰는 팀은 애드온을 업데이트하고 기존 InferenceEndpointConfig에 짧은 dynamoSpec 블록을 추가하면 된다고도 안내했다.
자주 묻는 질문
관리형 Dynamo는 어느 리전에서 쓸 수 있나?
AWS에 따르면 Amazon SageMaker HyperPod가 제공되는 리전에서 사용할 수 있다. 본문에는 특정 국가나 지역에 대한 세부 설명이 없다.
MIG를 쓰면 시간당 비용이 줄어드나?
아니다. AWS는 여전히 인스턴스 전체 시간의 표준 요금으로 과금되며, 절감은 인스턴스당 더 많은 모델을 배치하는 데서 나온다고 설명한다.
성능 모니터링이 내 요청 내용을 읽나?
AWS는 읽지 않는다고 밝혔다. 지연 시간, GPU 사용률, 엔드포인트 서빙 구성만 본다. 기본 활성화이며 옵트아웃할 수 있고 언제든 끌 수 있다.
리전 간 추론 라우팅이 용량 부족을 해결하나?
AWS는 라우터가 용량을 추가하거나 모델을 복제하거나 엔드포인트를 배포하지 않으며, 이미 배포한 리전 엔드포인트 간에 트래픽을 보낸다고 설명한다.
앞으로의 계획은?
AWS는 2027년 초 인플레이스 롤링 업데이트를 확장해, 모델 업데이트 시 추가 인스턴스가 전혀 필요 없는 축소 우선 업데이트를 내놓을 계획이다.
이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요
같은 주제의 글
Signal, Android와 iOS 27에서 기본적으로 스크린샷 차단… Siri·Gemini 등 AI 에이전트의 화면 읽기 막는다
The Verge 보도에 따르면 Signal은 운영체제 수준의 AI 에이전트가 메시지 내용을 읽지 못하도록 Android와 iOS 27에서 스크린샷을 제한했습니다. 사용자는 설정에서 스크린샷을 다시 허용할 수 있지만, Signal은 프라이버시 보호가 약해질 수 있다고 경고합니다.
Claude Code 2.1.329: 텔레메트리와 함께 쓰는 Code Mode, 예약 작업을 통합한 /tasks, macOS computer use 보안 규칙 강화
Kimi Code CLI v2.7.0, 네이티브 Bedrock provider 추가: AWS 자격 증명 체인으로 Kimi K3.1 Pro Highspeed 연결
BMW Group의 AI 에이전트 거버넌스 공개: 개발자 1만 2,500여 명, 3단계 자율성, CI/CD 4단계 게이트
출처
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.