Amazon SageMaker AI, vLLM GPU 추론 엔드포인트 기본 모니터링: 지연 시간 드리프트·유휴 GPU·미적용 최적화 감지
AWS는 SageMaker AI가 vLLM 컨테이너와 GPU 인스턴스를 사용하는 생성형 AI 추론 엔드포인트를 기본으로 모니터링하고, AWS Health로 지연 시간·유휴 용량·설정 문제를 알리며 운영 환경을 자동으로 변경하지 않는다고 발표했다.
뉴스 날짜: 읽는 데 약 8분
AWS는 공식 블로그에서 SageMaker AI가 이제 생성형 AI 추론 엔드포인트를 자동으로 모니터링하고, 성능을 개선하거나 비용을 줄일 수 있을 때 사용자에게 알린다고 발표했다. 추론 엔드포인트는 모델을 배포해 애플리케이션이 호출하도록 만든 서비스다. AWS에 따르면 이 모니터링은 조건에 맞는 엔드포인트에 기본으로 켜지며 신청이나 설정이 필요 없다. 조건은 vLLM 서빙 컨테이너와 GPU 인스턴스를 사용하는 것이며, vLLM은 모델 서빙 엔진의 한 종류다. 알림은 AWS 리전별로 표시된다. 운영팀 입장에서는 엔드포인트가 장애 없이 가동 중이어도 지연 시간이 조용히 나빠지거나 GPU가 그냥 놀 수 있는데, 이 기능은 그에 대한 지속적인 알림 역할을 한다.
이번에 무엇이 달라졌나?
AWS는 엔드포인트가 출시 시점에는 대개 잘 튜닝되어 있지만, 트래픽 패턴, 프롬프트 길이, vLLM 버전, 모델 체크포인트가 시간이 지나며 바뀌고 경보가 없어 이런 변화를 놓치기 쉽다고 지적했다. 새 기능은 'Generative AI optimized inference recommendations'를 통해 엔드포인트를 지속적으로 관찰하고 권고를 제시한다. 이는 SageMaker Studio의 에이전틱 경험, 즉 대화형으로 후속 단계를 도와주는 AI 어시스턴트 인터페이스와 함께 쓰인다. AWS는 흐름을 관찰, 알림, 권고(직접 선택 시), 결정의 네 단계로 나눈다.
감지 범위로 AWS는 세 가지 유형을 든다. 첫째는 지연 시간 드리프트로, p50(중앙값) 종단 간 지연 시간 또는 첫 토큰까지의 시간이 주 단위로 상승하는 경우다. 첫 토큰까지의 시간은 모델이 첫 응답을 내놓기 전의 대기 시간이다. 둘째는 미사용 용량, 즉 비용을 내면서 대부분 놀고 있는 GPU다. 셋째는 설정 격차로, 컨테이너에 새 성능 개선이나 보안 패치가 빠져 있거나, 모델은 지원하지만 엔드포인트에서는 쓰지 않는 최적화(응답을 빠르게 하는 기법인 추측 디코딩, GPU 커널 튜닝 등)가 있는 경우다. AWS는 지연 시간 비교가 엔드포인트 자체의 과거 이력을 기준으로 하므로 사전에 임계값을 설정할 필요가 없다고 밝혔다.
| 발견 유형 | 트리거 조건(AWS 설명) | 벤치마크 비교 내용 |
|---|---|---|
| 지연 시간 드리프트 | 응답 시간이 엔드포인트의 주간 추세 대비 변동 | 텐서 병렬 설정, 다른 인스턴스 유형 또는 크기 |
| GPU 사용 부족 | 관찰 기간 동안 GPU 사용률이 용량보다 크게 낮음 | 관찰된 피크 트래픽에서 더 저렴하거나 작은 인스턴스 테스트 |
| 추측 디코딩 미활성화 | 모델과 컨테이너가 지원하나 기능이 꺼져 있음 | 현재 설정과 추측 디코딩 활성화 설정 비교 |
| 서빙 컨테이너 | 성능 개선과 중대·고위험 CVE(공개 등록된 보안 취약점) 패치가 포함된 새 버전 존재 | 현재 컨테이너와 업데이트된 컨테이너 비교 |
| GPU 커널 미튜닝 | 커널 설정이 모델과 하드웨어에 맞게 튜닝되지 않음 | 기본 커널과 튜닝된 커널 비교 |
어떤 엔드포인트가 대상이며, 알림을 받으면 어떻게 하나?
AWS에 따르면 모니터링은 vLLM 서빙 컨테이너와 GPU 인스턴스를 사용하는 엔드포인트에 기본 활성화된다. 엔드포인트마다 모든 발견을 담은 알림이 한 건만 전달되며, 동시에 최대 한 건이고 계정이 한꺼번에 받는 알림 수에도 상한이 있다. 알림은 AWS Health 콘솔에 표시되고 이메일로도 발송되며, 엔드포인트, 관찰 결과, 중요도, 권장 조치가 포함된다.
사용자가 처리하기로 하면 한 번의 선택으로 SageMaker Studio의 에이전틱 경험을 열 수 있고, 엔드포인트와 최근 트래픽이 미리 채워진다. AWS는 에이전트가 먼저 쉬운 말로 발견 사항을 요약하고 계속할지 묻는다고 설명한다. 확인하면 SageMaker Python SDK를 사용하는 노트북을 생성해 추론 권고 작업을 만들고, 이 작업에 해당 AWS Health 이벤트를 태그로 붙여 결과를 발견 사항까지 추적할 수 있게 한다. 각 단계는 독립된 셀이라 실행 전에 검토하거나 수정할 수 있다. 완료 후에는 응답 시간, 처리량, 100만 토큰당 비용을 나란히 비교할 수 있다. 토큰은 모델이 텍스트를 처리하는 기본 단위다.
AWS는 세 가지 시나리오를 들었다. 검색을 추가한 뒤 프롬프트가 길어져 첫 토큰이 느려진 채팅 어시스턴트, 추측 디코딩을 켜지 않은 코드 자동 완성 모델, 출시 후 이용자가 계획보다 훨씬 적어 GPU 대부분이 놀고 있는 요약 엔드포인트다. AWS의 예시 스크린샷에서 지연 시간 이벤트는 중앙값 첫 토큰 시간이 주간 약 200밀리초 늘었고, 미사용 용량 이벤트에서는 가장 바쁜 GPU의 사용률이 대부분의 시간 동안 12%를 넘지 않았다.
도입 전에 알아둘 제한과 비용은?
AWS는 모니터링 자체에는 추가 GPU 비용이 없지만, 벤치마크는 일반 SageMaker AI 요금이 적용되거나 사용자가 이미 보유한 머신러닝 예약 용량을 쓴다고 밝혔다. 벤치마크를 실행하고 선택적으로 변경을 적용하려면 AWS Health 및 AWS User Notifications 콘솔 접근 권한, SageMaker Studio 도메인, 추론 권고 작업 실행과 엔드포인트 업데이트를 위한 IAM 권한, 충분한 서비스 할당량이 필요하다.
개인정보와 관련해 AWS는 모니터링이 엔드포인트 수준으로 집계된 지연 시간과 용량 텔레메트리를 읽을 뿐 요청이나 응답 내용은 읽지 않는다고 밝혔다. 모니터링을 원하지 않으면 CreateModel 호출 시 OPT_OUT_TRACKING 환경 변수를 설정하면 되며, 값은 임의로 지정할 수 있다. 설정 위치는 Environment 맵의 PrimaryContainer 또는 모델의 다른 컨테이너다. 설정하면 SageMaker AI는 해당 엔드포인트의 엔진 지표, GPU 지표, 시작 설정 정보를 수집하지 않으며 알림도 보내지 않는다.
자주 묻는 질문
이 모니터링이 내 프롬프트나 모델 응답을 읽나요?
AWS는 읽지 않는다고 밝혔다. 지연 시간, GPU 사용률, 엔드포인트 서빙 설정 같은 운영 신호만 보며 엔드포인트 수준의 집계 텔레메트리를 읽는다.
권고를 받으면 운영 엔드포인트가 자동으로 수정되나요?
아니다. AWS에 따르면 벤치마크는 별도 컴퓨팅 리소스에서 실행되고, 사용자가 결과 적용을 선택하기 전에는 엔드포인트에 변경이 없다. 처리하지 않고 보류하거나 발견을 해제하는 것도 선택할 수 있다.
모니터링과 벤치마크는 유료인가요?
AWS는 모니터링에 추가 GPU 비용이 없다고 밝혔다. 벤치마크는 표준 SageMaker AI 요금이 적용되거나 사용자의 머신러닝 예약 용량을 사용한다. 출처에는 구체적인 가격이 나와 있지 않다.
특정 엔드포인트를 모니터링에서 제외하려면?
AWS 설명에 따르면 CreateModel의 Environment에서 컨테이너에 OPT_OUT_TRACKING 환경 변수를 설정하며 값은 임의로 지정할 수 있다. 이후 해당 엔드포인트는 텔레메트리를 수집하지 않고 알림도 없다.
알림은 어디에서 볼 수 있나요?
AWS에 따르면 알림은 AWS Health에 표시되고 이메일로도 발송되며 리전별로 나타나므로, 엔드포인트가 있는 리전에 로그인해야 해당 발견을 볼 수 있다. 수신 방식은 AWS User Notifications 콘솔에서 관리할 수 있다.
이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요
같은 주제의 글
Signal, Android와 iOS 27에서 기본적으로 스크린샷 차단… Siri·Gemini 등 AI 에이전트의 화면 읽기 막는다
The Verge 보도에 따르면 Signal은 운영체제 수준의 AI 에이전트가 메시지 내용을 읽지 못하도록 Android와 iOS 27에서 스크린샷을 제한했습니다. 사용자는 설정에서 스크린샷을 다시 허용할 수 있지만, Signal은 프라이버시 보호가 약해질 수 있다고 경고합니다.
Claude Code 2.1.329: 텔레메트리와 함께 쓰는 Code Mode, 예약 작업을 통합한 /tasks, macOS computer use 보안 규칙 강화
Kimi Code CLI v2.7.0, 네이티브 Bedrock provider 추가: AWS 자격 증명 체인으로 Kimi K3.1 Pro Highspeed 연결
AWS, SageMaker 추론 신기능 13종 정리: HyperPod 관리형 NVIDIA Dynamo, MIG GPU 분할, 리전 간 라우팅
출처
위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.