AWS, SageMaker HyperPod에 강화된 관측성 출시: CloudWatch로 GPU 이상치 탐지, EKS·Slurm 지원, 현재 제공 중

AWS가 SageMaker HyperPod에 GPU 학습 문제를 더 빠르게 진단하는 강화된 관측성을 추가했다. EKS와 Slurm 클러스터를 지원하며, HyperPod를 제공하는 모든 AWS 리전에서 이용할 수 있다.

뉴스 날짜: 읽는 데 약 7분

LINE 공유
목차
  1. 1. 이번에 무엇이 추가됐고 기존과 무엇이 다른가?
  2. 2. 기본·고급 지표, CloudWatch와 Prometheus는 어떻게 다른가?
  3. 3. 어떤 클러스터를 지원하며 어떻게 시작하는가?
  4. 4. 일상적인 학습 운영에 어떤 영향이 있나?

관측성(observability)은 지표와 로그를 수집해 시스템의 어느 부분에 문제가 생겼는지 파악하는 능력을 말한다. AWS가 이번에 Amazon SageMaker HyperPod용으로 내놓은 강화 버전은 대규모 분산 GPU 학습이 갑자기 느려지는 상황을 겨냥한다. AWS에 따르면 팀은 원인을 가리기 위해 로그와 흩어진 대시보드를 몇 시간, 길게는 며칠씩 뒤져야 하는 경우가 많다. 원인 후보로는 GPU 스로틀링(열 등의 제한으로 GPU 속도가 자동으로 낮춰지는 현상), 네트워크 링크 포화, 호스트의 데이터 파이프라인 정체가 있다. AWS 설명으로는 이 기능이 HyperPod를 제공하는 모든 AWS 리전에서 이미 제공되고 있다("available today"). Amazon EKS(AWS 관리형 Kubernetes 서비스)와 Slurm(클러스터 작업 스케줄러) 오케스트레이션을 모두 지원한다.

이번에 무엇이 추가됐고 기존과 무엇이 다른가?

AWS는 대규모 모델 학습은 비용이 크고, 상태가 나쁜 가속기 하나가 분산 작업 전체를 지연시킬 수 있다고 지적한다. AWS에 따르면 기존에는 HyperPod 인프라를 보려면 여러 개의 독립된 도구를 이어 붙여야 했다. 게다가 지표는 성능이 떨어졌다는 사실만 보여줄 뿐 이유는 알려주지 못했다.

진단 요약은 두 가지 방식을 결합한다. 첫째는 GPU 이상치 탐지다. AWS 설명에 따르면 CloudWatch의 DetectGroupOutliers API를 사용해 같은 학습 작업 안에서 GPU별 사용률, 메모리 사용량, 온도, 전력, SM 클럭(GPU 연산 코어의 클럭)을 비교한다. 다른 GPU와 크게 다르게 동작하는 GPU는 이상치 카드로 표시된다. 둘째는 정적 진단 규칙으로, 알려진 장애 패턴에 따라 문제를 다음과 같이 분류한다.

  • 하드웨어: GPU ECC 메모리 오류(메모리 오류 정정 기능이 감지한 오류), XID 오류(NVIDIA GPU가 보고하는 오류 코드), 가속기 장애.
  • 네트워크: EFA(Elastic Fabric Adapter, 노드 간 통신용 네트워크 인터페이스) 처리량 저하, 패킷 손실, 재전송.
  • 스로틀링: 열, 보드 또는 신뢰성 제한으로 인한 GPU 클럭 하락.
  • 과열: GPU 온도가 설정 한도를 초과.

AWS에 따르면 감지된 각 문제에는 영향을 받은 작업, 클러스터, 노드, 가속기, rank(분산 학습에서 각 프로세스의 번호)가 표시되어 바로 위치를 짚을 수 있다.

기본·고급 지표, CloudWatch와 Prometheus는 어떻게 다른가?

AWS 설명을 바탕으로 정리한 지표 수준과 저장소 옵션
항목내용비고
기본 지표클러스터 상태, CPU/디스크/OS, GPU 사용률과 온도, 작업별 리소스 사용률자동 활성화, 30초마다 수집, CPU 약 1~2%·메모리 250~300MB
고급 지표전체 node exporter(호스트 수준 지표), NVIDIA DCGM(GPU 모니터링), AWS Neuron 지표, EFA 네트워크 지표선택 활성화, 전송되는 모니터링 데이터(텔레메트리) 증가로 비용 영향
Amazon CloudWatchCloudWatch SageMaker Insights를 통해 AWS 관리 콘솔에서 확인새 기본값, AWS는 Managed Service for Prometheus보다 저렴하다고 설명
Amazon Managed Service for PrometheusPrometheus와 Grafana를 표준으로 쓰는 팀에 적합기존에 유일하게 지원되던 옵션

AWS는 작은 클러스터에서 소규모 작업을 돌릴 때는 고급 지표가 대체로 필요하지 않다고 설명한다. 반면 대형 클러스터에서 장시간 학습을 할 때는 더 가치가 크다. 문제 패턴이 시간이 지나면서 드러나기 때문이다.

어떤 클러스터를 지원하며 어떻게 시작하는가?

AWS 설명에 따르면 이 기능은 EKS 클러스터에서는 애드온(add-on), Slurm 클러스터에서는 확장(extension) 형태로 제공된다. 따라서 IAM(AWS의 ID 및 액세스 관리)으로 설치·변경 권한을 통제할 수 있다. 설치는 콘솔, API, AWS CLI로 할 수 있다. AWS 글에 나온 콘솔 절차는 다음과 같다.

  1. SageMaker AI 콘솔에서 HyperPod clusters를 선택하고 Create HyperPod cluster를 누른 뒤 Orchestrated on Amazon EKS 또는 Orchestrated by Slurm을 선택한다.
  2. Setup options에서 Custom setup을 고르고 이름을 입력한 뒤 Instance recovery는 Automatic으로 설정하고 Submit한다.
  3. HyperPod observability 섹션에서 Enable HyperPod Observability가 선택되어 있는지 확인한다(기본 선택). 필요에 따라 고급 지표, 로그, 지표 저장소(CloudWatch 또는 Prometheus), Grafana 워크스페이스를 선택한다.
  4. 클러스터가 준비되면 클러스터 상세 페이지의 Observability 탭에서 지표가 스트리밍되는지 확인한다. 여기서 CloudWatch 대시보드를 열 수 있다.

AWS 글에는 aws eks create-addon, aws sagemaker create-cluster-extension 같은 CLI 예시도 있다. 전체 명령과 매개변수는 원문과 개발자 가이드를 참고하면 된다. AWS는 Observability 탭에 노드 수, 가속기 수, 작업 수, GPU·vCPU·메모리 평균 사용률이 표시된다고 설명한다. CloudWatch 대시보드에는 진단 요약, 하드웨어, 워크로드, 네트워크 보기가 추가로 있다.

일상적인 학습 운영에 어떤 영향이 있나?

AWS는 이 기능이 수백, 수천 개 GPU 중에서 문제 있는 가속기 하나를 가려낼 수 있다고 설명한다. 원인이 XID 오류든 ECC 메모리 오류든 열 스로틀링이든, 찾는 데 쓰던 시간을 복구에 쓸 수 있다는 것이다. 대시보드의 하드웨어 탭은 장치 수준 보기로 Active, Idle, Unhealthy 상태를 보여준다. 워크로드 탭은 네트워크 사용이 비정상인 작업을 표시한다. 네트워크 탭은 EFA 평균 사용률, 성능이 저하된 노드 수, 재전송 횟수를 보여준다. 이는 모두 AWS의 기능 설명이며, 실제 효과는 팀의 클러스터와 워크로드에 따라 다를 수 있다.

자주 묻는 질문

이 기능은 프리뷰인가, 정식 제공인가?

AWS는 기능이 "오늘 제공"되며 SageMaker HyperPod를 제공하는 모든 AWS 리전에서 이용할 수 있다고 밝혔다. 프리뷰나 대기자 명단에 대한 언급은 없다.

고급 지표는 반드시 켜야 하나?

아니다. AWS에 따르면 고급 지표는 선택 활성화이며, 지표 저장소로 보내는 텔레메트리가 늘어 비용 영향이 있다. 작은 클러스터에서 소규모 작업을 하는 고객은 대체로 필요 없을 수 있다. 대형 클러스터의 장시간 학습에서는 더 유용하다.

활성화한 뒤에도 수집할 지표를 조정할 수 있나?

그렇다. AWS는 어떤 지표 범주나 프로파일링 기능도 언제든 켜고 끌 수 있다고 밝혔다. EKS 클러스터는 AWS CLI로 애드온 설정을 업데이트하거나 콘솔의 애드온 카드에서 Actions → Edit를 고르면 된다. Slurm 클러스터는 클러스터 상세 페이지의 Extensions 탭에서 Actions → Edit를 선택하거나 AWS CLI로 확장을 업데이트한다.

이 주제의 최신 뉴스 보기

이 정리가 도움이 되셨나요? 필요한 분께 공유해 보세요

LINE 공유

출처

위에 기재된 참고 자료와 확인일 기준 정보를 바탕으로 정리했습니다. 요금, 시간표, 기능, 이용 약관은 바뀔 수 있으므로 여행, 예약 또는 구매 전에 해당 공식 사이트에서 최신 정보를 확인해 주세요.

라이프스타일