AWS, SageMaker JumpStart에 NVIDIA Nemotron 3.5 Super VL 제공: 이미지·영상을 이해하는 AI 모델 배포 가능

무슨 일이 있었나

AWS는 NVIDIA Nemotron 3.5 Super VL이 Amazon SageMaker JumpStart에서 제공된다고 발표했다. JumpStart는 AWS 머신러닝 서비스 SageMaker 안의 사전 학습 모델 카탈로그다. 이 모델은 SageMaker Studio에서 배포하거나 몇 줄의 SageMaker Python SDK 코드로 배포할 수 있다.

AWS에 따르면 Super VL은 NVIDIA Nemotron 3.5 시리즈의 비전 언어 모델, 즉 이미지와 텍스트를 함께 이해하는 AI 모델이다. 이미지, 영상, 텍스트를 입력받아 텍스트를 생성한다.

이 모델은 혼합 전문가(MoE) 아키텍처를 사용한다. 여러 '전문가' 서브 네트워크로 구성되며 매번 일부만 활성화된다. 총 파라미터는 120B이고 토큰당 12B만 활성화되며, C-RADIO 비전 인코더와 함께 쓰인다. 토큰은 모델이 텍스트를 처리하는 기본 단위다.

모델은 최대 100만 토큰의 컨텍스트, 즉 한 번에 처리할 수 있는 내용량을 지원한다. 또한 여러 토큰을 한 번에 예측해 생성 속도를 높이는 구성요소인 Multi-Token Prediction(MTP) 헤드를 내장한다. 추론 모드(모델이 단계적으로 생각한 뒤 답하는 방식)는 요청마다 켜고 끌 수 있다.

AWS는 NVIDIA가 이 모델을 네 가지 용도로 설계했다고 밝혔다. 문서 인텔리전스, 컴퓨터 사용 에이전트에 필요한 GUI 이해, 영상 질의응답, 멀티모달 에이전트 애플리케이션이다. 여기서 컴퓨터 사용 에이전트는 소프트웨어를 자동으로 조작하는 AI 프로그램을 뜻한다. AWS는 지원 언어로 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어, 중국어를 제시했고, 라이선스는 OpenMDW License Agreement 1.1 버전이다.

두 버전 비교

AWS에 따르면 JumpStart는 두 버전을 제공한다. BF16은 모델 수치를 16비트 형식으로 저장한 전체 정밀도 참조 가중치로, 이후 맞춤 학습에 쓸 수 있다. NVFP4는 BF16에서 '양자화 인식 증류'를 거쳐 만든 버전이다. 양자화는 수치 정밀도를 낮춰 모델을 줄이는 방식이며, NVFP4는 4비트 가중치와 활성화 값으로 실행되어 최적화된 추론에 초점을 둔다.

품질 벤치마크와 제한

AWS는 NVIDIA 모델 카드를 인용해, NVFP4가 MMLongBench-Doc 벤치마크에서 BF16과 같은 62.82를 기록했고 다른 멀티모달 벤치마크에서는 두 버전 차이가 약 1점 이내라고 밝혔다. 점수(BF16과 NVFP4)는 다음과 같다. OCRBench v2 영어 68.12와 68.34, CharXiv 추론 80.82와 79.88, Video-MME v2 32.85와 32.54, OSWorld-Verified 51.14와 52.30이다.

제한 사항으로, AWS는 모델이 원본 PDF가 아닌 이미지를 받으므로 페이지를 먼저 이미지로 변환해야 하며, 1,536 x 1,024 페이지 한 장이 컨텍스트 약 1,536 토큰을 차지한다고 설명했다. JumpStart 설정은 요청당 이미지 한 장과 영상 하나만 받고, 서비스 컨텍스트는 520~15,600 토큰이다.

체크포인트에 MTP 헤드가 있지만 JumpStart 설정에서는 MTP로 출력을 가속하는 기법인 추측 디코딩이 활성화되어 있지 않다. 엔드포인트는 배포 후 요청을 받는 서비스 주소이며, 기본 가중치만 제공하고 LoRA 어댑터는 로드하지 않는다. LoRA는 가벼운 미세 조정용 추가 모듈이다.

AWS는 또한 엔드포인트가 네트워크 격리 상태로 실행되어 URL을 직접 가져올 수 없으므로, 이미지와 영상은 base64 데이터 URL 형태로 요청에 직접 포함해 보내야 한다고 밝혔다.

일반 독자와 기업에 주는 의미

이미 AWS를 쓰는 팀은 관리형 서비스에서 이미지와 영상을 함께 읽는 대형 모델을 시험해 송장 추출, 차트·장문 문서 이해 같은 시나리오에 활용할 수 있다. 이는 AWS의 발표 내용이며, 실제 성과는 자체 데이터로 검증해야 한다.

AWS는 배포에 두 가지 조건이 필요하다고 안내했다. SageMaker AI 엔드포인트를 만들 수 있는 AWS 계정 권한과 충분한 인스턴스 할당량이다. 신규 계정의 ml.g7 할당량은 0에서 시작하므로 먼저 Service Quotas로 증설을 신청해야 한다. ml.g7.24xlarge 배포에는 약 10분이 걸린다. AWS는 지속적인 과금을 피하려면 사용 후 엔드포인트, 엔드포인트 구성, 모델을 삭제하라고 권고했다.

이 주제의 최신 뉴스 보기

• AI 뉴스