라이프스타일
ElevenLabs, Eleven Realtime 출시: "AI 음성 대화 서비스를 만들 때 구성 요소를 직접 조합할 필요 없어"
ElevenLabs는 Eleven Realtime v1 Mini와 v1 Max를 발표하며, 개발자가 여러 구성 요소를 직접 고르고 조정하지 않고도 하나의 모델로 음성 대화 AI를 만들 수 있다고 밝혔다. 음성 상담이나 음성 비서를 개발하는 팀의 작업이 줄 수 있으나, API는 WebSocket 연결만 지원한다.
읽는 데 약 6분
무슨 일이 있었나
ElevenLabs는 2026년 10월 20일 블로그 글에서 Eleven Realtime을 발표하며, 음성을 입력받아 음성을 출력하는 새로운 종류의 Speech to Speech(음성 대 음성) 모델이라고 소개했다.
ElevenLabs에 따르면 자연스럽게 들리는 음성 에이전트를 만들려면 개발자가 음성 인식, 음성 활동 감지(상대가 말하고 있는지 판단하는 기능), 발화 순서 관리, 기반이 되는 대형 언어 모델(AI가 글을 이해하고 만들어 내는 핵심 모델), 음성 합성 등 여러 구성 요소를 하나씩 선택해야 하고, 이들이 잘 맞물리게 하려면 더 많은 테스트와 조정이 필요하다. ElevenLabs는 Eleven Realtime이 이런 작업을 덜어 주기 위한 제품이라고 밝혔다.
ElevenLabs는 첫 모델로 두 가지를 내놓았다고 밝혔다. 회사 설명에 따르면 v1 Mini는 저비용의 자연스러운 대화를 내세우며 AI 비서, 교사, 상호작용형 캐릭터에 적합하다. v1 Max는 복잡한 작업용으로 고객 상담, 잠재 고객 선별, 여러 단계의 업무 흐름에 적합하다. 회사는 두 모델 모두 90개 넘는 언어를 지원하며 음성 라이브러리의 1만 7,000여 가지 음성을 쓸 수 있다고 밝혔다.
작동 방식과 두 모델 비교
ElevenLabs는 Eleven Realtime이 캐스케이드(cascaded) 아키텍처 위에 만들어졌다고 밝혔다. 여러 구성 요소가 차례로 대화를 처리하는 구조로, 회사는 이를 처음부터 끝까지 함께 조정했다고 설명했다. 회사에 따르면 사용자가 다루는 것은 오디오 입력, 오디오 출력, 단일 모델 ID뿐이다. 회사는 각 단계에서 텍스트가 생성되므로 에이전트가 무엇을 들었고 무슨 말을 하기로 했는지 확인할 수 있다고 설명했다. 또 이 텍스트 덕분에 ElevenAgents(ElevenLabs의 음성 에이전트 제작·운영 제품)가 Realtime 에이전트에 가드레일(에이전트 행동을 제한하는 안전장치)과 개인정보 마스킹(개인 정보 숨김)을 적용할 수 있다고 밝혔다.
| 항목 | v1 Mini | v1 Max |
|---|---|---|
| 포지셔닝(ElevenLabs 설명) | 저비용의 자연스러운 대화 | 복잡한 작업, 여러 단계의 업무 흐름 |
| Big Bench Audio 정답률(음성으로 추론 문제 1,000개 답변) | 75.9% | 98.8% |
| 평균 발화 시작 시간 | 0.62초 | 0.57초 |
| Full-Duplex-Bench(멈춤, 발화 순서, 끼어들기, 맞장구 테스트) | 95.8% | 94.1% |
| Speech Agent Arena 점수(모델 정체를 모르는 실제 사람이 두 모델의 실시간 대화를 비교) | 988 | 998 |
| 도구 사용 작업 완료율(AI가 외부 기능을 불러 써야 하는 작업) | 60.3% | 87.1% |
ElevenLabs는 또한 Artificial Analysis 리더보드(모델 성능 순위표)에서 v1 Max보다 더 빠르면서 더 정확한 모델은 없다고 밝혔으며, 도구 사용 성능 차이 때문에 도구 호출(AI가 외부 기능을 불러 쓰는 것)이 많은 환경에서는 Max를 권한다고 했다.
개발자에게 의미하는 것
ElevenLabs는 자사 Realtime API가 OpenAI의 Realtime API와 호환되어, 시험해 볼 때 코드의 엔드포인트(프로그램이 연결하는 주소)와 모델 이름만 바꾸면 된다고 밝혔다. 또 캐스케이드 구조 덕분에 각 단계의 텍스트를 확인할 수 있어, 문제가 잘못 들은 것인지 판단 오류인지 구분하는 데 도움이 된다고 설명했다.
시작 방법과 제한 사항
ElevenLabs가 안내한 시작 경로는 두 가지다.
- ElevenAgents(회사 권장): 에이전트를 만들거나 연 뒤 드롭다운 메뉴에서 Realtime 모델을 선택한다. ElevenLabs에 따르면 ElevenAgents는 전화, 웹, WhatsApp, CCaaS(클라우드 고객센터 서비스) 채널과 워크플로, 지식 베이스, 가드레일, 테스트, 모니터링을 제공한다.
- Realtime API: ElevenLabs에 따르면 이미 OpenAI Realtime API를 연동한 개발자는 코드를 그대로 쓰고 연결 대상만 바꿀 수 있다. 회사는 마이그레이션(기존 연동을 옮기는 작업) 가이드에 관련 절차와 차이점이 담겨 있다고 밝혔다.
제한 사항으로, ElevenLabs는 Realtime API가 WebSocket(네트워크 연결 방식의 하나)으로만 연결되며, WebRTC(또 다른 실시간 연결 기술)를 쓰는 연동은 먼저 WebSocket으로 바꿔야 한다고 밝혔다. 회사는 또한 Realtime API가 ElevenAgents와는 별도로 운영되므로 채널이나 지식 베이스 같은 플랫폼 기능이 필요한 개발자는 처음부터 ElevenAgents 위에 구축해야 한다고 설명했다.
자주 묻는 질문
Eleven Realtime이란 무엇인가?
ElevenLabs에 따르면 음성 대 음성 모델의 한 종류로, 각 모델이 완전한 음성 에이전트이며 첫 모델은 v1 Mini와 v1 Max다.
Mini와 Max는 무엇이 다른가?
ElevenLabs는 Mini가 저비용의 자연스러운 대화에, Max가 복잡한 작업에 적합하다고 밝혔다. 회사가 공개한 도구 사용 작업 완료율은 Max 87.1%, Mini 60.3%다.
이 평가 수치는 누가 공개했나?
수치는 ElevenLabs가 자사 글에서 공개했고, 회사는 평가를 Artificial Analysis가 수행했다고 밝혔다. 업체가 공개한 정보로 보고 읽어야 한다.
OpenAI Realtime API를 쓰던 코드를 그대로 쓸 수 있나?
ElevenLabs는 호환된다며 엔드포인트와 모델 이름만 바꾸면 된다고 밝혔다. 다만 WebSocket만 지원하므로 WebRTC를 쓰는 연동은 먼저 WebSocket으로 바꿔야 한다.
같은 주제의 글
라이프스타일
샘 올트먼 OpenAI CEO, 수학자들에게 공감하지만 AI 수학 성과 발표는 멈추지 않겠다고 밝혀
The Verge 보도에 따르면 OpenAI의 샘 올트먼 CEO는 팟캐스트에서 AI 수학 성과의 잇단 발표가 수학자들에게 부담이 된다고 인정했지만, 발표를 멈추지 않을 것이며 아직 공개하지 않은 발견도 더 있다고 밝혔다.
라이프스타일
신생기업 Runware, AI 데이터센터를 자동차처럼 양산한다: 48시간 가동 목표와 위험
TechCrunch 보도에 따르면 Runware는 통째로 운송 가능한 AI 데이터센터 포드를 생산 라인에서 양산할 계획이다. 성공하면 AI 연산 능력이 필요한 기업이 더 빨리 구축할 수 있지만, 아직 계획 단계여서 자금·공급망·실행이 관건이다.
라이프스타일
AI 데이터센터에 대한 메인주 주민 반발, 상원 선거전의 쟁점으로: The Verge 보도
The Verge에 따르면 메인주 주민 상당수가 AI 데이터센터가 전기요금을 올리고 자원을 소모하면서도 장기 일자리는 만들지 못한다고 우려하며, 이 반발이 상원 선거의 쟁점이 됐다. 선거 결과는 어느 당이 상원을 장악할지를 결정하는 데 영향을 주고, 미국 전역의 데이터센터·AI 정책에도 영향을 줄 전망이다.
라이프스타일
위키피디아 운영 재단, AI 저작권 소송에 의견 제출: 학습은 공정이용 가능, 내용 그대로 제공은 라이선스 필요
The Verge 보도에 따르면 위키미디어재단은 《뉴욕타임스》 등 출판사가 OpenAI와 마이크로소프트를 상대로 낸 소송에서 어느 쪽도 지지하지 않는 의견서를 법원에 냈다. AI 학습과 출력을 구분해야 하며, 지나치게 단순한 판결은 위키피디아 편집자의 유용한 AI 도구를 없애거나 개방형 웹을 위협할 수 있다고 경고했다.