生活分享

ElevenLabs 推出 Eleven Realtime：开发 AI 语音对话服务，不必再自己拼装各项组件

ElevenLabs 宣布推出 Eleven Realtime v1 Mini 与 v1 Max，称开发者可用单一模型打造能以语音对话的 AI，无需自行选择和调校多项组件。对正在开发语音客服或语音助手的团队来说，这可能减少开发工作，但其 API 仅支持 WebSocket 连接。

阅读时间约 4 分钟

ElevenLabs 推出 Eleven Realtime：开发 AI 语音对话服务，不必再自己拼装各项组件
图片：Mokaair (Original editorial artwork)

发生了什么事

ElevenLabs 在 2026 年 10 月 20 日发布的博客文章中宣布推出 Eleven Realtime，并称其为一类新的 Speech to Speech（语音对语音）模型：输入语音，输出的也是语音。

根据 ElevenLabs，要打造听起来自然的语音代理，开发者必须就多项组件逐一做出选择，包括语音识别、语音活动检测（判断对方是否正在说话）、轮流发言、底层大语言模型与语音合成，而且要让这些组件配合良好，还需要更多测试与调校。ElevenLabs 表示，Eleven Realtime 的目的就是省下这些工作。

ElevenLabs 表示首批推出两款模型：v1 Mini 主打低成本的自然对话，适合 AI 助手、教师与互动角色；v1 Max 用于复杂任务，适合客服、潜在客户筛选与多步骤流程。该公司称两款模型都支持超过 90 种语言，并可使用其声音库中 17,000 多种声音。

运作方式与两款模型对比

ElevenLabs 表示，Eleven Realtime 建立在端到端调校过的级联（cascaded）架构上，也就是由多项组件依序处理对话，再整体调校。用户面对的只有音频输入、音频输出和单一模型 ID。该公司指出，每一步都会产生文本，因此可看出代理听到了什么、决定说什么；这些文本也让 ElevenAgents（ElevenLabs 用来构建和运行语音代理的产品）能对 Realtime 代理应用护栏（限制代理行为的安全机制）与个人信息遮蔽（隐藏个人资料）。

数据由 ElevenLabs 公布，该公司称评测由 Artificial Analysis 执行。
项目v1 Miniv1 Max
定位（ElevenLabs 说法）低成本自然对话复杂任务、多步骤流程
Big Bench Audio 答对率（以语音回答 1,000 道推理题）75.9%98.8%
平均开始说话时间0.62 秒0.57 秒
Full-Duplex-Bench（测试停顿、轮流发言、插话与附和）95.8%94.1%
Speech Agent Arena 分数（真人在不知模型身份下比较两款模型的实时对话）988998
工具使用任务完成率60.3%87.1%

ElevenLabs 另称，在 Artificial Analysis 排行榜上，没有任何模型同时比 v1 Max 更快且更准确，并因工具使用表现差异，建议需要大量调用工具的场景使用 Max。

对开发者的意义

ElevenLabs 表示，其 Realtime API 与 OpenAI 的 Realtime API 兼容，开发者试用时只需更改代码中的端点（程序连接的网址）与模型名称。该公司也称，级联架构让每一步的文本都可被检视，有助于分辨问题出在听错字还是判断错误。

如何开始与限制

ElevenLabs 提供两种途径：

  • ElevenAgents（该公司推荐）：创建或打开代理后，从下拉菜单选择 Realtime 模型。ElevenAgents 提供电话、网页、WhatsApp 与 CCaaS（云端客服中心服务）渠道，以及工作流、知识库、护栏、测试与监控。
  • Realtime API：已集成 OpenAI Realtime API 的开发者，可沿用代码并改变连接指向。ElevenLabs 称其迁移指南涵盖相关步骤与差异。

限制方面，ElevenLabs 表示 Realtime API 仅以 WebSocket（一种网络连接方式）连接，使用 WebRTC（另一种实时连接技术）的集成需先改为 WebSocket。它也与 ElevenAgents 分开运作，需要渠道或知识库等平台功能的开发者，应从一开始就构建在 ElevenAgents 上。

常见问题

Eleven Realtime 是什么？

依 ElevenLabs 的说法，它是一类语音对语音模型，每个模型就是完整的语音代理，首批有 v1 Mini 与 v1 Max。

Mini 和 Max 差在哪？

ElevenLabs 称 Mini 适合低成本自然对话，Max 适合复杂任务。该公司公布的工具使用任务完成率，Max 为 87.1%，Mini 为 60.3%。

这些评测数据是谁公布的？

数据由 ElevenLabs 在自家文章中公布，该公司称评测由 Artificial Analysis 执行。阅读时应把它们视为厂商公布的信息。

原本用 OpenAI Realtime API 的程序能直接用吗？

ElevenLabs 称兼容，只需更改端点与模型名称；但仅支持 WebSocket，使用 WebRTC 的集成需先改用 WebSocket。

查看同分类最新消息

同主题延伸阅读

资料来源

生活分享