生活分享

ElevenLabs 推出 Eleven Realtime:開發 AI 語音對話服務,不必再自己拼裝各項元件

ElevenLabs 宣布推出 Eleven Realtime v1 Mini 與 v1 Max,稱開發者可用單一模型打造能以語音對話的 AI,不必自行選擇和調校多項元件。對正在開發語音客服或語音助理的團隊來說,這可能減少開發工作,但 API 僅支援 WebSocket 連線。

閱讀時間約 4 分鐘

ElevenLabs 推出 Eleven Realtime:開發 AI 語音對話服務,不必再自己拼裝各項元件
圖片:Mokaair (Original editorial artwork)

發生了什麼事

ElevenLabs 在 2026 年 10 月 20 日發布的部落格文章中宣布推出 Eleven Realtime,並稱其為一類新的 Speech to Speech(語音對語音)模型:輸入語音,輸出的也是語音。

根據 ElevenLabs,要打造聽起來自然的語音代理,開發者必須就多項元件逐一做出選擇,包括語音辨識、語音活動偵測(判斷對方是否正在說話)、輪流發言、底層大型語言模型與語音合成,而且要讓這些元件配合良好,還需要更多測試與調校。ElevenLabs 表示,Eleven Realtime 的目的就是省下這些工作。

ElevenLabs 表示首批推出兩款模型:v1 Mini 主打低成本的自然對話,適合 AI 助理、教師與互動角色;v1 Max 用於複雜任務,適合客服、潛在客戶篩選與多步驟流程。該公司稱兩款模型都支援超過 90 種語言,並可使用其聲音庫中 17,000 多種聲音。

運作方式與兩款模型比較

ElevenLabs 表示,Eleven Realtime 建立在端到端調校過的串接式(cascaded)架構上,也就是由多項元件依序處理對話,再整體調校。使用者面對的則只有音訊輸入、音訊輸出和單一模型 ID。該公司指出,每一步都會產生文字,因此可看出代理聽到什麼、決定說什麼;這些文字也讓 ElevenAgents(ElevenLabs 用來建立和運行語音代理的產品)能對 Realtime 代理套用護欄(限制代理行為的安全機制)與個資遮蔽(隱藏個人資料)。

數據由 ElevenLabs 公布,該公司稱評測由 Artificial Analysis 執行。
項目v1 Miniv1 Max
定位(ElevenLabs 說法)低成本自然對話複雜任務、多步驟流程
Big Bench Audio 答對率(以語音回答 1,000 道推理題)75.9%98.8%
平均開始說話時間0.62 秒0.57 秒
Full-Duplex-Bench(測試停頓、輪流發言、插話與附和)95.8%94.1%
Speech Agent Arena 分數(真人在不知模型身分下比較兩款模型的即時對話)988998
工具使用任務完成率60.3%87.1%

ElevenLabs 另稱,在 Artificial Analysis 排行榜上,沒有任何模型同時比 v1 Max 更快且更準確,並因工具使用表現差異,建議需要大量呼叫工具的情境使用 Max。

對開發者的意義

ElevenLabs 表示,其 Realtime API 與 OpenAI 的 Realtime API 相容,開發者試用時只需更改程式碼中的端點(程式連線的網址)與模型名稱。該公司也稱,串接式架構讓每一步的文字都可被檢視,有助於分辨問題出在聽錯字還是判斷錯誤。

如何開始與限制

ElevenLabs 提供兩種途徑:

  • ElevenAgents(該公司建議):建立或開啟代理後,從下拉選單選擇 Realtime 模型。ElevenAgents 提供電話、網頁、WhatsApp 與 CCaaS(雲端客服中心服務)管道,以及工作流程、知識庫、護欄、測試與監控。
  • Realtime API:已整合 OpenAI Realtime API 的開發者,可沿用程式碼並改變連線指向。ElevenLabs 稱其遷移指南涵蓋相關步驟與差異。

限制方面,ElevenLabs 表示 Realtime API 僅以 WebSocket(一種網路連線方式)連線,使用 WebRTC(另一種即時連線技術)的整合需先改為 WebSocket。它也與 ElevenAgents 分開運作,需要管道或知識庫等平台功能的開發者,應從一開始就建構在 ElevenAgents 上。

常見問題

Eleven Realtime 是什麼?

依 ElevenLabs 說法,它是一類語音對語音模型,每個模型就是完整的語音代理,首批有 v1 Mini 與 v1 Max。

Mini 和 Max 差在哪?

ElevenLabs 稱 Mini 適合低成本自然對話,Max 適合複雜任務。該公司公布的工具使用任務完成率,Max 為 87.1%,Mini 為 60.3%。

這些評測數據是誰公布的?

數據由 ElevenLabs 在自家文章中公布,該公司稱評測由 Artificial Analysis 執行。閱讀時應把它們視為廠商公布的資訊。

原本用 OpenAI Realtime API 的程式能直接用嗎?

ElevenLabs 稱相容,只需更改端點與模型名稱;但僅支援 WebSocket,使用 WebRTC 的整合需先改用 WebSocket。

查看同分類最新消息

資料來源

生活分享