生活分享
ElevenLabs 推出 Eleven Realtime:開發 AI 語音對話服務,不必再自己拼裝各項元件
ElevenLabs 宣布推出 Eleven Realtime v1 Mini 與 v1 Max,稱開發者可用單一模型打造能以語音對話的 AI,不必自行選擇和調校多項元件。對正在開發語音客服或語音助理的團隊來說,這可能減少開發工作,但 API 僅支援 WebSocket 連線。
閱讀時間約 4 分鐘

發生了什麼事
ElevenLabs 在 2026 年 10 月 20 日發布的部落格文章中宣布推出 Eleven Realtime,並稱其為一類新的 Speech to Speech(語音對語音)模型:輸入語音,輸出的也是語音。
根據 ElevenLabs,要打造聽起來自然的語音代理,開發者必須就多項元件逐一做出選擇,包括語音辨識、語音活動偵測(判斷對方是否正在說話)、輪流發言、底層大型語言模型與語音合成,而且要讓這些元件配合良好,還需要更多測試與調校。ElevenLabs 表示,Eleven Realtime 的目的就是省下這些工作。
ElevenLabs 表示首批推出兩款模型:v1 Mini 主打低成本的自然對話,適合 AI 助理、教師與互動角色;v1 Max 用於複雜任務,適合客服、潛在客戶篩選與多步驟流程。該公司稱兩款模型都支援超過 90 種語言,並可使用其聲音庫中 17,000 多種聲音。
運作方式與兩款模型比較
ElevenLabs 表示,Eleven Realtime 建立在端到端調校過的串接式(cascaded)架構上,也就是由多項元件依序處理對話,再整體調校。使用者面對的則只有音訊輸入、音訊輸出和單一模型 ID。該公司指出,每一步都會產生文字,因此可看出代理聽到什麼、決定說什麼;這些文字也讓 ElevenAgents(ElevenLabs 用來建立和運行語音代理的產品)能對 Realtime 代理套用護欄(限制代理行為的安全機制)與個資遮蔽(隱藏個人資料)。
| 項目 | v1 Mini | v1 Max |
|---|---|---|
| 定位(ElevenLabs 說法) | 低成本自然對話 | 複雜任務、多步驟流程 |
| Big Bench Audio 答對率(以語音回答 1,000 道推理題) | 75.9% | 98.8% |
| 平均開始說話時間 | 0.62 秒 | 0.57 秒 |
| Full-Duplex-Bench(測試停頓、輪流發言、插話與附和) | 95.8% | 94.1% |
| Speech Agent Arena 分數(真人在不知模型身分下比較兩款模型的即時對話) | 988 | 998 |
| 工具使用任務完成率 | 60.3% | 87.1% |
ElevenLabs 另稱,在 Artificial Analysis 排行榜上,沒有任何模型同時比 v1 Max 更快且更準確,並因工具使用表現差異,建議需要大量呼叫工具的情境使用 Max。
對開發者的意義
ElevenLabs 表示,其 Realtime API 與 OpenAI 的 Realtime API 相容,開發者試用時只需更改程式碼中的端點(程式連線的網址)與模型名稱。該公司也稱,串接式架構讓每一步的文字都可被檢視,有助於分辨問題出在聽錯字還是判斷錯誤。
如何開始與限制
ElevenLabs 提供兩種途徑:
- ElevenAgents(該公司建議):建立或開啟代理後,從下拉選單選擇 Realtime 模型。ElevenAgents 提供電話、網頁、WhatsApp 與 CCaaS(雲端客服中心服務)管道,以及工作流程、知識庫、護欄、測試與監控。
- Realtime API:已整合 OpenAI Realtime API 的開發者,可沿用程式碼並改變連線指向。ElevenLabs 稱其遷移指南涵蓋相關步驟與差異。
限制方面,ElevenLabs 表示 Realtime API 僅以 WebSocket(一種網路連線方式)連線,使用 WebRTC(另一種即時連線技術)的整合需先改為 WebSocket。它也與 ElevenAgents 分開運作,需要管道或知識庫等平台功能的開發者,應從一開始就建構在 ElevenAgents 上。
常見問題
Eleven Realtime 是什麼?
依 ElevenLabs 說法,它是一類語音對語音模型,每個模型就是完整的語音代理,首批有 v1 Mini 與 v1 Max。
Mini 和 Max 差在哪?
ElevenLabs 稱 Mini 適合低成本自然對話,Max 適合複雜任務。該公司公布的工具使用任務完成率,Max 為 87.1%,Mini 為 60.3%。
這些評測數據是誰公布的?
數據由 ElevenLabs 在自家文章中公布,該公司稱評測由 Artificial Analysis 執行。閱讀時應把它們視為廠商公布的資訊。
原本用 OpenAI Realtime API 的程式能直接用嗎?
ElevenLabs 稱相容,只需更改端點與模型名稱;但僅支援 WebSocket,使用 WebRTC 的整合需先改用 WebSocket。
同主題延伸閱讀
生活分享
Altman 同情數學家,但表示 OpenAI 不會停止發布 AI 數學成果
據 The Verge 報導,OpenAI 執行長 Sam Altman 在播客中承認,公司密集發布 AI 數學成果讓數學家難以消化,但他表示不會停止,並稱公司還有更多未公開的發現。
生活分享
新創 Runware 想像造車一樣量產 AI 資料中心:48 小時上線的目標與風險
據 TechCrunch 報導,Runware 計畫用生產線量產可整組運送的 AI 資料中心機艙。若成功,需要 AI 運算能力的企業可能更快完成建置,但這些目前仍是計畫,資金、供應鏈與執行都有待考驗。
生活分享
AI 資料中心引發緬因州居民反彈,成參議院選戰焦點:The Verge 報導
The Verge 報導,不少緬因州居民擔心 AI 資料中心推高電費、消耗資源又帶不來長期工作,這股反彈已成為參議院選戰議題。選舉結果將有助決定參議院由哪一黨控制,並影響全美的資料中心與 AI 政策。
生活分享
維基百科營運方介入 AI 著作權訴訟:訓練可算合理使用,照搬內容則應授權
據 The Verge 報導,維基媒體基金會就《紐約時報》等出版商控告 OpenAI 與微軟的訴訟向法院提交意見,不支持任何一方。它主張區分 AI 訓練與輸出,並警告過於簡化的裁決可能讓維基百科編輯失去實用的 AI 工具,或危及開放網路。