生活分享

Cloudflare 透過 AI Gateway 推出 Web Search API，要求搜尋合作夥伴遵守爬蟲規範

Cloudflare 於 2026 年 10 月 2 日宣布推出 Web Search API，讓 AI 代理透過 AI Gateway 查詢即時網路資訊。首批合作夥伴為 Ceramic.ai、Exa 與 Linkup。Cloudflare 表示，這些夥伴的爬蟲須遵守 Verified bots 規範並標示來源。這件事關係到打造 AI 應用的開發者，也關係到內容可能被爬取的網站經營者。

閱讀時間約 4 分鐘

Cloudflare 透過 AI Gateway 推出 Web Search API，要求搜尋合作夥伴遵守爬蟲規範
圖片：Mokaair (Original editorial artwork)

Cloudflare 宣布了什麼

Cloudflare 於 2026 年 10 月 2 日在官方部落格宣布，透過旗下 AI Gateway 推出 Web Search API。AI Gateway 是 Cloudflare 為 AI 應用提供的控管平台，內建記錄觀測、統一計費、安全與存取控制等功能。文章由 Michelle Chen、Sam Else 與 Gabriel Massadas 撰寫，屬於該公司 Birthday Week 系列發布之一。Cloudflare 表示，首批合作的網路搜尋供應商為 Ceramic.ai、Exa 與 Linkup。

AI 代理是能替使用者執行任務的 AI 程式。Cloudflare 說明，AI 代理需要讀取即時網頁時，常常是先猜測網址再直接抓取，猜錯時就會得到 404 Not Found 錯誤（找不到網頁）。該公司也指出，模型通常在訓練後被凍結於某個時間點，只能使用知識截止日期前的資訊。據 Cloudflare 表示，網路搜尋可讓代理像人一樣先搜尋，再以即時資訊作為回答依據。

爬蟲規範：這次發布的重點

爬蟲是自動讀取網頁內容的程式。根據 Cloudflare 的說法，合作夥伴已承諾符合 Cloudflare 的爬蟲標準。具體來說有兩項要求。第一，搜尋供應商使用的爬蟲必須符合 Cloudflare 開發者文件中「Verified bots」（經驗證機器人）的公開要求。第二，搜尋結果必須附上被爬取內容所在位置的連結。Cloudflare 表示，這些供應商會識別自身爬蟲、遵守 robots.txt，並提供搜尋結果的來源。

對一般讀者與網站經營者而言，這代表在這個平台上，按 Cloudflare 的設計，AI 工具引用網路內容時會標示出處。網站也能透過 robots.txt 表達是否願意被爬取。不過，這些承諾是否落實，目前只有 Cloudflare 單方面的說明。

開發者如何使用

Cloudflare 表示，網路搜尋請求會出現在 AI Gateway 的一般觀測日誌中，查詢費用從 AI Gateway 額度扣除，管理者也能控管誰可使用哪些搜尋供應商。該公司表示會標示支援零資料保留（ZDR）的合作夥伴，也就是不保留使用者資料的供應商。網路搜尋以合作夥伴的公開 API 定價提供、不額外加價。Cloudflare 同時支援自備金鑰（BYOK），讓團隊沿用自己既有的供應商帳戶設定。

Cloudflare Web Search API 的使用方式比較（資料來源：Cloudflare 官方部落格）
使用方式說明（依 Cloudflare 公告）目前狀態
REST API從既有後端、行動 App 或外部服務透過標準 REST 端點查詢已推出
Workers binding在 Cloudflare Workers 中以獨立 binding 呼叫網路搜尋（Cloudflare 表示只需一行程式碼）已推出
Server Tools內建於 AI Gateway 的原生工具，網路搜尋為首批之一即將推出

對一般讀者的影響

  • AI 助理若採用這類搜尋服務，回答近期事件時可依據即時資訊，而非僅靠訓練資料。
  • 按 Cloudflare 的規範，搜尋結果須附上來源連結，讀者較容易回頭查證原文。
  • 網站經營者可透過 robots.txt 表達偏好，Cloudflare 表示合作夥伴會遵守。

常見問題

Web Search API 是什麼？

根據 Cloudflare 的公告，這是透過 AI Gateway 提供的網路搜尋服務。AI 代理可以用它查詢網路上的即時資訊，搜尋結果會放入模型的上下文中，供模型回答時參考。

有哪些搜尋供應商參與？

Cloudflare 表示，首批合作夥伴為 Ceramic.ai、Exa 與 Linkup。

這和網站被 AI 爬取有什麼關係？

Cloudflare 表示，合作夥伴的爬蟲須符合其「Verified bots」要求、識別自身身分並遵守 robots.txt，且搜尋結果須附上內容來源連結。

使用會額外加價嗎？

Cloudflare 表示，網路搜尋以合作夥伴的公開 API 定價提供，不額外加價，費用從 AI Gateway 額度扣除，也支援自備金鑰。

Server Tools 何時推出？

Cloudflare 只表示「即將推出」，並說網路搜尋會是首批納入的工具之一，公告中未提供具體日期。

查看同分類最新消息

同主題延伸閱讀

最新旅遊情報攻略

資料來源

生活分享