生活分享

Cloudflare 通过 AI Gateway 推出 Web Search API，要求搜索合作伙伴遵守爬虫规范

Cloudflare 于 2026 年 10 月 2 日宣布推出 Web Search API，让 AI 代理通过 AI Gateway 查询实时网络信息。首批合作伙伴为 Ceramic.ai、Exa 与 Linkup。Cloudflare 表示，这些伙伴的爬虫须遵守 Verified bots 规范并标注来源。这件事关系到打造 AI 应用的开发者，也关系到内容可能被爬取的网站运营者。

阅读时间约 5 分钟

Cloudflare 通过 AI Gateway 推出 Web Search API，要求搜索合作伙伴遵守爬虫规范
图片：Mokaair (Original editorial artwork)

Cloudflare 宣布了什么

Cloudflare 于 2026 年 10 月 2 日在官方博客宣布，通过旗下 AI Gateway 推出 Web Search API。AI Gateway 是 Cloudflare 为 AI 应用提供的管控平台，内置日志观测、统一计费、安全与访问控制等功能。文章由 Michelle Chen、Sam Else 与 Gabriel Massadas 撰写，属于该公司 Birthday Week 系列发布之一。Cloudflare 表示，首批合作的网络搜索供应商为 Ceramic.ai、Exa 与 Linkup。

AI 代理是能替用户执行任务的 AI 程序。Cloudflare 说明，AI 代理需要读取实时网页时，常常是先猜测网址再直接抓取，猜错时就会得到 404 Not Found 错误（找不到网页）。该公司也指出，模型通常在训练后被冻结于某个时间点，只能使用知识截止日期前的信息。据 Cloudflare 表示，网络搜索可让代理像人一样先搜索，再以实时信息作为回答依据。

爬虫规范：这次发布的重点

爬虫是自动读取网页内容的程序。据 Cloudflare 称，合作伙伴已承诺符合 Cloudflare 的爬虫标准。具体来说有两项要求。第一，搜索供应商使用的爬虫必须符合 Cloudflare 开发者文档中“Verified bots”（经验证机器人）的公开要求。第二，搜索结果必须附上被爬取内容所在位置的链接。Cloudflare 表示，这些供应商会识别自身爬虫、遵守 robots.txt，并提供搜索结果的来源。

对普通读者与网站运营者而言，这意味着在这个平台上，按 Cloudflare 的设计，AI 工具引用网络内容时会标注出处。网站也能通过 robots.txt 表达是否愿意被爬取。不过，这些承诺是否落实，目前只有 Cloudflare 单方面的说明。

开发者如何使用

Cloudflare 表示，网络搜索请求会出现在 AI Gateway 的常规观测日志中，查询费用从 AI Gateway 额度扣除，管理者也能管控谁可使用哪些搜索供应商。该公司表示会标注支持零数据保留（ZDR）的合作伙伴，也就是不保留用户数据的供应商。网络搜索以合作伙伴的公开 API 定价提供、不额外加价。Cloudflare 同时支持自带密钥（BYOK），让团队沿用自己现有的供应商账户设置。

Cloudflare Web Search API 的使用方式比较（资料来源：Cloudflare 官方博客）
使用方式说明（据 Cloudflare 公告）目前状态
REST API从现有后端、移动 App 或外部服务通过标准 REST 端点查询已推出
Workers binding在 Cloudflare Workers 中以独立 binding 调用网络搜索（Cloudflare 表示只需一行代码）已推出
Server Tools内置于 AI Gateway 的原生工具，网络搜索为首批之一即将推出

对普通读者的影响

  • AI 助手若采用这类搜索服务，回答近期事件时可依据实时信息，而非仅靠训练数据。
  • 按 Cloudflare 的规范，搜索结果须附上来源链接，读者更容易回头查证原文。
  • 网站运营者可通过 robots.txt 表达偏好，Cloudflare 表示合作伙伴会遵守。

常见问题

Web Search API 是什么？

根据 Cloudflare 的公告，这是通过 AI Gateway 提供的网络搜索服务。AI 代理可以用它查询网络上的实时信息，搜索结果会直接提供给模型，作为回答时参考的资料。

有哪些搜索供应商参与？

Cloudflare 表示，首批合作伙伴为 Ceramic.ai、Exa 与 Linkup。

这和网站被 AI 爬取有什么关系？

Cloudflare 表示，合作伙伴的爬虫须符合其“Verified bots”要求、识别自身身份并遵守 robots.txt，且搜索结果须附上内容来源链接。

使用会额外加价吗？

Cloudflare 表示，网络搜索以合作伙伴的公开 API 定价提供，不额外加价，费用从 AI Gateway 额度扣除，也支持自带密钥。

Server Tools 何时推出？

Cloudflare 只表示“即将推出”，并说网络搜索会是首批纳入的工具之一，公告中未提供具体日期。

查看同分类最新消息

同主题延伸阅读

最新旅游情报攻略

资料来源

生活分享