生活分享

OpenAI、Google、Microsoft、Anthropic 拟采用共同标准，网站可一次拒绝多家 AI 抓取

据 The Verge 报道，四家 AI 公司表示将采用一个放在 robots.txt 文件（告诉爬虫哪些内容可以抓取）中的共用信号。网站运营者与出版商不必再逐家设置，就能一次表明是否允许内容被抓取用于训练 AI。

阅读时间约 4 分钟

OpenAI、Google、Microsoft、Anthropic 拟采用共同标准，网站可一次拒绝多家 AI 抓取
图片：Mokaair (Original editorial artwork)

发生了什么

据 The Verge 于 2026 年 10 月 30 日报道，OpenAI、Google、Microsoft 与 Anthropic 表示将采用一项新标准，让出版商可以选择不被 AI 抓取，也就是不让 AI 公司的自动程序（爬虫）抓取网站内容。The Verge 指出，Search Engine Roundtable 较早报道了此事。

The Verge 表示，出版商借此可把自己的 AI 训练偏好一次应用到多家 AI 公司，也就是表明内容能否用于训练 AI 模型，而不必逐一设置。目前网站须分别向各家 AI 公司表达这类偏好。

“policy token”如何运作

“policy token”可以理解为网站留给 AI 爬虫看的共用标记。The Verge 报道，这个信号由 Anthropic 标准技术负责人 Kevin Kelley 在互联网工程任务组（Internet Engineering Task Force，IETF）中提出。

据 The Verge 介绍，该信号会放在网站的 robots.txt 文件内。robots.txt 长期用来标示哪些网络爬虫可以或不可以抓取网站，用途涵盖搜索索引、存档或 AI 训练。

The Verge 称，OpenAI、Google、Microsoft 与 Anthropic 都表示，若遇到这个共用信号，将限制其 AI 爬虫访问该网站。

各公司的时间表与差异

依 The Verge 报道整理的采用进度
公司据 The Verge 报道的状态或做法
Anthropic已采用该信号
Google计划明年支持
Microsoft计划明年支持；另提供更细致的控制，可选择退出 AI 训练或 AI grounding（让 AI 模型参照经查证的信息来源）
OpenAI表示将在“coming months”（未来几个月）实施

The Verge 指出，Microsoft 将提供更细致的控制，让出版商能选择退出 AI 训练或 AI grounding。The Verge 将 AI grounding 描述为让 AI 模型参照经查证的信息来源，以减少“幻觉”（AI 生成不实内容）的做法。Microsoft 也表示，无论偏好如何，网站仍会出现在 Bing 搜索结果中。

对网站运营者的意义

The Verge 指出，出版商正面临 AI 爬虫持续大量抓取网站内容并用于 AI 模型的压力。依报道描述，新信号让网站管理者可把 AI 训练偏好一次应用到多家公司，不必逐家设置。

The Verge 还提到其他对抗未经授权抓取的做法，例如 Really Simple Licensing（RSL）标准让出版商可向访问的爬虫收费，Cloudflare 则默认拦截 AI 爬虫。新信号属于另一种选择：由网站表达偏好，而 AI 公司表示将遵守。

常见问题

这个新标准是什么？

据 The Verge 报道，这是放在 robots.txt 中的共用“policy token”信号，出版商可用它一次表达对多家 AI 公司的 AI 训练偏好。

谁提出了这个信号？

The Verge 称，由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 中提出。

哪些公司已经支持？

据 The Verge，Anthropic 已采用；Google 与 Microsoft 计划明年支持；OpenAI 表示将在“coming months”（未来几个月）实施。

选择退出后，网站还会出现在搜索结果中吗？

The Verge 报道，Microsoft 表示无论偏好如何，网站仍会出现在 Bing 搜索结果中。报道未说明其他公司的做法。

Microsoft 的做法有何不同？

据 The Verge，Microsoft 将提供更细致的控制，让出版商可选择退出 AI 训练或 AI grounding。

查看同分类最新消息

同主题延伸阅读

资料来源

生活分享