生活分享

OpenAI、Google、Microsoft、Anthropic 擬採用共同標準，網站可一次拒絕多家 AI 爬取

The Verge 報導，四家 AI 公司表示將採用一個放在 robots.txt 的共用訊號。網站經營者與出版商不必再逐家設定，就能一次表達是否允許內容被抓取來訓練 AI。

閱讀時間約 4 分鐘

OpenAI、Google、Microsoft、Anthropic 擬採用共同標準，網站可一次拒絕多家 AI 爬取
圖片：Mokaair (Original editorial artwork)

發生了什麼事

據 The Verge 於 2026 年 10 月 30 日報導，OpenAI、Google、Microsoft 與 Anthropic 表示將採用一項新標準，讓出版商可以選擇不被 AI 爬取，也就是不讓 AI 公司的自動程式（爬蟲）抓取網站內容。The Verge 指出，Search Engine Roundtable 較早報導了此事。

The Verge 表示，出版商能藉此一次套用對多家 AI 公司的 AI 訓練偏好，也就是表明內容能否用來訓練 AI 模型，而不必逐一設定。目前網站得分別向各家 AI 公司表達這類偏好。

「policy token」如何運作

「policy token」可以理解為網站留給 AI 爬蟲看的共用標記。The Verge 報導，這個訊號由 Anthropic 標準技術負責人 Kevin Kelley 在網際網路標準組織 Internet Engineering Task Force（IETF）中提出。

據 The Verge 說明，該訊號會放在網站的 robots.txt 檔案內。robots.txt 長期用來標示哪些網路爬蟲可以或不可以抓取網站，用途涵蓋搜尋索引、存檔或 AI 訓練。

The Verge 稱，OpenAI、Google、Microsoft 與 Anthropic 都表示，若遇到這個共用訊號，將限制其 AI 爬蟲存取該網站。

各公司的時程與差異

依 The Verge 報導整理的採用進度
公司據 The Verge 報導的狀態或做法
Anthropic已採用該訊號
Google計畫明年支援
Microsoft計畫明年支援；另提供更細緻控制，可選擇退出 AI 訓練或 AI grounding
OpenAI表示將在「coming months」（未來幾個月）實施

The Verge 指出，Microsoft 將提供更細緻的控制，讓出版商能選擇退出 AI 訓練或 AI grounding。The Verge 將 AI grounding 描述為讓 AI 模型參照經查證的資訊來源，以減少「幻覺」（AI 產生不實內容）的做法。Microsoft 也表示，無論偏好為何，網站仍會出現在 Bing 搜尋結果中。

對網站經營者的意義

The Verge 指出，出版商正面對 AI 爬蟲持續大量抓取網站內容並用於 AI 模型的壓力。依報導描述，新訊號讓網站管理者可一次套用對多家公司的 AI 訓練偏好，不必逐家設定。

The Verge 也提到其他對抗未經授權爬取的做法，例如 Really Simple Licensing（RSL）標準讓出版商可向造訪的爬蟲收費，Cloudflare 則預設封鎖 AI 爬蟲。新訊號屬於另一種選擇：由網站表達偏好，而 AI 公司表示將遵守。

常見問題

這個新標準是什麼？

據 The Verge 報導，這是放在 robots.txt 中的共用「policy token」訊號，出版商可用它一次表達對多家 AI 公司的 AI 訓練偏好。

誰提出這個訊號？

The Verge 稱，由 Anthropic 標準技術負責人 Kevin Kelley 在 IETF 中提出。

哪些公司已經支援？

據 The Verge，Anthropic 已採用；Google 與 Microsoft 計畫明年支援；OpenAI 表示將在「coming months」（未來幾個月）實施。

選擇退出後，網站還會出現在搜尋結果嗎？

The Verge 報導，Microsoft 表示無論偏好如何，網站仍會出現在 Bing 搜尋結果中。報導未說明其他公司的做法。

Microsoft 的做法有何不同？

據 The Verge，Microsoft 將提供更細緻的控制，讓出版商可選擇退出 AI 訓練或 AI grounding。

查看同分類最新消息

同主題延伸閱讀

資料來源

生活分享