OpenAI・Google・Microsoft・Anthropic、共通標準を採用へ――サイトはAIクローリングを一括で拒否可能に

何が起きたのか

The Vergeが2026年10月30日に報じたところによると、OpenAI、Google、Microsoft、Anthropicは、出版社がAIクローリング、つまりAI企業の自動プログラム（クローラー）によるサイト内容の取得を拒否できる新標準を採用するとしています。The Vergeは、Search Engine Roundtableが先に報じたと述べています。

The Vergeによると、出版社はこれにより、コンテンツをAIモデルの学習に使ってよいかどうかの意向を、複数のAI企業に対して一度に適用できます。個別に設定する必要はなくなります。現在、サイトは各AI企業に対して、こうした意向を別々に伝える必要があります。

「policy token」の仕組み

「policy token」は、サイトがAIクローラー向けに示す共通の目印と考えられます。The Vergeの報道では、このシグナルはAnthropicの標準技術責任者Kevin Kelley氏が、インターネット標準化団体Internet Engineering Task Force（IETF）で提案したものです。

The Vergeの説明では、このシグナルはサイトのrobots.txtファイルに記述されます。robots.txtは、どのウェブクローラーがサイトを取得してよいか、またはいけないかを示すために長く使われており、用途は検索インデックス、アーカイブ、AI学習などに及びます。

The Vergeによると、OpenAI、Google、Microsoft、Anthropicはいずれも、この共通シグナルを検出した場合、自社のAIクローラーによるそのサイトへのアクセスを制限するとしています。

各社の時期と違い

The Vergeによると、Microsoftは、出版社がAI学習またはAIグラウンディングの対象から外すよう選べる、より細かな制御を提供します。The Vergeは、AIグラウンディングを、AIモデルが検証済みの情報源を参照して「ハルシネーション」（AIが誤った内容を生成すること）を減らす手法と説明しています。Microsoftはまた、どの設定を選んでもサイトはBing検索結果に表示され続けるとしています。

サイト運営者にとっての意味

The Vergeによると、出版社は、AIクローラーがサイトの内容を次々に取得してAIモデルに利用し続けている問題に直面しています。報道の説明では、新シグナルによりサイト管理者は、複数社に対するAI学習についての意向を各社ごとに設定せず、一度に適用できます。

The Vergeは、無許可のクローリングへの他の対抗策にも触れています。たとえばReally Simple Licensing（RSL）標準は、訪問したクローラーに出版社が課金できるようにし、CloudflareはAIクローラーをデフォルトでブロックしています。新シグナルはそれらとは別の選択肢で、サイトが意向を示し、AI企業がそれに従うとしています。

よくある質問

このトピックの最新ニュースを見る

• AIニュース