OpenAI·Google·Microsoft·Anthropic, 공통 표준 도입 추진… 웹사이트가 여러 AI 크롤링을 한 번에 거부 가능

무슨 일이 있었나

The Verge는 2026년 10월 30일 보도에서 OpenAI, Google, Microsoft, Anthropic이 출판사가 AI 크롤링을 거부할 수 있는 새 표준을 도입하겠다고 밝혔다고 전했다. 즉 AI 기업의 자동 프로그램(크롤러)이 웹사이트 콘텐츠를 수집하지 못하게 할 수 있다. The Verge는 Search Engine Roundtable이 이 소식을 먼저 보도했다고 밝혔다.

The Verge에 따르면 출판사는 이를 통해 콘텐츠를 AI 모델 학습에 쓸 수 있는지 여부를 기업별로 하나하나 설정하지 않고 여러 AI 기업에 한 번에 적용할 수 있다. 현재 웹사이트는 이런 의사를 AI 기업별로 따로 알려야 한다.

'policy token'은 어떻게 작동하나

'policy token'은 웹사이트가 AI 크롤러에 보여 주는 공통 표지로 이해할 수 있다. The Verge는 이 신호를 Anthropic의 표준 기술 책임자 Kevin Kelley가 인터넷 표준화 기구 Internet Engineering Task Force(IETF)에 제안했다고 보도했다.

The Verge 설명에 따르면 이 신호는 웹사이트의 robots.txt 파일에 들어간다. robots.txt는 오래전부터 어떤 웹 크롤러가 사이트를 수집할 수 있고 없는지 표시하는 데 쓰였으며, 용도는 검색 색인, 아카이브, AI 학습 등을 아우른다.

The Verge는 OpenAI, Google, Microsoft, Anthropic 모두 이 공통 신호를 만나면 자사 AI 크롤러의 해당 사이트 접근을 제한하겠다고 밝혔다고 전했다.

회사별 일정과 차이

The Verge에 따르면 Microsoft는 출판사가 AI 학습 또는 AI grounding을 거부할 수 있는 더 세밀한 제어를 제공할 예정이다. The Verge는 AI grounding을 AI 모델이 검증된 정보 출처를 참조해 '환각'(AI가 허위 내용을 생성하는 현상)을 줄이는 방식으로 설명했다. Microsoft는 또한 설정 내용과 관계없이 웹사이트가 Bing 검색 결과에는 계속 나타난다고 밝혔다.

웹사이트 운영자에게 의미하는 것

The Verge는 출판사들이 AI 크롤러가 웹사이트 콘텐츠를 대량으로 계속 수집해 AI 모델에 사용하는 상황에 직면해 있다고 지적했다. 보도에 따르면 새 신호를 통해 웹사이트 관리자는 콘텐츠의 AI 학습 허용 여부를 회사별 설정 없이 여러 회사에 한 번에 적용할 수 있다.

The Verge는 무단 크롤링에 맞서는 다른 방식도 언급했다. 예를 들어 Really Simple Licensing(RSL) 표준은 출판사가 방문 크롤러에 요금을 부과할 수 있게 하고, Cloudflare는 AI 크롤러를 기본적으로 차단한다. 새 신호는 또 다른 선택지로, 웹사이트가 의사를 표시하고 AI 기업이 이를 따르겠다고 밝힌 방식이다.

자주 묻는 질문

이 주제의 최신 뉴스 보기

• AI 뉴스