Cloudflare, AI Gateway 통해 Web Search API 출시… 검색 파트너에 크롤러 규범 준수 요구

Cloudflare가 발표한 내용

Cloudflare는 2026년 10월 2일 공식 블로그를 통해 자사 AI Gateway로 Web Search API를 출시한다고 발표했다. AI Gateway는 Cloudflare가 AI 애플리케이션용으로 제공하는 관리 플랫폼으로, 로그 관측, 통합 과금, 보안 및 접근 제어 등의 기능을 갖추고 있다. 글은 Michelle Chen, Sam Else, Gabriel Massadas가 작성했으며, 회사의 Birthday Week 시리즈 발표 중 하나다. Cloudflare는 첫 웹 검색 제공업체 파트너로 Ceramic.ai, Exa, Linkup을 꼽았다.

AI 에이전트란 사용자를 대신해 작업을 수행하는 AI 프로그램이다. Cloudflare의 설명에 따르면 AI 에이전트가 실시간 웹페이지를 읽어야 할 때는 흔히 URL을 추측해 바로 가져오는데, 추측이 틀리면 404 Not Found 오류(페이지를 찾을 수 없음)가 발생한다. 회사는 또한 모델이 보통 학습 후 특정 시점에 고정되어 지식 기준일 이전의 정보만 활용할 수 있다고 지적했다. Cloudflare는 웹 검색을 통해 에이전트가 사람처럼 먼저 검색한 뒤 실시간 정보를 근거로 답변할 수 있다고 밝혔다.

크롤러 규범: 이번 발표의 핵심

크롤러는 웹페이지 콘텐츠를 자동으로 읽어 들이는 프로그램이다. Cloudflare에 따르면 파트너사들은 Cloudflare의 크롤러 기준을 충족하겠다고 약속했다. 구체적으로는 두 가지 요건이 있다. 첫째, 검색 제공업체가 사용하는 크롤러는 Cloudflare 개발자 문서에 공개된 'Verified bots'(검증된 봇) 요건을 충족해야 한다. 둘째, 검색 결과에는 크롤링한 콘텐츠가 있는 위치의 링크를 첨부해야 한다. Cloudflare는 이들 제공업체가 자사 크롤러를 식별하고, robots.txt를 준수하며, 검색 결과의 출처를 제공할 것이라고 밝혔다.

일반 독자와 웹사이트 운영자에게 이는 이 플랫폼에서 Cloudflare의 설계대로라면 AI 도구가 웹 콘텐츠를 인용할 때 출처가 표시된다는 의미다. 웹사이트도 robots.txt를 통해 크롤링 허용 여부를 표현할 수 있다. 다만 이러한 약속이 실제로 지켜지는지에 대해서는 현재 Cloudflare의 일방적인 설명만 있을 뿐이다.

개발자 활용 방법

Cloudflare에 따르면 웹 검색 요청은 AI Gateway의 일반 관측 로그에 표시되고, 조회 비용은 AI Gateway 크레딧에서 차감되며, 관리자는 누가 어떤 검색 제공업체를 사용할 수 있는지 제어할 수 있다. 회사는 제로 데이터 보존(ZDR), 즉 사용자 데이터를 보관하지 않는 파트너를 별도로 표시하겠다고 밝혔다. 웹 검색은 파트너의 공개 API 요금으로 제공되며 추가 비용은 붙지 않는다. Cloudflare는 또한 자체 키 사용(BYOK)을 지원해 팀이 기존 제공업체 계정 설정을 그대로 활용할 수 있도록 했다.

일반 독자에게 미치는 영향

• AI 어시스턴트가 이런 검색 서비스를 채택하면 최근 사건에 답할 때 학습 데이터에만 의존하지 않고 실시간 정보를 근거로 삼을 수 있다.
• Cloudflare의 규범에 따라 검색 결과에는 출처 링크가 첨부되므로, 독자가 원문을 다시 확인하기가 쉬워진다.
• 웹사이트 운영자는 robots.txt로 선호를 표현할 수 있으며, Cloudflare는 파트너사가 이를 준수할 것이라고 밝혔다.

이 주제의 최신 뉴스 보기

• 테크 뉴스