인터넷 최대 크롤러 사업자 세 곳이 네트워크 제공업체가 작성한 조건을 받아들였다. 클라우드플레어는 9월 15일 애플과 구글, 마이크로소프트가 자사가 '책임 있는(Accountable)' 등급으로 부르는 기준을 충족했거나 충족 시점을 확약했다고 밝혔다. 동시에 사이트가 검색 노출을 포기하지 않고도 AI 학습만 거부할 수 있는 설정을 내놨다.
핵심 요약
- 클라우드플레어 고객 사이트의 17%는 이미 AI 학습을 차단하지만 검색을 차단한 곳은 1%에 못 미친다. 혼합 용도 크롤러 탓에 손대기 어려웠던 간극이다.
- '책임 있는' 등급을 받으려면 학습과 요약 각각에 대한 거부 수단, 어떤 URL이 쓰였는지 알리는 보고 기능, 학습을 거부해도 검색 순위가 흔들리지 않는다는 보장이 필요하다.
- 마이크로소프트의 robots.txt 지원은 2027년 초로 예정돼 있어, 그때까지 새 설정은 빙에 아무 의미가 없다.
혼합 용도 크롤러가 만든 딜레마
혼합 용도 크롤러는 페이지를 한 번 가져와 두 가지 용도에 쓴다. 검색 색인을 만들고, 동시에 모델을 학습시킨다. 발행사는 이 둘을 갈라낼 방법이 없었다. 학습에서 콘텐츠를 지키려고 크롤러를 막으면 검색 결과에서도 페이지가 사라졌고, 광고나 구독으로 먹고사는 사업자에게는 그쪽이 훨씬 비싼 대가였다.
선호가 얼마나 한쪽으로 쏠려 있는지는 수치가 말해준다. 검색을 마다하는 곳은 거의 없는 반면, 여섯 곳 중 한 곳꼴로 학습을 막을 수단을 찾아 나섰다. 클라우드플레어가 새로 내놓은 'Disallow AI Training' 옵션은 Bot Preference Sync를 통해 robots.txt에 학습 금지 지시문을 기록하면서도 Applebot과 Bingbot, Googlebot의 색인 수집은 그대로 열어둔다.
파일 하나로는 끝나지 않는 이유
지시문을 게시하는 것과 그것이 지켜지는 것은 별개다. robots.txt는 누가 페이지를 가져가는지 식별하지 못하고, 목적을 판별하지도 못하며, 무시하고 지나가는 크롤러를 막지도 못한다. 원서버 앞단에 자리한 클라우드플레어는 세 가지를 모두 할 수 있고, 각 사업자가 실제로 어떻게 행동했는지를 자사 Radar 서비스에 공개한다. 이 등급제가 기대는 강제력이 바로 여기에 있다.
학습 전용 크롤러는 애초에 어려운 문제가 아니었다. 아마존과 앤스로픽, 메타, OpenAI는 검색용과 학습용 봇을 따로 운영하기 때문에 학습용만 막아도 노출에는 손해가 없다. 이들 역시 '책임 있는' 사업자로 분류됐다.
사업자별 현재 위치
구글은 Google-Extended에 걸린 Disallow를 존중하고, 웹마스터 포털에서 생성형 결과 노출을 켜고 끌 수 있게 했으며, URL 단위 투명성 도구도 몇 주 안에 내놓겠다고 밝혔다. 애플은 Applebot-Extended를 따르고 요약에는 nosnippet을 읽지만 아직 확인 도구가 없고, 내년 공개를 목표로 개발 중인 버전을 클라우드플레어에 보여줬다. 두 회사 모두 학습을 거부해도 검색 순위에는 영향이 없다고 못 박았다.
구멍은 마이크로소프트다. 빙은 현재 NOARCHIVE 메타 태그를 인식하는 수준이고, 학습 거부 의사를 robots.txt로 처리하는 기능은 2027년 초가 목표다. 그전에 빙의 학습에서 빠지고 싶은 사이트 운영자는 NOARCHIVE나 콘텐츠 삭제 도구를 써야 한다.
다음 쟁점은 학습이 아니라 요약이다
클라우드플레어는 두 문제를 의도적으로 갈라놓는다. 학습은 콘텐츠로 모델을 만들어도 되는지를 묻지만, 요약은 사이트�� 사람이 오느냐 마느냐를 가른다. 자체 수치가 그 긴장을 그대로 보여준다. 소비자 절반 이상이 검색 요약을 읽고, 그 독자들이 이후 검색을 멈출 확률은 40% 이상 높다. 반면 AI 검색을 거쳐 실제로 방문한 이용자의 전환율은 일반 검색 유입의 3~5배에 이른다.
사이트 전체를 놓고 예 아니오만 고르는 방식으로는 이 균형을 다룰 수 없다. 그래서 내년 초 목표로 내건 것이 요약이 콘텐츠를 어느 정도까지 끌어다 쓸 수 있는지를 조절하는 기능이다. 사업자마다 따로 설정하는 대신 네트워크에서 한 번에 지정하고, 표준으로 자리 잡아가는 ai-prefs로 그 의사를 표현한다.
웹을 사람 트래픽이 아니라 에이전트 트래픽 중심으로 다시 지어야 한다고 주장해온 클라우드플레어로서는, 애플과 구글, 마이크로소프트가 서명하는 규칙을 직접 쓰는 쪽이 더 오래 가는 성과다. 해당 제어 기능은 오늘부터 모든 요금제에서 쓸 수 있다.
자주 묻는 질문
AI 학습을 거부하면 구글 검색에서 사이트가 빠지나
빠지지 않는다. Googlebot과 Applebot 같은 '책임 있는' 혼합 용도 크롤러는 새 설정에서도 검색을 위한 수집을 계속하며, 구글과 애플 모두 학습 거부가 검색 순위에 영향을 주지 않는다고 밝혔다. 다만 'Block'을 고르면 검색을 포함해 해당 크롤러가 완전히 차단된다.
Disallow AI Training은 어떤 크롤러를 막나
'책임 있는' 혼합 용도 크롤러를 제외한 모든 학습 크롤러를 막는다. 아마존과 앤스로픽, 메타, OpenAI가 운영하는 학습 전용 봇이 여기 포함된다. 네 회사 모두 색인용 크롤러를 따로 두고 있어 차단해도 검색상 불이익은 없다.
무료 요금제에서도 쓸 수 있나
쓸 수 있다. 클라우드플레어는 모든 요금제의 모든 고객에게 이 제어 기능을 제공하며, 도메인별로 보안 설정에서 지정한다고 밝혔다. 9월 15일 이후 등록된 도메인에는 광고 게재 여부에 따라 서로 다른 기본 설정이 제안된다.
