오픈AI·구글·MS, robots.txt 한 줄로 AI 학습 거부 공동 지원

오픈AI·구글·마이크로소프트(MS)가 10월 30일(현지시간) 웹사이트가 robots.txt 파일에 한 줄만 적으면 세 회사 모두에 자사 콘텐츠를 AI 학습에 쓰지 말라는 뜻을 전할 수 있는 공통 신호 __usage_ai-training을 따르겠다고 밝혔다. 이 제안을 쓴 엔지니어가 속한 앤트로픽은 이미 적용을 시작했다고 더버지가 전했다.

핵심 정리

• 회사마다 다른 학습용 크롤러 이름을 하나씩 막던 방식을 토큰 하나로 대신한다.
• MS는 2027년 2월 1일부터, 구글은 2027년 중, 오픈AI는 "앞으로 몇 달 안에" 적용한다.
• 강제 차단이 아닌 '의사 표시'다. 공식 지위가 없는 IETF 개인 초안에 기반하며, 규칙을 무시하는 수집기는 막지 못한다.

robots.txt AI 학습 거부 토큰, 어떻게 쓰나

규칙은 인터넷 표준화기구 IETF에 올라온 초안 '기계 판독용 학습 선호 신호(Machine-Readable Training Preference Signal)'에 담겼다. 앤트로픽의 케빈 켈리가 작성했고 날짜는 2026년 10월 30일이다. 기존 robots.txt 그룹의 크롤러 이름 자리에 토큰을 넣는 방식이다.

사이트가 User-Agent: __usage_ai-training 아래 Disallow: /를 적으면 사이트 전체를 AI 학습에 쓰지 말라는 뜻이 된다. Allow 줄로 보도자료 폴더 같은 예외를 둘 수 있다. 토큰을 적은 그룹이 없으면 의사 표시가 없는 것으로 보며, User-Agent: * 그룹은 여기에 해당하지 않는다.

이 토큰은 용도를 정할 뿐 수집 자체를 막지 않는다.

MS·구글·오픈AI 적용 일정

크리슈나 마드하반 빙 수석 제품관리자는 10월 30일 블로그에서 2027년 2월 1일부터 크롤링 과정에서 새 설정을 따르겠다고 밝혔다. 2027년 3월 1일 이후에는 기존 NoArchive·NoCache 태그를 학습이나 AI 답변 신호로 읽지 않는다.

MS는 실시간 AI 답변에 콘텐츠를 활용하는 '그라운딩'에 대해 페이지 단위 설정(Allow·DisallowExtended·Disallow)도 따로 만들었다. 아무것도 적지 않으면 학습과 그라운딩 모두 허용으로 간주한다. 블로그는 "그라운딩 선호를 표시하지 않으면 콘텐츠가 생성 응답에 활용될 수 있다"고 적었다.

구글의 존 뮬러는 "다른 AI 기업과 함께 2027년에 이 새 설정을 지원하는 것이 목표이며 진행 상황을 알리겠다"고 썼다고 서치엔진라운드테이블이 전했다. 구글은 사이트가 Google-Extended를 따로 지정하지 않았다면 이 토큰의 거부를 Google-Extended 차단으로 처리한다. 오픈AI는 앞으로 몇 달 안에 적용하겠다는 입장이다.

공통 AI 학습 거부 신호가 왜 중요한가

지금까지 사이트 운영자는 늘어나는 회사별 수집 봇 목록을 일일이 챙겨야 했다. 클라우드플레어가 크롤러 책임성을 요구해 온 흐름과도 맞닿아 있다.

한계도 분명하다. 초안은 IETF 표준 절차에서 공식 지위가 없다고 스스로 밝히고, 개별 계약이 이 신호보다 우선할 수 있다고 적었다. 이미 학습된 모델에서 데이터를 지우지 않으며 준수 여부는 각 회사의 자율에 맡겨진다.

전망

초안은 개정되지 않으면 2027년 5월 3일 효력을 잃고, 논의는 IETF의 AI 선호 메일링 리스트에서 이어진다. MS는 기존 태그를 쓰는 사이트를 위해 12월 15일 빙 웹마스터 도구에 임시 그라운딩 설정을 연다. 다른 크롤러 운영사의 동참 여부가 관건이다.

자주 묻는 질문

AI 학습을 거부하면 검색에서 빠지나?
아니다. 토큰은 학습 용도만 다룬다. MS는 그라운딩 설정이 일반 빙 검색 노출 자격에는 영향을 주지 않는다고 밝혔다.

Google-Extended나 GPTBot 규칙은 계속 필요한가?
기존 설정도 그대로 작동한다. 구글은 회사별 설정이 "새 공동 신호와 함께 계속 작동한다"고 밝혔다.

이미 학습된 모델에서 내 콘텐츠가 지워지나?
아니다. 앞으로의 활용에 대한 의사 표시일 뿐 기존 모델을 바꾸지 않는다.

참고 자료

• Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) — IETF Datatracker(2026년 10월 30일)
• Your content, your choice: clearer preferences for training and grounding — Microsoft Bing Blogs(2026년 10월 30일)
• Supporting a shared AI training control for websites — Google Search Central Blog(2026년 10월)