OpenAI・グーグル・MS、robots.txt1行でAI学習拒否に共同対応

OpenAI、グーグル、マイクロソフトの3社は10月30日（米国時間）、ウェブサイトがrobots.txtに1行書くだけで自社コンテンツのAI学習利用を各社まとめて拒否できる共通トークン__usage_ai-trainingに対応すると表明した。米The Vergeによると、提案を執筆した技術者が所属するアンソロピックはすでに対応を始めている。

要点

• 企業ごとに異なる学習用クローラー名を個別にブロックする手間が、1つのトークンで済むようになる。
• マイクロソフトは2027年2月1日から、グーグルは2027年中、OpenAIは「今後数カ月以内」に対応する。
• 強制的な遮断ではなく「意思表示」にとどまる。正式な位置付けのないIETFの個人ドラフトに基づき、ルールを無視する収集者は止められない。

robots.txtのAI学習拒否トークンの仕組み

ルールは、インターネット技術の標準化団体IETFに提出されたドラフト「Machine-Readable Training Preference Signal（機械可読な学習選好シグナル）」で定められている。執筆者はアンソロピックのケビン・ケリー氏で、日付は2026年10月30日だ。新たな文法は作らず、既存のrobots.txtのグループでクローラー名の位置にトークンを置く方式である。

User-Agent: __usage_ai-trainingの下にDisallow: /と書けば、サイト全体をAI学習に使わないでほしいという意思表示になる。Allow行でプレスキット用フォルダーなどの例外も設けられる。トークンを記したグループがなければ意思表示はないものとみなされ、全ボットを対象とするUser-Agent: *のグループは適用されない。

このトークンが決めるのは用途であり、クロール自体を止めるものではない。検索インデックス用の巡回は続き得る。

マイクロソフト・グーグル・OpenAIの対応時期

最も具体的な日程を示したのはマイクロソフトだ。Bingのプリンシパル・プロダクトマネージャー、クリシュナ・マドハヴァン氏は10月30日のブログで、2027年2月1日からクロール時に新しい設定に従うと説明した。2027年3月1日以降は、従来のNoArchive・NoCacheタグを学習やAI回答のシグナルとして読み取らなくなる。

同社は、ライブのAI回答にコンテンツを使う「グラウンディング」についても、ページ単位の設定（Allow、DisallowExtended、Disallow）を別途設けた。何も記載がなければ学習・グラウンディングとも許可扱いとなる。ブログは「グラウンディングの選好が示されていない場合、コンテンツは生成される回答に利用される可能性がある」と記している。

米Search Engine Roundtableによると、グーグルのジョン・ミューラー氏は「他のAI事業者とともに2027年にこの新しい仕組みに対応することを目指し、進捗を知らせる」と書いた。サイトがGoogle-Extendedを個別に指定していなければ、このトークンによる拒否をGoogle-Extendedのブロックとして扱う。OpenAIは今後数カ月以内に実装する方針だ。

共通のAI学習オプトアウトが持つ意味

これまでサイト運営者は、増え続ける企業別の収集ボットを一つずつ把握する必要があった。1行のルールは特に小規模サイトの負担を減らす。クローラーの説明責任を求めてきたクラウドフレアの動きとも重なる。

ただし限界は大きい。ドラフト自身がIETFの標準化プロセスで正式な位置付けを持たないと明記し、個別契約がこのシグナルに優先し得るとしている。学習済みモデルからデータを消すものではなく、順守は各社の自主性に委ねられる。

今後の焦点

ドラフトは改訂されなければ2027年5月3日に失効し、議論はIETFのAI選好に関するメーリングリストで続く。マイクロソフトは旧タグを使うサイト向けに、12月15日からBing Webmasterツールで一時的なグラウンディング設定を提供する。他のクローラー運営企業が追随するかが次の焦点となる。

よくある質問

AI学習を拒否すると検索結果から外れるのか。
外れない。トークンが扱うのは学習用途のみである。マイクロソフトは、グラウンディングの設定が通常のBing検索への掲載資格に影響しないとしている。

Google-ExtendedやGPTBotの設定は引き続き必要か。
既存の設定もそのまま機能する。グーグルは企業別の設定が「新しい共同シグナルとともに引き続き機能する」と説明している。

学習済みモデルから自分のコンテンツは削除されるのか。
削除されない。今後の利用に関する意思表示であり、既存のモデルは変わらない。

参考資料

• Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00) — IETF Datatracker（2026年10月30日）
• Your content, your choice: clearer preferences for training and grounding — Microsoft Bing Blogs（2026年10月30日）
• Supporting a shared AI training control for websites — Google Search Central Blog（2026年10月）