Apple、Google、MicrosoftがCloudflareのクローラー規約を受け入れ

インターネット最大級のクローラー運営企業3社が、ネットワーク事業者の書いた条件を受け入れました。Cloudflareは9月15日、Apple、Google、Microsoftが同社の言う「Accountable（説明責任を果たす）」という区分の要件を満たした、あるいは満たす時期を確約したと発表しました。あわせて、検索から外れることなくAI学習だけを拒否できる設定を提供し始めています。

要点

• Cloudflareを利用するサイトの17%はすでにAI学習をブロックしている一方、検索をブロックしているサイトは1%に届きません。混在型クローラーのせいで手を付けられなかった開きです。
• Accountableの認定には、学習と要約それぞれのオプトアウト手段、どのURLが使われたかを示すURL単位のレポート、そして学習を拒否しても検索順位が動かないという保証が求められます。
• Microsoftのrobots.txt対応は2027年初頭の予定で、それまで新しい設定はBingに対して何も伝えません。

混在型クローラーが生んだジレンマ

混在型クローラーはページを一度取得し、それを二つの目的に使います。検索インデックスの構築と、モデルの学習です。パブリッシャーにはこの二つを切り分ける手段がありませんでした。学習からコンテンツを守るためにクローラーを締め出せば、検索結果からもページが消えます。広告や購読で成り立つ事業にとっては、そちらのほうがはるかに高くつく取引でした。

数字を見れば、好みがどれほど偏っているかがわかります。検索を断る事業者はほとんどいない一方、およそ6サイトに1サイトが学習を止める手段に手を伸ばしてきました。Cloudflareの新しい選択肢「Disallow AI Training」は、Bot Preference Syncを通じてrobots.txtに学習禁止の指示を書き込みつつ、Applebot、Bingbot、Googlebotによるインデックス作成はそのまま許可します。

ファイルだけでは決着しない理由

指示を掲示することと、それが守られることは別の話です。robots.txtは誰がページを取得しているかを特定できず、目的も判別できず、無視して進むクローラーを止めることもできません。オリジンの手前に位置するCloudflareはその三つをいずれも実行でき、各事業者が実際にどう振る舞ったかを自社のRadarサービスで公開します。この区分が頼りにしている強制力はそこにあります。

学習専用クローラーは、そもそも難しい問題ではありませんでした。Amazon、Anthropic、Meta、OpenAIは検索用と学習用のボットを分けて運用しているため、学習用だけを止めても見つけてもらう機会は失われません。これらの事業者もAccountableに数えられています。

各社の現在地

GoogleはGoogle-Extendedに対するDisallowを尊重し、ウェブマスター向けポータルで生成系の結果に関する切り替えを提供し、URL単位の透明性ツールも数週間のうちに出すとしています。AppleはApplebot-Extendedに従い、要約についてはnosnippetを読み取りますが、確認用のツールはまだなく、来年の公開を目指して開発中のものをCloudflareに見せました。両社とも、学習を拒否しても検索順位には影響しないと明言しています。

穴になっているのはMicrosoftです。Bingが現在受け付けるのはNOARCHIVEメタタグまでで、学習拒否の意思表示をrobots.txtで扱う機能は2027年初頭が目標です。それより前にBingの学習から外れ��いサイト運営者は、NOARCHIVEかコンテンツ削除ツールを使うよう案内されています。

次の論点は学習ではなく要約

Cloudflareは二つの問いを意図的に分けています。学習はコンテンツからモデルを作ってよいかを問うものですが、要約はそもそもサイトに人が来るかどうかを左右します。同社の数字がその緊張をはっきり示しています。消費者の半数以上が検索の要約を読み、その読者はその後に検索をやめる確率が40%以上高くなります。一方で、AI検索を経由して実際に訪れた人のコンバージョン率は、通常の検索流入の3〜5倍にのぼります。

サイト全体でイエスかノーかを選ぶやり方は、このトレードオフを扱うには大雑把すぎます。そこで来年初頭の目標として掲げられているのが、要約がコンテンツをどこまで参照してよいかを調整する仕組みです。事業者ごとに設定するのではなくネットワーク側で一度だけ指定し、標準になりつつあるai-prefsでその意思を表現します。

ウェブは人間のトラフィックではなくエージェントのトラフィックを前提に作り直すべきだと主張してきたCloudflareにとって、Apple、Google、Microsoftが署名するルールを自ら書くことのほうが息の長い勝利です。これらの制御機能は本日からすべてのプランで利用できます。

よくある質問

AI学習を拒否すると、自分のサイトはGoogle検索から消えますか

消えません。GooglebotやApplebotのようなAccountableな混在型クローラーは、新しい設定のもとでも検索のためのクロールを続けます。GoogleとAppleはいずれも、学習のオプトアウトが検索順位に影響しないと表明しています。ただし「Block」を選んだ場合は、検索を含めてそれらのクローラーが完全に遮断されます。

Disallow AI Trainingはどのクローラーを止めますか

Accountableな混在型クローラーを除く、すべての学習クローラーを止めます。Amazon、Anthropic、Meta、OpenAIが運用する学習専用のボットもここに含まれます。4社ともインデックス用のクローラーを別に持っているため、遮断しても検索面での不利益はありません。

無料プランでも使えますか

使えます。Cloudflareは、すべてのプランのすべての顧客にこの制御機能を提供し、ドメインごとにセキュリティ設定で構成すると説明しています。9月15日以降に登録されたドメインには、広告を配信するかどうかによって異なるプリセットが提示されます。