はじめに

AIクローラーに関する記事はどれも、同じ過ちについて警告しています。「2023年のスクレイピング騒動の際にGPTBotをブロックした結果、ライブ回答で引用するためにページを取得する新しいエージェントまで誤ってブロックしてしまった」という警告です。本来はトレーニング用のスクレイパーを阻止するつもりだったのに、知らず知らずのうちに推薦対象から外れてしまったのです。

実際にそのような事態が起きているかどうかを調査しました。

219のドメインを調査した結果、そのような事例はゼロ件でした。

「まれに」でもなく、「数件」でもなく、たった1回もなかったのです。

方法

SaaS、eコマース、金融、健康、旅行、住宅、マーケティングの7つのカテゴリーにわたる26の商用クエリについて、オーガニック検索結果の上位20件を抽出しました。これにより、254のユニークなドメインが得られました。2026年7月28日に各ドメインのrobots.txtを取得し、そのうち219件が解決されました。そのうち7件はrobots.txtを一切提供しておらず、これはすべてを許可しているとみなされます。

各ドメインについて、標準的な優先順位ルール（最も具体的なUser-agentグループが優先され、完全一致するエージェントが「*」より優先される）に基づき、すべてのAIユーザーエージェントをファイルに対して照合しました。勝者となるグループが、より具体的な許可設定がない限りサイトルートへのアクセスを拒否する場合、そのドメインは当該エージェントをブロックしているとみなされます。

12種類のエージェントがチェックされ、配信内容別に分類された。

エージェント	オペレーター	フィード
GPTBot	OpenAI	トレーニング
OAI-SearchBot	OpenAI	ChatGPTの検索引用
ClaudeBot	Anthropic	トレーニング
Claude-SearchBot	Anthropic	Claudeの検索引用
PerplexityBot	Perplexity	回答
DuckAssistBot	DuckDuckGo	answers
Amazonbot	Amazon	answers
CCBot	Common Crawl	多くのモデルが参照するコーパス
Google-Extended	Google	Geminiのトレーニング用（検索用ではない）
Applebot-Extended	Apple	トレーニング
Bytespider	ByteDance	トレーニング
メタ外部エージェント	Meta	トレーニング

結果

これらのドメインの77％は、すべてのAIエージェントを許可しています。23％は、少なくとも1つをブロックしています。

エージェント	ブロック済み	それを明示的に指定しているドメイン
Bytespider	20%	45
CCBot	20%	47
ClaudeBot	17%	50
Google-Extended	16%	46
メタ外部エージェント	16%	38
PerplexityBot	15%	44
GPTBot	14%	53
Applebot-Extended	14%	39
Amazonbot	13%	39
Claude-SearchBot	10%	22
DuckAssistBot	10%	24
OAI-SearchBot	9%	34

最もブロックされなかったエージェントは、ChatGPTが引用するためにページを取得するものです。最も頻繁にブロックされたエージェントは、トレーニング用コーパスをスクレイピングするものです。

この順位は偶然ではなく、これが調査の全結果である。

誰も間違いを犯しているわけではない。誰もが判断を下しているのだ

トレーニング用クローラーと検索用クローラーの両方を運用している2つの事業者を例に挙げてみましょう。

	両方をブロック	トレーニングをブロック、検索を許可	検索をブロックし、トレーニングを許可
OpenAI、GPTBot / OAI-SearchBot	9%	5%	0%
Anthropic、ClaudeBot / Claude-SearchBot	10%	7%	0%

12のドメインがGPTBotをブロックしつつ、意図的にOAI-SearchBotを許可している。15のドメインがAnthropicに対して同様の対応をとっている。これは一貫した方針だ。「私のコンテンツで学習はしないでほしいが、引用はして構わない」というものである。

その逆を行っているドメインは一つもない。

さらに2つの数値が同じことを示唆している。サンプル全体で、User-agent: * による包括的な拒否設定を行っているドメインはわずか4つであり、AIエージェントを明示的に指定せずにAIエージェントをブロックしているのは、正確に1つだけである。これらのファイルを編集する者は、どのエージェントが存在し、それぞれが何を行うかを把握している。

したがって、業界からの警告は、このサンプルにおいては存在しない問題を取り上げていることになる。興味深い問いは、検索エージェントを誤ってブロックしたかどうかではない。意図的にブロックしたかどうかである。

というのも、これらのドメインの18％が少なくとも1つの検索エージェントをブロックしており、4％が4つすべてをブロックしているからです。これらのサイトはAIの回答に表示されることを拒否しており、この証拠から判断すると、それは意図的な行為だったと言えます。

今すぐ修正するための5つの方法

1. トレーニングと検索は、2つの別々の問題として扱ってください。これらは異なる判断事項であり、市場ではすでに区別されています。ほとんどのパブリッシャーは、前者を伴わない後者を求めています。「AIクローラー」を1つのカテゴリーとして扱うのではなく、そのようにファイルを作成してください。

2. すべてのエージェントを明示的に指定してください。ここでワイルドカードに依存しているのは4つのドメインのみですが、それには正当な理由があります。単に「User-agent: * disallow」と記述すると、記述時点では存在しなかったエージェントや、まだ存在しないエージェントまでブロックしてしまうからです。この結果で最も多くブロックされているエージェントのうち2つ、Bytespiderとmeta-externalagentは、現在も広く流通しているrobots.txtに関するアドバイスの大部分が策定された後に登場したものです。

3. OAI-SearchBotとClaude-SearchBotを名前でチェックしてください。これら2つは、あなたのサイトが引用されるかどうかを決定します。サンプルの9％と10％がこれらをブロックしています。もしあなたがそのグループに含まれており、意図していなかった場合は、この行を変更する必要があります。また、これはこのリストの中で唯一、即座に可視性のコストが発生する項目です。

4. 四半期ごとに再監査を行ってください。過去1年間で新しいエージェントが何度か登場しています。18ヶ月前に作成されたファイルは、当時どれほど注意深く作成されたものであっても、記載漏れが生じている可能性があります。

5. ファイル内だけでなく、エッジ側でも確認してください。CDNのボット管理ルールにより、robots.txtで明示的に許可されているエージェントがブロックされることがあり、その場合、ファイルからはその事実が全く読み取れません。これは、完璧なrobots.txtであっても見逃されてしまう不具合です。

この2つの判断を区別するための出発点：

# 引用用。これらはライブ回答で引用するためにページを取得します。
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Ranktrackerの紹介
効果的なSEOのためのオールインワン・プラットフォーム
ビジネスが成功する背景には、強力なSEOキャンペーンがあります。しかし、数え切れないほどの最適化ツールやテクニックがあるため、どこから手をつければいいのかわからないこともあります。でも、もう心配はありません。効果的なSEOのためのオールインワンプラットフォーム「Ranktracker」を紹介します。
Ranktrackerの登録がついに無料になりました。
無料アカウント作成
または認証情報を使ってサインインする
User-agent: DuckAssistBot
Allow: /
学習用として使用しないでください。これに同意しない場合は、これらを「Allow」に変更してください。
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /

これは、このサンプルに含まれる12～15のドメインがすでに採用している設定に近いものです。これはもはや「巧妙な」対策というよりは、主流の姿勢となっています。

なぜ、あなたがすでに実行しているレポートにこれらが一切表示されないのか

Search ConsoleはGooglebotについて報告します。OAI-SearchBotについては何も言及していません。Analyticsはセッション数を報告しますが、あなたのサイトを引用することのない検索エンジンはセッションを送ってこないため、欠落していることにもなりません。順位追跡ツールは順位を報告しますが、あなたの順位はこれらによって影響を受けません。

これを把握するには2つの方法があります。本調査で行ったように、ファイルを直接読み取る方法。あるいは、AI可視性チェッカーを用いて症状から逆算する方法です。これは、定期的に各検索エンジンにあなたのカテゴリーに関する質問を投げかけ、サイトが全く認識されていないという回答がないかを確認するものです。

本調査の基盤となっているクローラー監査は、Honeybで実施しているもので、上記のカタログに記載された各エージェント名を、単発ではなく定期的にサイトのrobots.txtルールと照合して確認します。アクセス可否は、チェック項目4つのうち最初のものです。他の3つは、検索エンジンがサイトを推奨しているかどうか、具体的に何を変更すべきか、そして変更後のコンテンツを作成・配信することです。

言及すべき2つの制限

このサンプルは米国の商用検索結果ページ（SERP）であるため、知名度が高く、法的アドバイスも受けられる大手パブリッシャーや確立されたブランドに偏っています。こうした企業は、この問題について熟考した上で判断を下すことができます。中小企業のサイトをサンプルとした場合、結果は大きく異なる可能性が高く、そこで「意図せずブロックしてしまう」という話は現実のものとなるでしょう。次回はそうしたサイトを対象に調査を行う予定です。

また、robots.txtファイルは意図を記録するものであり、強制力を持つものではありません。これらのドメインが実際に各エージェントにコンテンツを提供しているかどうかはテストしていません。これはCDNのルールが適用される領域であり、ファイルの内容と現実との間に乖離が生じやすい部分です。

本調査の基盤となっているプラットフォームはhoneyb.ai です。