AIクローラーのブロック実態:チェコ主要サイト調査

チェコの主要サイトとECサイトのうち、ChatGPTやClaude、Perplexityを拒否している数を調査しました。多くのブロックはrobots.txtに現れず、ファイアウォールやプラットフォームが左右しています。

2つの壁ブロックの間でバーが下りたオレンジ色の回転式改札口と、その前に一列に並ぶ5体の灰色のロボット
マーケティング読了時間:15分

チェコの主要ウェブサイトの4分の1が、少なくとも1つのAIクローラーを拒否しています。私たちが2026年11月19日に実施した調査では、.czドメイン上位1,000件のうちアクセス可能だった819サイト中208サイト(25.4%)、またECサイト1,223件中284サイト(23.2%)が該当しました。しかも、このAIクローラーのブロックはファイアウォールのみで行われていることが多く(下限推計:ChatGPTでは3分の1〜半数のケース)、robots.txtファイルには記載がありません。ChatGPTやClaude、Perplexityの回答で自社サイトに言及してもらうには、robots.txt内のAIクローラー設定を確認するだけでは不十分です。ファイアウォールやECプラットフォームの設定が左右している場合があります。

チェコのサイトはどれほどAIを拒否しているか:主要サイトの4分の1

AIクローラーがウェブサイトを取得する目的は、モデルの学習用(GPTBot、ClaudeBot)か、リンク付きの回答生成用(OAI-SearchBot、Claude-SearchBot、PerplexityBot)のいずれかです。robots.txtファイル(例:vasweb.cz/robots.txt)は入り口に掲げた公開の案内板のようなもので、行儀のよいクローラーはこれに従います。一方、ファイアウォール(レンタルサーバーやCloudflare)は門番として機能し、robots.txtに記載がなくてもクローラーを通しません。

私たちはTrancoランキングの上位1,000件の.czドメイン(ページを返した819件を割合の母数としました)と、同ランキング内の.czドメイン5,120件から抽出した1,223件のECサイトを個別に計測しました。

調査項目上位1,000件(有効819サイト)ECサイト(1,223件)
少なくとも1つのAIクローラーを拒否208 (25.4%)284 (23.2%)
robots.txtでGPTBotを禁止97 (11.8%)96 (7.8%)
ファイアウォールでGPTBotを拒否83 (10.1%)137 (11.2%)
うちrobots.txtに禁止記載なし4982
robots.txtで検索用AIクローラーを禁止41 (5.0%)27 (2.2%)
ファイアウォールで検索用AIクローラーを拒否65 (7.9%)84 (6.9%)
llms.txtファイルあり85 (10.4%)294 (24.0%)

ファイアウォールの数値はすべて下限推計です。同じ1分間に通常のブラウザと確認用リクエストの両方が通過したサイトで、明示的に拒否されたケースのみを数えています。robots.txtでGPTBotを禁止しているサイトには、たとえばidnes.cz、mapy.cz、vinted.cz、denik.cz、aktualne.cz、lidovky.cz、irozhlas.cz、hn.czなどがあります。

保護が厳重なサイトはページ自体を返さなかったため、母数である819サイトには含まれていません。ただし、上位1,000件のうち読み取り可能だった全807件のrobots.txtを見ると、127件(15.7%)がGPTBotを禁止しています。つまり保護の強いサイトほどブロックしている割合が高く、主な数値は実際より控えめに出ています。

robots.txtに現れないファイアウォールでのAIクローラーのブロック

上位1,000ドメインのうち、GPTBotを拒否しているのは(819サイト中)146サイトです。内訳はrobots.txtのみが63件、両方が34件、ファイアウォールのみが49件(34%、下限推計)でした。ECサイトでは(1,223件中)178店舗が拒否しており、そのうち82店舗(46%、下限推計)はファイアウォールのみでの拒否です。

GPTBotのブロック内訳を示す横棒グラフ(上位1,000サイトとECサイト):robots.txtのみ、両方、ファイアウォールのみ
GPTBotのブロック内訳:.czドメイン上位1,000件(146サイト)とECサイト(178店舗)。ファイアウォールは下限推計(Guap Media、2026年11月19日)。

ECサイトでは、GPTBotをrobots.txt(1,223件中96件)よりもファイアウォール(1,223件中137件、下限推計)で多くブロックしています。これまでの調査はrobots.txtしか読み取っていませんでした。なお、主要サイト819件のうち191件(23.3%)がCloudflareを経由しており、主要サイトにおけるGPTBotのファイアウォールブロック83件中55件、ECサイトでは137件中79件(いずれも下限推計)をCloudflareが占めています。残りはサーバーやホスティング側による拒否です。

さらにCloudflareは、上位1,000件中の29サイトとECサイト42件において、robots.txtへ「BEGIN Cloudflare Managed content」というブロックを自動挿入し、GPTBotを一律で禁止しています。これはゾーン設定でAIブロックが有効になっている場合に行われますが、サイト運営者が意図して有効にしたかどうかは外部からは分かりません。

ECサイトでは運営者ではなくプラットフォームが決める

ECサイトでは、AIクローラー向けのrobots.txtを運営者ではなくプラットフォーム側が決めているケースが多く見られます。Shoptetでは291店舗中259店舗にContent-Signalがあり、232店舗がAIの学習を禁止(ai-train=no)し、190店舗が正確に「search=yes, ai-train=no」と記述しています。

Cloudflareが提唱するContent-Signalは、コンテンツをAIの検索(search)、回答生成(ai-input)、学習(ai-train)に使ってよいかを示す記述です。ただしこれは意思表示にすぎず、Shoptet上でrobots.txtにてGPTBotを禁止しているのは291店舗中わずか4店舗です。Content-Signalに従うかどうかはクローラー側に委ねられています。

同様に、サイト内容をAIモデル向けに要約するllms.txtの有無もプラットフォームに左右されます。ECサイトでは1,223件中294件(24.0%)が備えているのに対し、主要サイトでは819件中85件(10.4%)にとどまります。

  • Shopify:33 / 37(89%)
  • Shoptet:86 / 291(30%)
  • 自社構築:139 / 670(21%)
  • PrestaShop:8 / 87
  • WooCommerce:7 / 48

llms.txtに導入の価値があるかどうかは、AI検索に関する記事で解説しています。

プラットフォーム別のContent-Signal記述とllms.txtファイルの導入割合を示す横棒グラフ
プラットフォーム別のECサイトにおけるrobots.txt内のContent-Signal記述とllms.txtファイルの割合(30店舗以上のプラットフォーム対象)。出典:Guap Media調査、2026年11月19日。

GPTBotを拒否するファイアウォールについても、プラットフォームやホスティング環境が影響しています(下限推計)。

  • PrestaShop:26 / 87
  • 自社構築:86 / 670
  • Shoptet:4 / 291
  • Shopify:3 / 37

レンタル型のECプラットフォームをご利用中の方は、robots.txtにどのような初期設定が入っているか確認してみてください。設定の自由度についてはECプラットフォームの比較記事でまとめています。

検索用AIクローラーの禁止はrobots.txtではまれ、ファイアウォールでは多め

ChatGPT、Claude、Perplexityの検索用クローラーをrobots.txtで禁止しているのは、主要サイト819件中わずか41件(5.0%)、ECサイト1,223件中27件(2.2%)です。しかしファイアウォールでは、少なくとも主要サイト65件(7.9%)、ECサイト84件(6.9%)がOAI-SearchBotやPerplexityBotを拒否しています。いずれも下限推計です。

各社はクローラーの役割を次のように分けています。

  • OpenAI:GPTBotは将来のモデル学習に向けたコンテンツ収集を行います。OpenAIのドキュメントによると、OAI-SearchBotを禁止するとChatGPTの検索対象から外れ、変更はおおむね24時間以内に反映されます。
  • Anthropic:ClaudeBotは学習用コンテンツを収集し、Claude-SearchBotは検索、Claude-Userはユーザー向けのページ読み込みを行います。Anthropicによると、後ろの2つを禁止すると露出が下がる可能性があります。
  • Perplexity:Perplexityによると、PerplexityBotは検索用であり、モデルの学習には使われません。

robots.txtで検索用クローラーを禁止しているのは主にニュースサイトや求人・不動産などの情報サイトで、たとえばidnes.cz、denik.cz、zive.cz、ceskenoviny.cz、sreality.czなどです。これらはいずれも各サイトのrobots.txtに公開されている記述です。

アクセス可能だった819サイトのうち、ファイアウォールで最も多く拒否されていたのはClaudeBot(92件)、次いでGPTBot(83件)、PerplexityBot(59件)、OAI-SearchBot(14件)で、いずれも下限推計です。AIクローラーを一括でブロックしてしまうと、運営者が学習だけを禁止したいつもりでも、リンク付きの回答からも除外される恐れがあります。

2024年との比較:現在のGPTBot禁止は97サイト、当時のApify調査では21サイト

現在、Trancoランキングの.czドメイン上位1,000件のうち、robots.txtでGPTBotを禁止しているのは97サイトです(アクセス可能な819件の11.8%、全体の9.7%)。2024年にはApifyがアクセス数順の別のランキングで21サイトを確認しており、Lupa.czは2024年9月2日に「わずか3パーセント」と報じました。単純な数値比では4〜5倍にあたりますが、対象サイトのリストが異なります。またApifyの調査は、現在29サイトをブロックしているCloudflareの自動管理robots.txtが登場する前に行われたものです。

Britské listyによると、Pipericは2026年7月にチェコのウェブ全体を対象にファイアウォールを除いて調査し、何らかのAIクローラーを禁止していたのは224,452サイト中2.9%、ECサイト28,103件中1.9%でした。一方、私たちの調査で主要サイトを見ると、robots.txtで学習用クローラーを少なくとも1つ禁止しているのは819サイト中152サイト(18.6%)、ECサイト1,223件中177件(14.5%)です。この2つの数値は測定している対象が異なります。

調査主体時期対象サイト測定対象結果
Apify(Lupa.czによる)2024年9月アクセス上位1,000件robots.txt21サイトでGPTBotを禁止
Piperic(Britské listyによる)2026年7月稼働中224,452件robots.txt、llms.txt2.9%がAIクローラーを禁止
Guap Media2026年11月19日上位1,000件中819件およびEC1,223件robots.txt、llms.txt、ファイアウォール97サイトでGPTBot禁止、208サイトでAIクローラー拒否

Studio Silex(2026年)の調査では14サイト中5サイトが403エラーを返しましたが、著者らはこれをAIブロックではなくIPアドレスによるクローラー検証によるものと結論づけています。私たちはそのようなケースをブロックには含めず、「判別不能」に分類しています。

自社サイトがAIクローラーを許可しているか確認する方法

自社サイトがAIクローラーを通しているかどうかは、3つのステップで数分あれば確認できます。

  1. robots.txtを確認する。vasweb.cz/robots.txtを開き、「User-agent」の項目でGPTBot、ClaudeBot、OAI-SearchBot、Claude-SearchBot、PerplexityBotの名前を探します。その下に「Disallow: /」があればサイト全体が禁止されています(「User-agent: *」に「Disallow: /」がある場合はGoogleを含むすべてのクローラーをブロックします)。「BEGIN Cloudflare Managed content」やContent-Signalの行は、外部サービスが自動追記しているケースが多く見られます。
  2. ファイアウォールを確認する。Cloudflareでは、Security → Settings → AI Crawler and Agent access policies(旧Block AI bots)に設定があります。Cloudflareのドキュメントによると、検索(Search)、エージェント(Agent)、学習(Training)ごとに個別のルールが用意されています。別のレンタルサーバーをお使いの場合は、ファイアウォールがどのAIクローラーを拒否しているか提供元へ確認してください。
  3. クローラーとしてリクエストを送る。コマンドライン(macOSならターミナル、WindowsならPowerShell)で以下の2つのコマンドを実行し、応答の1行目を「-A」オプションなしのリクエストと比較します。コード200は許可、403または401は拒否を意味します。
curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://www.vasweb.cz/
curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://www.vasweb.cz/

ドメインの移転やサーバー、プラットフォームの変更を行った後は、毎回この確認を繰り返してください。知らないうちに設定が変わってしまうのは、まさにそのタイミングです。ほかに注意すべき点は、アクセスを落とさないサイトリニューアルの記事で解説しています。

学習と検索はまったく別の選択

AIクローラーのアクセス設定は、独自コンテンツを守りたいのか、AIからの紹介・推薦を得たいのかに応じて2段階で判断してください。初期設定任せにせず、自社の意思に沿った設定にすることが大切です。

  • モデルの学習(GPTBot、ClaudeBot、CCBotなど):禁止すると、自社コンテンツを使った将来のモデル学習を防げます。OpenAIによると、GPTBotを禁止してもChatGPTでの検索には影響しません。
  • リンク付きの検索(OAI-SearchBot、Claude-SearchBot、PerplexityBot):禁止すると、これらのサービスの回答で自社サイトが検索されず、リンクも表示されなくなります。
  • ユーザーの指示による読み込み(ChatGPT-User、Claude-User、Perplexity-User):人間の指示を受けてページを開くため、各社によるとrobots.txtの対象外となる場合があります。

AIの回答に取り上げられるための対策はAI検索の記事で、基本対策は自社でできるSEO対策でまとめています。検索やAIでの露出強化については、当社のマーケティングサービスでもご支援しています。

調査方法と外部からは分からないこと

計測は2026年11月19日、プラハ市内の家庭用IPアドレスを持つ1台のコンピュータから実施しました。1サイトあたり最大8回のリクエストを1件ずつ順番に送信し、制限の回避などは一切行わず、15分弱で合計22,459件のリクエストを処理しました。

対象サイトのリスト。順位は2026年11月18日時点のTrancoリスト L5KW4(5つのデータソースの30日間平均)を使用しました。これはアクセス数ではなくドメインの人気度を測るもので、.cz上位1,000件には技術用ドメインも含まれます。1,000ドメインのうち181件はページを返さなかったため(130件はブラウザを拒否、51件は無応答)、割合の母数からは除外しています。

ECサイト。.czドメイン5,120件の中から、プラットフォームの痕跡とカート機能があるサイト、またはカート機能に加えて販売を示す5つの特徴のうち少なくとも2つを備えるサイトを抽出しました。目視で確認した40サイトのうち、判断が分かれる最大2件を除きすべてECサイトでした。この抽出にはカート付きのホスティングサービス、マーケットプレイス、チケット販売サイトも含まれる一方、.cz以外の店舗(.comや.eu)、JavaScriptで描画されるサイト、ブラウザを拒否したサイトは含まれません。「自社構築・その他」にはHTMLからプラットフォームを判別できなかったサイトも含まれます。

取得したデータ。通常のブラウザとしてトップページ、robots.txt、llms.txtを取得した後、GPTBot、比較用のGooglebot、OAI-SearchBot、ClaudeBot、PerplexityBotとしてトップページを5回取得しました。

Robots.txt。RFC 9309の仕様に従って解析しました。サイト全体を禁止している場合のみをブロックと数え、一部のみの禁止やGoogleを含む全クローラーを閉め出しているサイトは別集計としています。

ファイアウォール。同じ1分間にブラウザとGooglebotの両方が通過したうえで、明示的な拒否コード(401、403、406、451)が返された場合のみをブロックと判定しているため、下限推計となります。過負荷の可能性もある429および5xxコードを含めると、主要サイト819件中99件、ECサイト1,223件中193件がGPTBotを拒否しています。GPTBotとGooglebotの両方を拒否するサイトは「判別不能」(819件中23件、1,223件中45件)に分類し、ブロック数には含めていません。

外部調査では分からないこと:

  • 本物のクローラーへの応答。ファイアウォールが私たちのアクセスを拒否しても認証済みIPは通す場合があり、逆に私たちを通していてもCloudflareがAIクローラーをブロックする場合があります。正確な挙動はサーバーログでしか分かりません。
  • 運営者の意図。Cloudflareの自動管理robots.txtやAIクローラールール、プラットフォームによるContent-Signal行は、ワンクリックや初期設定で有効になっている可能性があります。
  • 時間経過による変化。ルールは随時変わるものであり、本データは1日時点のスナップショットです。
  • ルールの順守状況。robots.txtはお願いであり、Content-Signalは意思表示であって、技術的な鍵ではありません。

ダウンロード用データ。割合の母数となった全1,900サイトについて、公開ファイルから得られた情報(順位、AIクローラー22種とGooglebotに対するrobots.txtの判定、llms.txt、Content-Signal、Cloudflareの自動管理ブロック)のみをCSV形式の表で公開しています。サイト別のファイアウォール判定は、本物のクローラーに対する挙動を外部から検証できないため非公開としています。

自社サイトのAIクローラー設定を私たちと一緒に確認したい方は、ご要望をお知らせください。

よくある質問

自社サイトがChatGPTをブロックしているか調べるには?

vasweb.cz/robots.txtを開き、GPTBotおよびOAI-SearchBotの項目に「Disallow: /」の行がないか確認します。あわせてファイアウォール(CloudflareならAI Crawler and Agent access policies)の設定を確認し、クローラーのヘッダーを付けたテストリクエストも試してください。当社の調査では、GPTBotを拒否している主要サイト146件のうち49件で、robots.txtにはブロックの記載がありませんでした。

サイトでAIクローラーをブロックする方法は?

robots.txtにクローラー名を指定した「User-agent:」と、その下に「Disallow: /」を追加します。ただし、これで防げるのはルールを守るクローラーだけなので、確実性を求めるならファイアウォールでの制限が有効です。その際はクローラーの種類にご注意ください。リンク付きの回答から除外されるのは検索用クローラーを禁止した場合であり、学習用クローラーを禁止しても除外されません。

GPTBotとOAI-SearchBotの違いは何ですか?

どちらもOpenAI(ChatGPT)のクローラーです。GPTBotはモデルの学習用データを収集するもので、禁止しても検索には影響しません。OAI-SearchBotは検索用であり、こちらを禁止するとChatGPTの回答に自社サイトが表示されなくなります。

robots.txtにあるContent-Signalの行はどういう意味ですか?

Content-Signalは、コンテンツをAIの検索(search)、回答生成(ai-input)、学習(ai-train)に使ってよいかを示す記述です。「ai-train=no」は学習を拒否する意思表示ですが、クローラーのアクセス自体をブロックするわけではありません。Shoptet上の大半のECサイトにこの行がありましたが、GPTBotを禁止していたのは291店舗中4店舗のみでした。

その他の記事

おすすめのトピックをピックアップしました

AI検索対策:GoogleとChatGPTに引用される方法

AIによる概要やAIモード、ChatGPT、Seznam AIが検索画面で直接回答する時代です。情報源の選定基準、不要な出費、30日間でできる改善策を紹介します。

読了時間:12分

自社のSEOを改善するためにできること

検索順位を上げて無料で新規顧客を獲得するためのヒントをご紹介します

読了時間:5分

ECプラットフォームの選び方:Shopifyかスクラッチ開発か

新規ECサイトの多くは月額制のSaaS型プラットフォームで十分です。システムが手狭になるサインや、スクラッチ開発が無駄な出費になるケースをわかりやすく解説します。

読了時間:14分