AI検索対策:GoogleとChatGPTに引用される方法
AIによる
チェコの
チェコの主要ウェブサイトの4分の1が、少なくとも1つのAIクローラーを拒否しています。私たちが2026年11月19日に実施した調査では、.czドメイン上位1,000件のうちアクセス可能だった819サイト中208サイト(25.4%)、またECサイト1,223件中284サイト(23.2%)が該当しました。しかも、このAIクローラーのブロックはファイアウォールのみで行われていることが多く(下限推計:ChatGPTでは3分の1〜半数のケース)、robots.txtファイルには記載がありません。ChatGPTやClaude、Perplexityの回答で自社サイトに言及してもらうには、robots.txt内のAIクローラー設定を確認するだけでは不十分です。ファイアウォールやECプラットフォームの設定が左右している場合があります。
AIクローラーがウェブサイトを取得する目的は、モデルの学習用(GPTBot、ClaudeBot)か、リンク付きの回答生成用(OAI-SearchBot、Claude-SearchBot、PerplexityBot)のいずれかです。robots.txtファイル(例:vasweb.cz/robots.txt)は入り口に掲げた公開の案内板のようなもので、行儀のよいクローラーはこれに従います。一方、ファイアウォール(レンタルサーバーやCloudflare)は門番として機能し、robots.txtに記載がなくてもクローラーを通しません。
私たちはTrancoランキングの上位1,000件の.czドメイン(ページを返した819件を割合の母数としました)と、同ランキング内の.czドメイン5,120件から抽出した1,223件のECサイトを個別に計測しました。
| 調査 | 上位 | ECサイト |
|---|---|---|
| 少なくとも | 208 (25.4%) | 284 (23.2%) |
| robots.txtで | 97 (11.8%) | 96 (7.8%) |
| ファイア | 83 (10.1%) | 137 (11.2%) |
| うち | 49 | 82 |
| robots.txtで | 41 (5.0%) | 27 (2.2%) |
| ファイア | 65 (7.9%) | 84 (6.9%) |
| llms.txtファイルあり | 85 (10.4%) | 294 (24.0%) |
ファイアウォールの数値はすべて下限推計です。同じ1分間に通常のブラウザと確認用リクエストの両方が通過したサイトで、明示的に拒否されたケースのみを数えています。robots.txtでGPTBotを禁止しているサイトには、たとえばidnes.cz、mapy.cz、vinted.cz、denik.cz、aktualne.cz、lidovky.cz、irozhlas.cz、hn.czなどがあります。
保護が厳重なサイトはページ自体を返さなかったため、母数である819サイトには含まれていません。ただし、上位1,000件のうち読み取り可能だった全807件のrobots.txtを見ると、127件(15.7%)がGPTBotを禁止しています。つまり保護の強いサイトほどブロックしている割合が高く、主な数値は実際より控えめに出ています。
上位1,000ドメインのうち、GPTBotを拒否しているのは(819サイト中)146サイトです。内訳はrobots.txtのみが63件、両方が34件、ファイアウォールのみが49件(34%、下限推計)でした。ECサイトでは(1,223件中)178店舗が拒否しており、そのうち82店舗(46%、下限推計)はファイアウォールのみでの拒否です。
ECサイトでは、GPTBotをrobots.txt(1,223件中96件)よりもファイアウォール(1,223件中137件、下限推計)で多くブロックしています。これまでの調査はrobots.txtしか読み取っていませんでした。なお、主要サイト819件のうち191件(23.3%)がCloudflareを経由しており、主要サイトにおけるGPTBotのファイアウォールブロック83件中55件、ECサイトでは137件中79件(いずれも下限推計)をCloudflareが占めています。残りはサーバーやホスティング側による拒否です。
さらにCloudflareは、上位1,000件中の29サイトとECサイト42件において、robots.txtへ「BEGIN Cloudflare Managed content」というブロックを自動挿入し、GPTBotを一律で禁止しています。これはゾーン設定でAIブロックが有効になっている場合に行われますが、サイト運営者が意図して有効にしたかどうかは外部からは分かりません。
ECサイトでは、AIクローラー向けのrobots.txtを運営者ではなくプラットフォーム側が決めているケースが多く見られます。Shoptetでは291店舗中259店舗にContent-Signalがあり、232店舗がAIの学習を禁止(ai-train=no)し、190店舗が正確に「search=yes, ai-train=no」と記述しています。
Cloudflareが提唱するContent-Signalは、コンテンツをAIの検索(search)、回答生成(ai-input)、学習(ai-train)に使ってよいかを示す記述です。ただしこれは意思表示にすぎず、Shoptet上でrobots.txtにてGPTBotを禁止しているのは291店舗中わずか4店舗です。Content-Signalに従うかどうかはクローラー側に委ねられています。
同様に、サイト内容をAIモデル向けに要約するllms.txtの有無もプラットフォームに左右されます。ECサイトでは1,223件中294件(24.0%)が備えているのに対し、主要サイトでは819件中85件(10.4%)にとどまります。
llms.txtに
GPTBotを
レンタル型のECプラットフォームをご利用中の方は、robots.txtにどのような初期設定が入っているか確認してみてください。設定の自由度についてはECプラットフォームの比較記事でまとめています。
ChatGPT、Claude、Perplexityの検索用クローラーをrobots.txtで禁止しているのは、主要サイト819件中わずか41件(5.0%)、ECサイト1,223件中27件(2.2%)です。しかしファイアウォールでは、少なくとも主要サイト65件(7.9%)、ECサイト84件(6.9%)がOAI-SearchBotやPerplexityBotを拒否しています。いずれも下限推計です。
各社は
robots.txtで検索用クローラーを禁止しているのは主にニュースサイトや求人・不動産などの情報サイトで、たとえばidnes.cz、denik.cz、zive.cz、ceskenoviny.cz、sreality.czなどです。これらはいずれも各サイトのrobots.txtに公開されている記述です。
アクセス可能だった819サイトのうち、ファイアウォールで最も多く拒否されていたのはClaudeBot(92件)、次いでGPTBot(83件)、PerplexityBot(59件)、OAI-SearchBot(14件)で、いずれも下限推計です。AIクローラーを一括でブロックしてしまうと、運営者が学習だけを禁止したいつもりでも、リンク付きの回答からも除外される恐れがあります。
現在、Trancoランキングの.czドメイン上位1,000件のうち、robots.txtでGPTBotを禁止しているのは97サイトです(アクセス可能な819件の11.8%、全体の9.7%)。2024年にはApifyがアクセス数順の別のランキングで21サイトを確認しており、Lupa.czは2024年9月2日に「わずか3パーセント」と報じました。単純な数値比では4〜5倍にあたりますが、対象サイトのリストが異なります。またApifyの調査は、現在29サイトをブロックしているCloudflareの自動管理robots.txtが登場する前に行われたものです。
Britské listyによると、Pipericは2026年7月にチェコのウェブ全体を対象にファイアウォールを除いて調査し、何らかのAIクローラーを禁止していたのは224,452サイト中2.9%、ECサイト28,103件中1.9%でした。一方、私たちの調査で主要サイトを見ると、robots.txtで学習用クローラーを少なくとも1つ禁止しているのは819サイト中152サイト(18.6%)、ECサイト1,223件中177件(14.5%)です。この2つの数値は測定している対象が異なります。
| 調査 | 時期 | 対象 | 測定 | 結果 |
|---|---|---|---|---|
| Apify | 2024年9月 | アクセス | robots.txt | 21サイトで |
| Piperic | 2026年7月 | 稼働中 | robots.txt、llms.txt | 2.9%が |
| Guap Media | 2026年11月19日 | 上位 | robots.txt、 | 97サイトで |
Studio Silex(2026年)の調査では14サイト中5サイトが403エラーを返しましたが、著者らはこれをAIブロックではなくIPアドレスによるクローラー検証によるものと結論づけています。私たちはそのようなケースをブロックには含めず、「判別不能」に分類しています。
自社サイトが
curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" https://www.vasweb.cz/
curl -I -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" https://www.vasweb.cz/ドメインの移転やサーバー、プラットフォームの変更を行った後は、毎回この確認を繰り返してください。知らないうちに設定が変わってしまうのは、まさにそのタイミングです。ほかに注意すべき点は、アクセスを落とさないサイトリニューアルの記事で解説しています。
AIクローラーのアクセス設定は、独自コンテンツを守りたいのか、AIからの紹介・推薦を得たいのかに応じて2段階で判断してください。初期設定任せにせず、自社の意思に沿った設定にすることが大切です。
AIの回答に取り上げられるための対策はAI検索の記事で、基本対策は自社でできるSEO対策でまとめています。検索やAIでの露出強化については、当社のマーケティングサービスでもご支援しています。
計測は2026年11月19日、プラハ市内の家庭用IPアドレスを持つ1台のコンピュータから実施しました。1サイトあたり最大8回のリクエストを1件ずつ順番に送信し、制限の回避などは一切行わず、15分弱で合計22,459件のリクエストを処理しました。
対象サイトのリスト。順位は2026年11月18日時点のTrancoリスト L5KW4(5つのデータソースの30日間平均)を使用しました。これはアクセス数ではなくドメインの人気度を測るもので、.cz上位1,000件には技術用ドメインも含まれます。1,000ドメインのうち181件はページを返さなかったため(130件はブラウザを拒否、51件は無応答)、割合の母数からは除外しています。
ECサイト。.czドメイン5,120件の中から、プラットフォームの痕跡とカート機能があるサイト、またはカート機能に加えて販売を示す5つの特徴のうち少なくとも2つを備えるサイトを抽出しました。目視で確認した40サイトのうち、判断が分かれる最大2件を除きすべてECサイトでした。この抽出にはカート付きのホスティングサービス、マーケットプレイス、チケット販売サイトも含まれる一方、.cz以外の店舗(.comや.eu)、JavaScriptで描画されるサイト、ブラウザを拒否したサイトは含まれません。「自社構築・その他」にはHTMLからプラットフォームを判別できなかったサイトも含まれます。
取得したデータ。通常のブラウザとしてトップページ、robots.txt、llms.txtを取得した後、GPTBot、比較用のGooglebot、OAI-SearchBot、ClaudeBot、PerplexityBotとしてトップページを5回取得しました。
Robots.txt。RFC 9309の仕様に従って解析しました。サイト全体を禁止している場合のみをブロックと数え、一部のみの禁止やGoogleを含む全クローラーを閉め出しているサイトは別集計としています。
ファイアウォール。同じ1分間にブラウザとGooglebotの両方が通過したうえで、明示的な拒否コード(401、403、406、451)が返された場合のみをブロックと判定しているため、下限推計となります。過負荷の可能性もある429および5xxコードを含めると、主要サイト819件中99件、ECサイト1,223件中193件がGPTBotを拒否しています。GPTBotとGooglebotの両方を拒否するサイトは「判別不能」(819件中23件、1,223件中45件)に分類し、ブロック数には含めていません。
外部調査では
ダウンロード用データ。割合の母数となった全1,900サイトについて、公開ファイルから得られた情報(順位、AIクローラー22種とGooglebotに対するrobots.txtの判定、llms.txt、Content-Signal、Cloudflareの自動管理ブロック)のみをCSV形式の表で公開しています。サイト別のファイアウォール判定は、本物のクローラーに対する挙動を外部から検証できないため非公開としています。
自社サイトの
vasweb.cz/robots.txtを開き、GPTBotおよびOAI-SearchBotの項目に「Disallow: /」の行がないか確認します。あわせてファイアウォール(CloudflareならAI Crawler and Agent access policies)の設定を確認し、クローラーのヘッダーを付けたテストリクエストも試してください。当社の調査では、GPTBotを拒否している主要サイト146件のうち49件で、robots.txtにはブロックの記載がありませんでした。
robots.txtにクローラー名を指定した「User-agent:」と、その下に「Disallow: /」を追加します。ただし、これで防げるのはルールを守るクローラーだけなので、確実性を求めるならファイアウォールでの制限が有効です。その際はクローラーの種類にご注意ください。リンク付きの回答から除外されるのは検索用クローラーを禁止した場合であり、学習用クローラーを禁止しても除外されません。
どちらもOpenAI(ChatGPT)のクローラーです。GPTBotはモデルの学習用データを収集するもので、禁止しても検索には影響しません。OAI-SearchBotは検索用であり、こちらを禁止するとChatGPTの回答に自社サイトが表示されなくなります。
Content-Signalは、コンテンツをAIの検索(search)、回答生成(ai-input)、学習(ai-train)に使ってよいかを示す記述です。「ai-train=no」は学習を拒否する意思表示ですが、クローラーのアクセス自体をブロックするわけではありません。Shoptet上の大半のECサイトにこの行がありましたが、GPTBotを禁止していたのは291店舗中4店舗のみでした。
おすすめの
AIによる
検索順位を
新規