この記事のポイント
この記事のポイントは以下です。
-
AIクローラーはrobots.txtで制御できますか？
-
robots.txtに対応しているクローラーであれば、User-agentを指定して特定のページやディレクトリへのクロールを許可・拒否できます。
-
robots.txtを設定すればAIによる利用を完全に防げますか？
-
robots.txtは対応するクローラーへのクロール指示であり、強制的なアクセス制御ではありません。非対応のボットや別の経路から取得された情報まで完全に防げるものではありません。
-
AI学習だけを拒否してAI検索への掲載を残すことはできますか？
-
サービスによっては可能です。例えばOpenAIでは学習用途のGPTBotと検索用途のOAI-SearchBotが分かれているため、それぞれ個別に設定できます。
生成AIの普及に伴い、Webサイトを巡回するAI関連のクローラーへの対応を検討する企業が増えています。「自社コンテンツをAIの学習に利用されたくない」「AI検索からの流入は維持したい」「大量のボットアクセスによるサーバー負荷を抑えたい」など、目的によって必要な対応は異なります。
重要なのは、AIクローラーを一括りにしてすべて拒否するのではなく、それぞれの用途を理解したうえで制御方針を決めることです。
本記事では、代表的なAIクローラーの種類やrobots.txtによる制御方法、設定時の注意点について詳しく解説します。
＜無料＞資料ダウンロード
LLMO対策（AI検索最適化）サービス資料
ChatGPTやPerplexity等のAI検索で自社を推薦されるWebサイトへ！
目次
AIクローラーとは？
AIクローラーとは、生成AIやAI関連サービスがWeb上の情報を取得するために利用する自動プログラムの総称です。ただし、すべてのAIクローラーが同じ目的で動作しているわけではありません。
まずは、AIクローラーがどのような目的でWebサイトへアクセスしているのかを整理しましょう。
AIクローラーがWebサイトを巡回する主な目的
従来から、GooglebotやBingbotなどのクローラーは検索エンジンのインデックスを構築するためにWebサイトを巡回してきました。
生成AIの普及後は、これに加えてAIモデルの学習や、AI検索・チャットサービスで最新情報を取得するためのクローラーなども利用されています。
主な目的としては、次のようなものがあります。
- AIモデルの学習や改善に利用する情報の取得
- AI検索や生成AIの回答時に利用するWeb情報の収集
- 検索エンジンのインデックス作成
- ユーザーが指定したWebページの取得・要約
同じ企業でも目的ごとに異なるクローラーを運用している場合があります。
そのため、「AIクローラーを拒否するか」ではなく、「どの用途のクローラーを、どの範囲まで許可するか」を考えることが重要です。
AI学習用とAI検索用のクローラーは異なる場合がある
AIクローラーを制御する際に特に注意したいのが、学習用途と検索・回答用途が分かれているケースです。
例えばOpenAIでは、将来のAIモデルの学習に利用する可能性のあるコンテンツを取得するGPTBotと、ChatGPT検索でWebコンテンツを発見・表示するためのOAI-SearchBotが区別されています。
そのため、「AI学習には使われたくないが、ChatGPT検索には表示されたい」という場合、GPTBotを拒否しながらOAI-SearchBotを許可するという運用も考えられます。すべてのAI関連User-agentをまとめてブロックすると、本来残したかった検索・引用の機会まで制限してしまう可能性があります。
クローラー名だけで判断せず、そのUser-agentが何の目的に利用されているのかを公式情報で確認することが重要です。
AIクローラーによるアクセスで考えられる課題
AIクローラーへの対応を検討する理由は、AI学習への懸念だけではありません。自社独自の調査データや有料コンテンツをAI関連サービスに利用されたくないという方針もあれば、大量の自動アクセスによるサーバー負荷や運用コストを問題視する企業もあります。
一方で、AI検索や生成AIの回答から自社サイトへの流入が生まれる可能性もあるため、すべてのクローラーを拒否することが常に最適とは限りません。
また、robots.txtは機密情報を保護するための仕組みではありません。外部に公開したくない情報は、ログイン認証やアクセス制御など別の仕組みで保護する必要があります。
そのため、情報保護・サーバー負荷・AI上での露出という複数の観点から、自社に適した制御方針を決めることが大切です。
代表的なAIクローラーと役割
AI関連のクローラーは各社から提供されており、同じ企業でも用途によって複数のUser-agentが存在します。設定を行う前に、それぞれの役割を確認しておきましょう。
OpenAIのGPTBot
GPTBotは、OpenAIがAIモデルの学習に役立てるため、公開されているWebコンテンツをクロールする場合に利用するクローラーです。
自社サイトのコンテンツを将来のモデル学習への利用対象から除外したい場合は、robots.txtでGPTBotへのアクセスを拒否できます。
例えば、サイト全体へのアクセスを拒否する場合は次のように記述します。
Disallow: /
ただし、GPTBotはChatGPT検索用のクローラーとは別です。
OpenAIでは、ChatGPT検索でWebページを発見し、要約や引用などに利用するためのクローラーとしてOAI-SearchBotを提供しています。そのため、学習のみを拒否したい場合は、GPTBotとOAI-SearchBotを分けて設定することが重要です。
OpenAIのOAI-SearchBot
OAI-SearchBotは、ChatGPT検索で公開Webコンテンツを発見し、回答内の要約や引用、リンク表示などに利用するためのクローラーです。
ChatGPT検索で自社ページが情報源として扱われる可能性を残したい場合は、OAI-SearchBotのクロールを許可しておく必要があります。
例えば、GPTBotによる学習を拒否しながらOAI-SearchBotを許可する場合は、次のように設定できます。
Disallow: /User-agent: OAI-SearchBot
Allow: /
このように用途別にUser-agentを指定することで、AI学習への利用とAI検索への露出を分けて考えることが可能です。
ただし、クロールを許可したからといって、必ずChatGPTの回答に引用・表示されるわけではありません。robots.txtは掲載を保証する設定ではなく、クロール可否を伝えるための仕組みです。
robots txtとは？書き方と設置方法、noindexとの違いを解説
本記事では、robots.txtについて、役割やnoindexとの違い、クローラーの種類や記述方法まで詳しく解説しています。robots.txtを使ってクローラーをうまく制御するためにも、正しい知識を持って活用しましょう。
GoogleのGoogle-Extended
Google-Extendedは通常のHTTPリクエストで利用される独立したクローラー名ではなく、robots.txt上でGoogleによるAI用途を制御するために用意されたプロダクトトークンです。
Googleは、Google-Extendedを使うことで、Googleがクロールしたサイトのコンテンツを、将来のGeminiモデルのトレーニングや、Gemini Appsなどでのグラウンディングに利用するかどうかを管理できると説明しています。
例えばサイト全体でGoogle-Extendedによる利用を拒否する場合は、次のように記述します。
Disallow: /
Google-Extendedを拒否しても、Google検索へのサイト掲載や検索順位には影響しないとGoogleは明示しています。
そのため、通常のGoogle検索への露出を維持しながら、一部のGemini関連用途への利用だけを制御したい場合に検討できる設定です。
その他のAI関連クローラー
OpenAIやGoogle以外にも、生成AIサービスを提供する企業が独自のクローラーやUser-agentを公開しています。例えば、AnthropicやPerplexityなどもWeb上の情報取得に関するクローラーを運用しており、サービスや用途ごとにrobots.txtへの対応方針が異なります。
また、Common CrawlのCCBotのように、特定の生成AI企業専用ではないものの、収集されたWebデータがさまざまな研究・AI開発で利用されるケースもあります。
User-agentの名称や用途は追加・変更される可能性があるため、固定的な一覧を作って終わりにするのではなく、各サービスの公式ドキュメントを定期的に確認することが重要です。
robots.txtとは？
robots.txtは、Webサイトを巡回するクローラーに対して、どのURLへのクロールを許可・拒否するかを伝えるためのテキストファイルです。AIクローラーの制御にも利用できますが、できることとできないことを正しく理解しておく必要があります。
クローラーにアクセス方針を伝えるファイル
robots.txtは通常、Webサイトのルートに配置します。
例えばhttps://example.com/というサイトであれば、次のURLからアクセスできる状態にします。
主に使用する項目は、対象となるクローラーを指定するUser-agentと、クロールを拒否するパスを指定するDisallowです。
例えば、特定のクローラーからサイト全体へのクロールを拒否する場合は次のようになります。
Disallow: /
特定のディレクトリだけを拒否する場合は、次のように指定できます。
Disallow: /private-directory/
このように、クローラー単位・URL単位でクロール方針を設定できることがrobots.txtの基本的な役割です。
robots.txtは強制的なアクセス制限ではない
robots.txtを設定すれば、あらゆるボットからのアクセスを技術的に遮断できるわけではありません。robots.txtは、クローラー側に「このURLはクロールしないでほしい」と伝えるための公開ルールです。そのルールを実際に守るかどうかはクローラー側の実装に依存します。
GooglebotやGPTBotなど、robots.txtへの対応を明示しているクローラーでは設定を利用できますが、悪意のあるスクレイパーやrobots.txtを無視するボットまで防ぐことはできません。
そのようなアクセスを物理的に遮断したい場合は、WAFやCDN、ファイアウォール、認証、IP制御など別の仕組みが必要です。そのため、robots.txtを「セキュリティ機能」ではなく、協調的なクローラーへのアクセス方針を伝える仕組みとして理解しておきましょう。
機密情報の保護にはrobots.txtを使わない
会員限定ページや社内資料、個人情報など、第三者に見られてはいけない情報をrobots.txtだけで保護することはできません。
robots.txtそのものは誰でも閲覧できるため、Disallowに機密ディレクトリを記述すると、むしろそのURLの存在を外部から把握される可能性があります。さらに、クローラーによってはrobots.txtのルールに従わない場合もあります。
外部公開すべきでない情報については、ID・パスワードによる認証や適切なアクセス権限を設定し、Web上から直接取得できない状態にする必要があります。
robots.txtは公開コンテンツのクロール方針を調整するために使い、秘密情報の保護はアクセス制御で行うことが基本です。
robots.txtでAIクローラーを制御する方法
AIクローラーを制御する場合は、まず対象となるサービスと目的を確認し、そのUser-agentに対して必要な範囲だけルールを設定します。「すべてのAIを一律に拒否する」のではなく、学習・検索・その他の用途を分けて考えましょう。
特定のAIクローラーをサイト全体で拒否する
特定のクローラーにサイト全体をクロールさせたくない場合は、Disallow: /を指定します。例えばGPTBotを拒否する場合は次の通りです。
Disallow: /
この設定により、GPTBotがrobots.txtのルールを確認した場合、サイト内のURLをクロールしないよう指示できます。
Google-Extendedについても、同様に次のような記述が可能です。
Disallow: /
ただし、サービスごとにUser-agentの用途や仕様が異なります。設定前に必ず各事業者の最新の公式ドキュメントで名称と影響範囲を確認しましょう。
特定のディレクトリだけクロールを拒否する
サイト全体ではなく、一部のコンテンツのみ制御したい場合は対象ディレクトリを指定できます。例えばGPTBotに対して/research/以下のクロールを拒否する場合は、次のように記述します。
Disallow: /research/
この場合、それ以外のURLについては別の拒否ルールがなければクロール対象となり得ます。
独自調査や高付加価値コンテンツだけを制限し、一般公開している記事は許可するといった運用にも利用できます。
ただし、robots.txtのパス指定は誤ると意図しないページまで制限する可能性があります。設定後は対象URLが想定どおりのルールになっているか確認することが重要です。
AI学習を拒否しながらAI検索を許可する
AIクローラーを制御する際は、「学習されたくないからすべて拒否する」という判断だけでなく、用途を分ける方法も検討できます。
OpenAIの場合、例えば次のように設定できます。
Disallow: /User-agent: OAI-SearchBot
Allow: /
この設定では、GPTBotによる将来の学習用途のクロールを拒否しながら、OAI-SearchBotによるChatGPT検索向けのクロールは許可する方針になります。
AI検索からの露出を維持しながら学習用途だけを制限したい企業にとって、選択肢の一つとなるでしょう。
ただし、すべてのAIサービスが学習用と検索用を分離しているわけではありません。サービスごとの制御方法を確認したうえで、自社の目的に合わせて設定することが大切です。
AIクローラーを制御するメリット・デメリット
AIクローラーの制御には、自社コンテンツの利用範囲を調整できるメリットがある一方、AI検索などでの露出に影響する可能性もあります。一律にブロックするのではなく、自社のコンテンツや目的に合わせて判断することが重要です。
AIによるコンテンツ利用の範囲を調整できる
AIクローラーを制御するメリットの一つは、自社コンテンツをどのような用途で利用してもらうかについて、一定の意思表示ができることです。
例えば、OpenAIではGPTBotとOAI-SearchBotが分かれているため、学習用途のクロールを拒否しながら、ChatGPT検索向けのクロールを許可するといった設定ができます。
独自調査や有料で提供している情報など、自社にとって重要性の高いコンテンツについて、公開範囲やAIによる利用方針を検討する際にも役立ちます。
ただし、robots.txtだけでコンテンツの複製や不正取得を完全に防げるわけではありません。robots.txtは知的財産を技術的に保護する仕組みではなく、対応するクローラーに利用方針を伝える手段の一つとして考えましょう。
不要なクロールを減らせる場合がある
特定のAIクローラーが短時間に多数のページへアクセスしている場合、robots.txtで対象URLへのクロールを拒否することで、そのクローラーからのアクセスを減らせる可能性があります。
特にページ数の多いサイトや、動的にページを生成するサイトでは、自動アクセスがサーバーリソースへ影響していないか確認することも重要です。
ただし、robots.txtを無視するボットには効果がありません。また、大量アクセスそのものを確実に遮断する仕組みでもありません。
サーバー負荷が実際に問題となっている場合は、アクセスログを確認して原因を特定し、必要に応じてCDNやWAF、レート制限などの対策も検討しましょう。robots.txtだけに頼らず、アクセス状況に応じて技術的な対策を組み合わせることが重要です。
AI検索などでの露出が減る可能性がある
AI関連のクローラーを制限する場合は、生成AI上での情報接点への影響にも注意が必要です。特に検索・回答取得に利用されるクローラーを拒否すると、そのサービスが自社ページを取得できなくなり、AI検索で情報源として扱われる機会が減る可能性があります。
ただし、「AIクローラーを一つ拒否すると、すべての生成AIで表示されなくなる」というわけではありません。サービスごとに情報取得の仕組みやUser-agentは異なります。
また、学習用途のクローラーを拒否することと、検索・回答時のクロールを拒否することも同じではありません。
そのため、学習への利用を制限したいのか、AI検索への露出も含めて制限したいのかを明確にしてから設定することが大切です。
クローラーとは？検索エンジンにインデックスされる仕組みや巡回頻度を上げる方法解説
Webサイトを制作、公開しても検索結果に表示されないと検索エンジン経由の集客はできません。検索エンジンがWebサイトの情報を取得するために使用しているのがクローラーです。クローラーがサイトの情報をどのように取得しているのか、基本的なところから解説します。
robots.txtだけではAIクローラーを完全に防げない
robots.txtはAIクローラーを管理する代表的な方法ですが、すべての自動アクセスを強制的に遮断できる仕組みではありません。情報保護やサーバー負荷への対策が目的の場合は、robots.txt以外の方法も理解しておきましょう。
robots.txtに従わないボットも存在する
robots.txtは、クローラー側がルールを確認し、自主的に従うことを前提とした仕組みです。主要な検索エンジンやAI事業者はrobots.txtへの対応方針を公開していますが、インターネット上に存在するすべてのボットがルールを守るとは限りません。
特に、不正なスクレイピングなどを目的としたボットは、robots.txtを無視してアクセスする可能性があります。そのため、「robots.txtにDisallowを書いたのでデータは取得されない」と考えるのは適切ではありません。
確実なアクセス制限が必要なコンテンツについては、robots.txtとは別の技術的なアクセス制御を利用することが重要です。
WAFやCDNなどによるアクセス制御も検討する
robots.txtを無視するボットや、大量アクセスそのものを制限したい場合には、WAFやCDNなどを利用した対策も選択肢となります。IPアドレスやアクセス頻度、User-agent、リクエストの挙動などをもとに、不審なアクセスを検知・制限できるサービスもあります。
短時間に大量のリクエストを送るアクセスに対しては、レート制限を設定する方法もあります。
ただし、User-agentは偽装できるため、名称だけを基準にアクセスを遮断すれば十分とは限りません。正規のクローラーまで誤って制限しないよう注意も必要です。
アクセスログを確認したうえで、実際に問題となっているアクセスの特徴に合わせて対策を選択することが大切です。
非公開情報は認証などで保護する
会員限定コンテンツや社内資料、個人情報など、外部へ公開すべきではない情報をrobots.txtだけで保護してはいけません。
robots.txtは誰でも閲覧できる公開ファイルであり、そこに記載したURLの存在を第三者に知られる可能性もあります。
外部から閲覧されたくないページについては、ログイン認証やアクセス権限を設定し、許可されたユーザーだけがアクセスできる状態にする必要があります。
また、公開ページに機密情報を掲載したうえでAIクローラーだけを拒否しても、人間や別のプログラムからは閲覧できてしまいます。「AIに取得されたくない情報」と「そもそも公開してはいけない情報」を分けて考えることが重要です。
AIクローラーの設定後に確認したいこと
robots.txtを変更したら、設定して終わりではありません。記述ミスによって通常の検索エンジンまで制限してしまう可能性もあるため、公開後の確認と継続的な見直しが必要です。
robots.txtが正しい場所に設置されているか確認する
まず、robots.txtがサイトのルートから正常に取得できるかを確認しましょう。
例えばhttps://example.com/であれば、基本的にはhttps://example.com/robots.txtへアクセスして内容を確認します。
robots.txtはホストやプロトコルなどによって適用範囲が決まるため、複数のサブドメインを運営している場合などは特に注意が必要です。
また、記述ミスや意図しないルールによってGooglebotやBingbotまでクロールできなくなると、通常のSEOに影響する可能性があります。変更後は、対象のUser-agentとDisallowの範囲が意図した設定になっているかを必ず確認することが重要です。
サーバーのアクセスログも確認する
AIクローラーのアクセス状況を詳しく把握したい場合は、サーバーのアクセスログを確認する方法があります。ログでは、User-agentやアクセス先のURL、アクセス日時、リクエスト数などを確認できます。特定のボットから大量のアクセスが発生していないかを調査する際にも役立ちます。
ただし、User-agent名だけで正規のクローラーだと断定することはできません。第三者が有名なクローラーのUser-agentを名乗ってアクセスすることも可能だからです。
事業者によっては正規クローラーの確認方法を公開しているため、必要に応じて公式情報も確認しましょう。
robots.txtの設定と実際のアクセスログを組み合わせて確認することで、より正確に状況を把握できます。
AI事業者の最新情報を定期的に確認する
生成AIを取り巻く環境は変化が速く、新しいクローラーが追加されたり、既存のUser-agentの役割が変更されたりする可能性があります。一度robots.txtを設定したからといって、その状態を長期間放置することはおすすめできません。
OpenAIやGoogleなど、対象としているAI事業者の公式ドキュメントを定期的に確認し、新しいUser-agentや制御方法が追加されていないか確認しましょう。
また、自社側でも「AI学習は拒否するがAI検索は許可する」など、運用方針が変われば設定を見直す必要があります。技術仕様と自社のコンテンツ戦略の両方に合わせて、robots.txtを継続的に管理することが重要です。
AIクローラーを許可・拒否する際の判断基準
AIクローラーへの対応に、すべての企業に共通する正解があるわけではありません。コンテンツの性質や集客戦略、AIサービスへの考え方によって適切な設定は異なります。
AIクローラーを利用目的ごとに分けて考える
最初に確認したいのが、対象となるクローラーが何のためにWebサイトへアクセスするのかという点です。AIモデルの学習、AI検索での情報取得、通常の検索インデックスなど、同じAI関連企業でも用途が異なる場合があります。
例えば、「モデル学習への利用には慎重だが、AI検索からの流入は獲得したい」という企業であれば、用途ごとに制御できるサービスでは設定を分ける方法があります。
反対に、AIサービスでの利用自体を広く制限したい場合は、より広範な制御を検討することになるでしょう。企業名やクローラー名だけではなく、利用目的を確認して判断することがポイントです。
コンテンツの性質に合わせて判断する
サイト内のすべてのコンテンツを同じルールで扱う必要もありません。例えば、広く認知してもらいたい商品・サービス情報や一般公開の記事についてはAI検索からの露出を重視し、一方で独自性の高い調査データなどは利用範囲を慎重に検討するといった考え方もできます。
ただし、有料コンテンツや個人情報など、本来アクセス権限を限定すべき情報についてはrobots.txtではなく認証などで保護します。
「AIだから拒否する」「AIだからすべて許可する」という二択ではなく、コンテンツの役割や事業上の価値を踏まえてページ・ディレクトリ単位で判断することが重要です。
AI検索からの集客方針も考慮する
生成AIを新たな集客チャネルとして活用したい企業は、検索・回答取得に利用されるクローラーを過度に制限しないことも重要です。
ChatGPTなどではWeb上の情報を検索し、回答とともに情報源へのリンクを提示する機能があります。今後、こうしたAI経由の情報収集が広がれば、自社サイトへの新しい接点となる可能性があります。
一方で、AI検索からどの程度の集客効果が得られるかは、企業やテーマによって異なります。
AI上での露出だけを優先するのではなく、コンテンツ保護とのバランスを考えながら、自社が生成AIをどのような情報流通チャネルとして活用したいのかを決めることが大切です。
AIクローラーは目的を確認して適切に制御しよう
生成AIの普及に伴い、WebサイトへアクセスするAI関連クローラーも多様化しています。しかし、すべてのAIクローラーがモデル学習を目的としているわけではありません。AI検索や回答生成のためにWeb情報を取得するものなど、用途はサービスによって異なります。
robots.txtを利用すれば、対応するクローラーに対して特定のURLへのクロールを許可・拒否する方針を伝えられます。ただし、robots.txtは強制的なアクセス制御ではなく、すべてのボットによる情報取得を完全に防げるものではありません。
そのため、AIモデルの学習を制限したいのか、AI検索への露出も抑えたいのか、サーバー負荷を軽減したいのかなど、まず目的を明確にすることが重要です。
必要に応じてWAFやCDN、認証などの仕組みも組み合わせながら、コンテンツの保護とAI・検索からの情報接点のバランスを考えて制御方針を決めましょう。
＜無料＞資料ダウンロード
LLMO対策（AI検索最適化）サービス資料
ChatGPTやPerplexity等のAI検索で自社を推薦されるWebサイトへ！
