AIクローラーとは？
AIクローラーとは、生成AIの学習データ収集やAI検索サービスの回答生成のために、ウェブサイトの情報を自動的に取得・巡回するプログラムのことです。 OpenAI・Google・Anthropic・Perplexityなど各社が独自のクローラーを運用し、サイト運営者はrobots.txtで許可・拒否を制御します。
仕組み（主なAIクローラー）
AIクローラーは提供企業ごとに複数の種類があり、目的によって役割が異なります。
- OpenAI: 学習データ収集用の「GPTBot」、ChatGPT検索での表示に使う「OAI-SearchBot」、ユーザーの質問に応じてページを取得する「ChatGPT-User」、広告として掲載するページの安全性・関連性を検証する「OAI-AdsBot」の4種類を公開しています（OpenAI）。
- Google: 検索用のGooglebotとは別に、「Google-Extended」というrobots.txt用のトークンを用意しています。Gemini AppsやVertex AIの生成モデルの学習に加え、回答生成時にGoogle検索インデックスの内容をモデルへ渡すグラウンディングでの利用可否も、このトークンで制御します。ブロックしてもGoogle検索のインデックス掲載やランキングには影響しません（Google Search Central）。
- Anthropic: 学習データ収集用の「ClaudeBot」、ユーザーの質問対応時にアクセスする「Claude-User」、検索品質向上のために巡回する「Claude-SearchBot」の3種類を公開しています（Anthropic）。
- Perplexity: 検索結果への表示のために巡回する「PerplexityBot」（学習データ収集には使用しない）と、ユーザーの質問時にページを取得する「Perplexity-User」があります（Perplexity）。
ビジネスでの使いどころ
自社サイトをAIクローラーにどう開放するかは、LLMOの実務そのものです。学習データとしての利用は避けたいがAI検索の回答では引用されたい、という場合は、GPTBotなど学習用クローラーだけをrobots.txtで拒否し、OAI-SearchBotやPerplexityBotなど検索表示用クローラーは許可する、といった使い分けが可能です。全AIクローラーを一律拒否すると、AI検索経由での引用機会も同時に失う点には注意が必要です。ただしGoogle-Extendedは学習とグラウンディングの両方を対象とするため、拒否するとGeminiの回答で参照される機会も失われます。