robots.txtとは？
robots.txtとは、検索エンジンやAIクローラーなどの自動プログラムに対して、サイト内のどのページを巡回してよいか・いけないかを指示するテキストファイルのことです。 サイトのルート直下（例: https://example.com/robots.txt）に設置し、クローラーの種類ごとに許可・拒否のルールを記述します。
仕組み
記述の基本はシンプルで、“User-agent”でクローラー名を指定し、“Disallow”で巡回禁止のパス、“Allow”で許可するパスを書きます。例えば、AIの学習用クローラーであるGPTBotだけをサイト全体から拒否するには、次のように書きます。
User-agent: GPTBot
Disallow: /robots.txtは1994年にMartijn Kosterが考案して以来、長らく業界の慣例として使われてきましたが、2022年にIETFによって「Robots Exclusion Protocol」として正式に標準化されました（RFC 9309）。ただし、robots.txtのルールは全てのクローラーがサポートするとは限らず、従うかどうかはクローラー側に委ねられています。サイト側から技術的に強制できる仕組みではありません（Google Search Central）。実際、ユーザーの質問に応じてその場でページを取得する種類のAIクローラーには、robots.txtのルールが適用されない、または一般的に無視されるケースもあります。
ビジネスでの使いどころ
- 自社コンテンツが生成AIの学習データとして使われることを避けたい場合、GPTBot・ClaudeBotなど学習用クローラーを個別にDisallowします（Google-Extendedは学習に加えGeminiのグラウンディングも対象のため、影響範囲を確認してから設定します）
- AI検索の回答に引用されることを望む場合は、OAI-SearchBotやPerplexityBotなど検索表示用クローラーは許可しておきます
- 設定ミスでサイト全体が意図せず巡回禁止になっていないか、公開前・更新時に確認します