robots.txtとは？書き方・設置場所・確認方法をわかりやすく解説

robots.txtとは、検索エンジンのクローラーに対して「どのページをクロールしてよいか」を伝えるテキストファイルです。サイトのルートディレクトリに配置することで、Googlebot等のクローラーがサイトを巡回する際の指示書として機能します。

「robots.txtって何を書けばいいの？」「設定を間違えたらインデックスされなくなる？」「AIクローラーもブロックできるの？」。robots.txtに関する疑問は多いですが、基本を理解すれば設定はシンプルです。

筆者はインハウスSEO担当として、数万ページ規模の求人サイトでテクニカルSEOを管理していました。大規模サイトではクロールバジェットの最適化が重要で、robots.txtの設定ミス一つでサイト全体のインデックスに影響が出ることを何度も経験しています。特に2026年現在は、GPTBotやClaudeBotなどAIクローラーへの対応も必須になっており、robots.txtの重要性はさらに高まっています。

この記事では、robots.txtの基本的な書き方から配置場所、無料ツールでの確認方法、よくある間違い、そしてAIクローラー対応まで、実務で必要な知識を網羅的に解説します。

robots.txtはテクニカルSEOの基盤施策のひとつです。SEO対策全体の考え方はSEO対策とは？仕組み・基本施策・やり方をわかりやすく解説で詳しく解説しています。

robots.txtとは？役割と仕組みをわかりやすく解説

robots.txt（ロボッツテキスト）は、Webサイトのルートディレクトリに配置するテキストファイルで、検索エンジンのクローラーに対して「このページはクロールしてOK」「このページはクロールしないで」と伝える役割を持ちます。

robots.txtの基本的な仕組み

クローラーがサイトを訪問するとき、最初に https://example.com/robots.txt を確認します。このファイルに書かれた指示に従って、クロール対象のページを判断します。

robots.txtが必要なケース・不要なケース

すべてのサイトにrobots.txtが必須というわけではありません。

筆者が管理していた求人サイトでは、数万ページの中に検索結果ページやフィルタリングページが大量にありました。これらをrobots.txtでクロール制限しないと、クロールバジェットが無駄に消費され、本当にインデックスしてほしいページのクロール頻度が下がるという問題が起きていました。

robots.txtの書き方（基本ルールと記述例）

robots.txtの書き方はシンプルですが、ルールを間違えるとサイト全体のクロールに影響します。基本構文を押さえたうえで、サイトの規模や用途に合ったパターンを選びましょう。

基本構文（User-agent / Disallow / Allow / Sitemap）

robots.txtで使う主要なディレクティブは4つです。

Sitemapディレクティブの詳細や、XMLサイトマップの作り方については以下の記事で解説しています。

基本的な記述例を示します。

# すべてのクローラーに対する指示
User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /

# サイトマップの場所
Sitemap: https://example.com/sitemap.xml

よく使うパターン別の記述例

実務でよく使うrobots.txtのパターンをまとめます。

サイト全体をクロール許可（最小構成）

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

WordPress向けの標準設定

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

大規模サイト向け（クロールバジェット最適化）

User-agent: *
Disallow: /search/
Disallow: /filter/
Disallow: /tag/
Disallow: /page/
Disallow: /*?sort=
Disallow: /*?page=

Sitemap: https://example.com/sitemap.xml

配置場所とファイル作成方法

robots.txtは必ずドメインのルートディレクトリ直下に配置します。

WordPressの場合は、テーマやSEOプラグイン（Yoast SEO、All in One SEOなど）がrobots.txtを自動生成する機能を持っています。プラグインの管理画面から編集するのが安全です。

robots.txtの確認方法（無料ツールで構文チェック）

robots.txtを作成・変更したら、必ず構文に問題がないか確認しましょう。意図したとおりにクロール制御されているかを検証する方法を紹介します。

ブラウザで直接確認する（/robots.txt）

最もシンプルな確認方法は、ブラウザのアドレスバーに直接URLを入力することです。

https://あなたのドメイン/robots.txt

これで現在のrobots.txtの内容がテキストで表示されます。競合サイトのrobots.txtも同じ方法で確認できるので、上位サイトがどのような設定をしているかを参考にできます。

inSite robots.txtテスターで構文チェック

inSiteのrobots.txtテスターでは、robots.txtの内容を貼り付けるだけで以下を確認できます。

Google Search Consoleで影響を確認する

Search Consoleでは、robots.txtの影響をインデックスの観点から確認できます。

URL検査ツール

Search Consoleの「URL検査」で特定のURLを入力すると、robots.txtによってブロックされているかどうかがわかります。「クロールを許可？」の項目で「いいえ: robots.txtによりブロック」と表示された場合は、robots.txtの設定を見直す必要があります。

インデックスカバレッジレポート

「ページ」レポート（旧カバレッジレポート）で「robots.txtによりブロック」というステータスが表示されるページがないかを確認しましょう。意図せずブロックしているページがあれば、robots.txtの修正が必要です。

その他の無料ツール

robots.txtとnoindexの違い・使い分け

robots.txtとnoindexは混同されやすいですが、目的と仕組みがまったく異なります。ここを間違えると、「ブロックしたはずのページが検索結果に出ている」といったトラブルが起きます。

robots.txtでよくある間違い5つ

筆者が実務で見てきた、robots.txtの典型的な間違いを紹介します。

間違い1: インデックスを防げると思っている

最も多い間違いです。「このページを検索結果に出したくない」という理由でrobots.txtにDisallowを追加するケースですが、前述のとおりrobots.txtではインデックスを確実に防ぐことはできません。

検索結果から除外したい場合は、noindexメタタグを使いましょう。

間違い2: CSS・JavaScriptをブロックしてしまう

WordPressなどで /wp-includes/ をまるごとDisallowすると、CSSやJavaScriptファイルへのクローラーのアクセスもブロックされます。Googleはページをレンダリングして内容を評価するため、レンダリングに必要なリソースがブロックされるとSEO評価に悪影響が出ます。

# NG例
User-agent: *
Disallow: /wp-includes/

# OK例（管理画面のみブロック）
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

間違い3: テスト環境の設定を本番に持ち込む

開発・ステージング環境では Disallow: / を設定するのが一般的ですが、本番公開時にこの設定を解除し忘れるケースがあります。

# 本番環境にこれが残っていると全ページクロール拒否
User-agent: *
Disallow: /

筆者も過去に、ステージング環境から本番にデプロイする際にrobots.txtの設定を元に戻し忘れ、数日間サイト全体のクロールが止まった経験があります。デプロイチェックリストにrobots.txtの確認を必ず入れておきましょう。

間違い4: User-agent: * の誤解

User-agent: * は「すべてのクローラー」を意味しますが、正確には**「個別にUser-agentが指定されていないクローラー」**に適用されます。

# Googlebotには個別ルールが適用される
User-agent: Googlebot
Disallow: /private/

# Googlebot以外のクローラーにはこちらが適用
User-agent: *
Allow: /

この例では、Googlebotは /private/ にアクセスできませんが、Bingbotは User-agent: * のルールに従い、/private/ を含むすべてのページにアクセスできます。

間違い5: サブドメインを制御しようとする

robots.txtはドメイン単位で機能するため、example.com/robots.txt の設定は blog.example.com には適用されません。

# example.com/robots.txt に書いても、blog.example.com には効果なし
User-agent: *
Disallow: /blog/  # これはexample.com/blog/のみに適用

サブドメインのクロールを制御する場合は、そのサブドメインのルートに別途robots.txtを配置する必要があります。

AIクローラーをrobots.txtで制御する方法【2026年最新】

2026年現在、GPTBot、ClaudeBot、PerplexityBotなどのAIクローラーへの対応は、robots.txt設定において避けて通れないテーマになっています。AI検索（ChatGPTの検索機能、Perplexity、Google AI Overview等）に自サイトの情報を引用してもらうか、AI学習に使わせないかを、robots.txtで制御できます。

主要AIクローラー一覧と設定例

AIクローラーをすべてブロックする例

# AI学習用クローラーをブロック
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: cohere-ai
Disallow: /

AI検索に引用される設定 vs 学習拒否設定

AIクローラーへの対応は、サイトの戦略によって方針が分かれます。

inSite

OpenAIはGPTBot（学習用）とChatGPT-User（リアルタイム検索用）を公式に分けています。学習利用だけをブロックしたい場合はGPTBotのみDisallowにする方法がありますが、引用頻度への影響は未知数です。判断に迷う場合は、まず全許可で運用し、状況を見て制限を追加するのが安全です。

llms.txtとの違いと併用方法

2025年から注目されているllms.txtは、robots.txtとは異なるアプローチでAIとの関係を制御するファイルです。

robots.txtが「入口の門番」だとすれば、llms.txtは「AIへの自己紹介状」です。両方を配置することで、クロール制御と情報提供の両面からAIとの関係をコントロールできます。

# robots.txt: AI学習クローラーはブロック、検索用は許可
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Allow: /

# llms.txt: サイト概要と主要ページをAIに提供
# （llms.txtはrobots.txtとは別ファイルとして配置）

まとめ

robots.txtの設定は一度正しく行えば頻繁に変更するものではありませんが、サイトの構造変更やAIクローラーの登場など、環境が変わるタイミングで見直しが必要です。

まずは自サイトの https://あなたのドメイン/robots.txt にアクセスして、現在の設定内容を確認するところから始めましょう。構文に不安がある場合は、inSite robots.txtテスターで無料チェックできます。