inSite robots.txt テスター＆ジェネレーター

robots.txtとは、Webサイトのルートディレクトリ（例: https://example.com/robots.txt）に設置するテキストファイルです。検索エンジンのクローラー（Googlebot、Bingbotなど）に対して、「このページはクロールしてよい」「このページはクロールしないでほしい」といった指示を出すために使用します。

robots.txtはクロール制御のための仕組みであり、インデックス制御とは異なります。Disallowでクロールをブロックしても、外部リンクなどからURLが発見されればインデックスに登録されることがあります。インデックスを確実に制御したい場合は、noindexタグまたはX-Robots-Tagヘッダーを使用してください。

robots.txtの設定ミスは、サイト全体がクロールされなくなるなど深刻な影響を及ぼす可能性があります。本ツールを使って、robots.txtによるブロックが意図した通りになっているか確認しましょう。

robots.txtは、「User-agent」と「Disallow」「Allow」を組み合わせたシンプルな構文で記述します。以下が主要なディレクティブです。

基本的な記述例:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /admin/public/

Sitemap: https://example.com/sitemap.xml

パスにはワイルドカード（*）とアンカー（$）が使えます。たとえば Disallow: /*.pdf$ はすべてのPDFファイルへのクロールをブロックします。本ツールの「URLテスト」タブで、ワイルドカードパターンが意図通りにマッチしているか確認できます。

WordPress向け

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /author/
Disallow: /tag/

Sitemap: https://example.com/sitemap.xml

ECサイト向け

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?page=

Sitemap: https://example.com/sitemap.xml

SPA（シングルページアプリ）向け

User-agent: *
Disallow: /api/
Disallow: /_next/
Allow: /_next/static/

Sitemap: https://example.com/sitemap.xml

※ 本ツールの「ジェネレーター」タブからワンクリックでテンプレートを生成できます。

robots.txt・meta robots・X-Robots-Tagはいずれもクローラーへの指示ですが、それぞれ役割が異なります。

重要なポイントは、robots.txtでDisallowしたページにnoindexを設定しても効果がないということです。クローラーがページにアクセスできないとnoindexタグを読み取れないため、インデックスから除外されません。noindexでインデックスを制御したいページは、robots.txtでブロックしないようにしてください。X-Robots-Tagの設定はHTTPヘッダーチェッカーで確認できます。

Google Search Consoleのインデックスカバレッジレポートでは、robots.txtに関連する以下のステータスが報告されます。

以前はSearch Console内に「robots.txtテスター」がありましたが、現在は廃止されています。本ツールはその代替として、robots.txtの取得・解析・URLテストを提供しています。クロール済みインデックス未登録の原因調査にもご活用ください。