🤖 robots.txt生成
個別ルール
robots.txt
User-agent: * Allow: / Disallow: /admin/ Sitemap: https://example.com/sitemap.xml
クロール許可・拒否のルールや、クロール間隔、サイトマップのURLを設定するだけで、検索エンジン向けのrobots.txtファイルを生成できるツールです。全体の公開・非公開設定に加えて、パスごとの細かいルールも追加できます。
使い方
- サイト全体をクロール許可するかどうかを選びます。
- 特定のパスに対する許可・拒否ルールを必要な数だけ追加します。
- サイトマップのURLとクロール間隔(任意)を入力すると、robots.txtの内容が自動的に生成されます。
よくある質問
robots.txtはどこに配置すればいいですか?
サイトのルートディレクトリ(例: https://example.com/robots.txt)に配置する必要があります。
Crawl-delayはすべての検索エンジンに効果がありますか?
いいえ。Googleなど一部の検索エンジンはCrawl-delayディレクティブを無視します。効果はクローラーによって異なります。
特定のクローラー(User-agent)ごとにルールを分けられますか?
現在のバージョンはすべてのクローラー共通(User-agent: *)のルール生成のみに対応しています。