robots.txt ジェネレーター
クローラーごとの許可・拒否を設定し、robots.txt を生成します。処理はブラウザ内で完結します。
サイト種別
wp-admin の Disallow / Allow が自動で含まれます。
Sitemap URL
追加の Disallow パス
User-agent: * に適用（改行区切りで複数指定）
プリセット
0/6 カテゴリ blocked検索エンジン従来の検索エンジンのクローラー
AI学習用LLMの学習データ収集用
AI検索用AI検索・ユーザー操作時のリアルタイム取得
その他用途が複合的なクローラー
SEOツールSEO分析・監査用クローラー
SNS・プレビューSNSリンクプレビュー・OGP取得
出力
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
注意事項
robots.txt はあくまでクローラーへの「お願い」であり、法的拘束力はありません。悪意のあるクローラーは無視する可能性があります。確実にブロックするには Cloudflare WAF 等の併用を推奨します。
robots.txt に関する参考記事