robots.txt ジェネレーター
クローラーごとの許可・拒否を設定し、robots.txt を生成します。処理はブラウザ内で完結します。
サイト種別
wp-admin の Disallow / Allow が自動で含まれます。
Sitemap URL
追加の Disallow パス
User-agent: * に適用(改行区切りで複数指定)
プリセット
69 bots · 0 blockedAI学習用クローラーLLMの学習データ収集用
0/37 blockedSEOツールSEO分析・監査用クローラー
0/13 blockedSNS・プレビューSNSリンクプレビュー・OGP取得
0/7 blocked出力
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
注意事項
robots.txt はあくまでクローラーへの「お願い」であり、法的拘束力はありません。悪意のあるクローラーは無視する可能性があります。確実にブロックするには Cloudflare WAF 等の併用を推奨します。