Qué hace
Tres pestañas que funcionan en tu dispositivo. El constructor arma grupos de user agents con reglas Allow y Disallow, Crawl-delay opcional y líneas Sitemap, con plantillas para permitir o bloquear todo, WordPress y rastreadores de IA. El probador marca cada URL como permitida o bloqueada para el rastreador que indiques y muestra la línea de la regla decisiva. La pestaña sitemap.xml convierte una lista de URL en un sitemap válido, dividido en varios archivos con un índice cuando supera 50.000 URL o 50 MB.
Reglas de RFC 9309
El rastreador se compara con cada línea User-agent sin distinguir mayúsculas; los grupos que lo nombran se combinan y, si no hay ninguno, se usa el grupo *. * coincide con cualquier secuencia y $ marca el final. Gana la regla más larga; si empatan, gana Allow. /robots.txt siempre está permitido.
Rastreadores de IA y sitemaps
Las plantillas listan nombres publicados por sus operadores a 14 de octubre de 2026, como GPTBot, ClaudeBot, Google-Extended y CCBot, y en la versión estricta también OAI-SearchBot o PerplexityBot. robots.txt es una petición, no un candado. En el sitemap, cada URL debe ser absoluta y escaparse para XML; Google ignora changefreq y priority.
