Crie e teste robots.txt (RFC 9309) e gere sitemap.xml de uma lista de URLs.
AI crawler names as of 2026-10-14. robots.txt is a request: well-behaved crawlers follow it, others do not. Blocking AI search crawlers also removes the site from those AI answers.
Absolute URLs. They apply to every crawler, wherever they appear in the file.
Três abas que funcionam no seu dispositivo. O construtor monta grupos de user agents com regras Allow e Disallow, Crawl-delay opcional e linhas Sitemap, com modelos para liberar ou bloquear tudo, WordPress e robôs de IA. O testador marca cada URL como permitida ou bloqueada para o robô informado e mostra a linha da regra decisiva. A aba sitemap.xml transforma uma lista de URLs em um sitemap válido, dividido em vários arquivos com índice quando passa de 50.000 URLs ou 50 MB.
O robô é comparado com cada linha User-agent sem diferenciar maiúsculas; os grupos que o citam são combinados e, se não houver nenhum, vale o grupo *. * corresponde a qualquer sequência e $ marca o fim. Vence a regra mais longa; em empate, vence Allow. /robots.txt é sempre permitido.
Os modelos listam nomes publicados pelos operadores em 14 de outubro de 2026, como GPTBot, ClaudeBot, Google-Extended e CCBot, e na versão estrita também OAI-SearchBot ou PerplexityBot. robots.txt é um pedido, não uma tranca. No sitemap, cada URL deve ser absoluta e escapada para XML; o Google ignora changefreq e priority.
Não: impede o rastreamento, não a indexação. Para remover, use noindex e deixe a página ser rastreada.
A mais longa; se tiverem o mesmo tamanho, Allow.
50.000 URLs e 50 MB sem compressão por arquivo; acima disso, divida com um índice.
Atualizado em 14 de outubro de 2026 · Mais em Web, SEO e marketing
