Pembuat dan penguji robots.txt, pembuat sitemap.xml

Buat dan uji robots.txt (RFC 9309) serta buat sitemap.xml dari daftar URL.

Start from

AI crawler names as of 2026-10-14. robots.txt is a request: well-behaved crawlers follow it, others do not. Blocking AI search crawlers also removes the site from those AI answers.

Group 1

Product tokens such as Googlebot or GPTBot, matched without regard to case.

Rules

Not in RFC 9309. Google ignores it; Bing and Yandex read it.

Absolute URLs. They apply to every crawler, wherever they appear in the file.

    Apa yang dilakukan

    Tiga tab yang berjalan di perangkat Anda. Pembuat menyusun grup user agent dengan aturan Allow dan Disallow, Crawl-delay opsional dan baris Sitemap, dengan templat untuk mengizinkan atau memblokir semua, WordPress, dan crawler AI. Penguji menandai setiap URL diizinkan atau diblokir untuk crawler yang Anda sebut, beserta baris aturan penentunya. Tab sitemap.xml mengubah daftar URL menjadi sitemap yang valid, dipecah menjadi beberapa berkas dengan indeks bila lebih dari 50.000 URL atau 50 MB.

    Aturan RFC 9309

    Crawler dicocokkan dengan setiap baris User-agent tanpa membedakan huruf besar; grup yang menyebutnya digabung, dan bila tidak ada, grup * dipakai. * cocok dengan urutan apa pun dan $ menandai akhir. Aturan terpanjang menang; bila sama panjang, Allow menang. /robots.txt selalu diizinkan.

    Crawler AI dan sitemap

    Templat memuat nama yang diterbitkan operatornya per 14 Oktober 2026, seperti GPTBot, ClaudeBot, Google-Extended dan CCBot, dan pada versi ketat juga OAI-SearchBot atau PerplexityBot. robots.txt adalah permintaan, bukan kunci. Di sitemap, setiap URL harus absolut dan di-escape untuk XML; Google mengabaikan changefreq dan priority.

    Pertanyaan yang sering diajukan

    Apakah Disallow menghapus halaman dari Google?

    Tidak: itu mencegah perayapan, bukan pengindeksan. Untuk menghapus, gunakan noindex dan biarkan halaman dirayapi.

    Aturan mana yang menang bila Allow dan Disallow sama-sama cocok?

    Yang terpanjang; bila sama panjang, Allow.

    Berapa URL yang muat dalam satu sitemap?

    50.000 URL dan 50 MB tanpa kompresi per berkas; di atas itu, pecah dengan indeks.

    Baca selengkapnya

    Diperbarui 14 Oktober 2026 · Lainnya di Web, SEO dan pemasaran