Công cụ này làm gì
Ba thẻ, chạy hoàn toàn trên máy bạn:
- Tạo robots.txt: các nhóm user agent với quy tắc Allow, Disallow, Crawl-delay tùy chọn và dòng Sitemap; có mẫu cho phép hoặc chặn tất cả, WordPress, và chặn bot AI. Cảnh báo hiện ngay khi gõ: đường dẫn thiếu dấu / đầu, URL sitemap không đầy đủ, tên bot có ký tự bị bỏ qua.
- Kiểm tra robots.txt: dán robots.txt bất kỳ, nhập tên bot như Googlebot hay GPTBot và danh sách URL. Mỗi URL được ghi được phép hay bị chặn, kèm số dòng của quy tắc quyết định.
- sitemap.xml: dán URL, mỗi dòng một, có thể thêm ngày sau dấu phẩy. Bạn nhận sitemap hợp lệ, tự chia thành nhiều tệp kèm sitemap index khi vượt 50.000 URL hoặc 50 MB, và báo cáo các dòng bị bỏ cùng lý do.
Cách kiểm tra theo RFC 9309
Bot được so với các dòng User-agent không phân biệt hoa thường; mọi nhóm ghi tên nó được gộp lại, nếu không có thì dùng nhóm *. * khớp chuỗi bất kỳ, $ ở cuối nghĩa là URL kết thúc tại đó. Quy tắc khớp dài nhất thắng; dài bằng nhau thì Allow thắng. /robots.txt luôn được phép. Mã hóa phần trăm được chuẩn hóa, nên /café và /caf%C3%A9 là một.
Chặn bot AI
Mẫu liệt kê tên bot do chính các công ty công bố, tính đến 14/10/2026: bot thu thập dữ liệu huấn luyện (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot...) và, ở mẫu chặt hơn, bot lấy trang cho câu trả lời tìm kiếm AI (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, PerplexityBot...). robots.txt chỉ là lời đề nghị, không phải ổ khóa.
Sitemap
Mỗi <loc> phải là URL đầy đủ, cùng tên miền, dưới 2.048 ký tự, được mã hóa phần trăm và thoát ký tự XML (& thành &). Google bỏ qua <changefreq> và <priority>, chỉ dùng <lastmod> khi nó luôn chính xác. Đọc thêm robots.txt, noindex và sitemap khác nhau thế nào, và đặt tiêu đề, ảnh chia sẻ cho từng trang bằng công cụ tạo thẻ Open Graph.
