← Tất cả công cụ

Kiểm tra Robots.txt miễn phí

Đọc và phân tích robots.txt của bất kỳ website nào: liệt kê nhóm User-agent, quy tắc Allow/Disallow/Sitemap, phát hiện lỗi cú pháp và kiểm tra Googlebot có được phép crawl một hoặc nhiều URL hay không.

Robots.txt kiểm soát quyền thu thập dữ liệu của crawler. Việc một URL bị chặn crawl không đồng nghĩa URL chắc chắn không thể xuất hiện trong kết quả tìm kiếm.