Công cụSEOCrawl có được phép không?
Robots.txt Checker
Đọc và phân tích robots.txt của bất kỳ website nào: liệt kê nhóm User-agent, quy tắc Allow/Disallow/Sitemap, phát hiện lỗi cú pháp và kiểm tra Googlebot có được phép crawl một hoặc nhiều URL hay không.
Máy chủ tải trang. Domain bạn nhập được gửi tới máy chủ của Thành Mê Tech để tải robots.txt. Công cụ không lưu lại.
Dùng khi bạn cần
- Kiểm tra Googlebot có bị chặn không
- Gỡ lỗi Disallow chặn nhầm
- Rà sitemap khai báo trong robots.txt
Dùng Robots.txt Checker
Ví dụ: example.com hoặc https://example.com/trang. Công cụ tải /robots.txt của domain đó.
Chưa có kết quả
Nhập domain hoặc URL rồi bấm "Kiểm tra robots.txt". Kết quả gồm quy tắc theo từng user-agent, lỗi cú pháp, Sitemap và bộ kiểm tra URL.
Sau khi chạy
Kết quả và bước tiếpKết quả gồm gì và làm gì tiếp
Mỗi mục dưới đây là một phần của kết quả công cụ trả về. Kết quả là tín hiệu kỹ thuật để bạn quyết định, không thay cho việc xác minh trên nguồn gốc.
Kết quả và tính năng
01
Đọc robots.txt thật
Tải file, báo mã HTTP, dung lượng, số quy tắc và số Sitemap.
02
Nhóm User-agent
Gom quy tắc theo từng user-agent, hiển thị Allow/Disallow đúng thứ tự.
03
Phát hiện lỗi cú pháp
Cảnh báo dòng không hợp lệ, chỉ thị lạ, quy tắc không thuộc nhóm nào.
04
Kiểm tra URL
Chọn Googlebot, Googlebot Smartphone, Googlebot-Image, Bingbot… rồi xem URL được hay bị chặn và quy tắc nào quyết định.
05
Kiểm tra hàng loạt
Dán nhiều URL, xuất CSV hoặc sao chép kết quả.
Cách sử dụng
Cách dùng: 4 bướcDùng Robots.txt Checker trong bốn bước
01
Nhập domain hoặc URL, bấm "Kiểm tra robots.txt".
02
Xem tab Tổng quan, User-agents và Raw robots.txt.
03
Sang tab URL Tester, nhập URL hoặc đường dẫn và chọn user-agent.
04
Dùng "Kiểm tra nhiều URL" khi cần rà cả danh sách rồi xuất CSV.
Phương pháp và giới hạn
Cách xử lý và giới hạnCông cụ xử lý thế nào và không làm gì
Mô tả theo mã đang chạy: dữ liệu đi đâu, kiểm tra theo chuẩn nào, giới hạn kỹ thuật ra sao.
Phương pháp xử lý
- Tải robots.txt phía máy chủ
- Máy chủ tải /robots.txt của domain (đọc tối đa 512 KiB, theo chuyển hướng) rồi trả nội dung về trình duyệt. Việc phân tích và so khớp URL chạy trong trình duyệt.
- So khớp theo RFC 9309
- Quy tắc khớp dài nhất thắng; bằng nhau thì Allow thắng. Ký tự * khớp chuỗi bất kỳ, $ neo cuối đường dẫn. Googlebot-Image, Googlebot-News và Googlebot Smartphone kế thừa nhóm Googlebot khi không có nhóm riêng.
- Diễn giải mã HTTP
- 2xx: đọc quy tắc. 4xx (trừ 429): coi như không có robots.txt, cho phép crawl toàn bộ. 429 và 5xx: coi như chặn tạm thời toàn bộ.
- Chỉ tải URL công khai
- Máy chủ chỉ nhận http/https ở cổng 80 và 443, không nhận URL có tài khoản. Tên miền được phân giải rồi kiểm tra địa chỉ IP ngay lúc kết nối; địa chỉ nội bộ (localhost, mạng riêng, link-local, metadata đám mây) bị chặn, kể cả khi trang chuyển hướng tới đó. Mỗi bước chuyển hướng được kiểm tra lại.
- Giới hạn tần suất
- Mỗi địa chỉ IP có hạn mức số lượt gọi mỗi phút, đếm tạm trong bộ nhớ máy chủ, không ghi ra đĩa. Vượt hạn mức sẽ báo "quá nhiều yêu cầu"; chờ ít phút rồi chạy lại.
Giới hạn
- URL bị chặn crawl không đồng nghĩa không thể xuất hiện trên kết quả tìm kiếm. Muốn loại khỏi index cần noindex hoặc gỡ URL.
- Quy tắc khớp theo Robots Exclusion Protocol (RFC 9309); hành vi của Bing và các crawler khác có thể khác đôi chút.
- Chỉ tải được robots.txt công khai.
Lỗi thường gặp
Lỗi thường gặpGặp lỗi thì xử lý thế nào
Thông báo hay tình huống người dùng hay gặp, nguyên nhân thường là gì và cách xử lý.
robots.txt trả 404
Nguyên nhân: Site chưa có file. Crawler hiểu là được phép crawl toàn bộ.
Cách xử lý: Nếu muốn khai báo Sitemap hoặc chặn thư mục, tạo file ở gốc domain.
robots.txt trả lỗi 5xx hoặc 429
Nguyên nhân: Máy chủ đang lỗi; crawler thường tạm dừng crawl cả site.
Cách xử lý: Sửa lỗi máy chủ sớm, rồi kiểm tra lại.
Googlebot bị chặn nhầm cả site
Nguyên nhân: Nhóm áp dụng có "Disallow: /" (thường còn sót từ môi trường thử nghiệm).
Cách xử lý: Xóa hoặc thu hẹp quy tắc, kiểm tra lại bằng tab URL Tester.
Cảnh báo "thiếu dấu hai chấm" hoặc "đứng trước User-agent"
Nguyên nhân: Dòng sai cú pháp hoặc đặt sai thứ tự nên crawler bỏ qua.
Cách xử lý: Sửa theo số dòng được báo; mỗi nhóm bắt đầu bằng User-agent.
Sitemap không phải URL đầy đủ
Nguyên nhân: Khai báo đường dẫn tương đối.
Cách xử lý: Dùng URL tuyệt đối bắt đầu bằng https://.
URL bị chặn nhưng vẫn xuất hiện trên Google
Nguyên nhân: Disallow chỉ ngăn crawl, không ngăn index nếu có liên kết trỏ tới.
Cách xử lý: Muốn loại khỏi kết quả, cho phép crawl và dùng noindex.
Hỏi nhanh về Robots.txt Checker
Disallow có ngăn trang bị index không?
Không chắc. Disallow chỉ ngăn crawl; URL vẫn có thể được index nếu có liên kết trỏ tới. Dùng noindex (và cho phép crawl) để loại khỏi chỉ mục.
Quy tắc nào thắng khi Allow và Disallow cùng khớp?
Quy tắc cụ thể hơn (đường dẫn dài hơn) thắng; nếu bằng nhau thì Allow thắng. Tab URL Tester chỉ rõ quy tắc quyết định.
robots.txt trả 404 thì sao?
Google coi như cho phép crawl toàn bộ. Công cụ báo rõ mã HTTP để bạn nhận ra.
Đọc thêm
Bài hướng dẫn liên quan
Chưa có bài hướng dẫn riêng cho Robots.txt Checker. Cách dùng, giới hạn và lỗi thường gặp đã có ở các phần trên; bài mới sẽ hiện ở đây khi được đăng.
Công cụ cho bạn dữ liệu; quyết định sửa gì vẫn cần người đọc. Cần người xem cùng, gửi URL để nhận đánh giá sơ bộ. Không cam kết thứ hạng.