Bỏ qua tới nội dung
Thành Mê Tech

Công cụSEOCrawl có được phép không?

Robots.txt Checker

Đọc và phân tích robots.txt của bất kỳ website nào: liệt kê nhóm User-agent, quy tắc Allow/Disallow/Sitemap, phát hiện lỗi cú pháp và kiểm tra Googlebot có được phép crawl một hoặc nhiều URL hay không.

Máy chủ tải trang. Domain bạn nhập được gửi tới máy chủ của Thành Mê Tech để tải robots.txt. Công cụ không lưu lại.

Dùng khi bạn cần

  • Kiểm tra Googlebot có bị chặn không
  • Gỡ lỗi Disallow chặn nhầm
  • Rà sitemap khai báo trong robots.txt

Dùng Robots.txt Checker

Ví dụ: example.com hoặc https://example.com/trang. Công cụ tải /robots.txt của domain đó.

Chưa có kết quả

Nhập domain hoặc URL rồi bấm "Kiểm tra robots.txt". Kết quả gồm quy tắc theo từng user-agent, lỗi cú pháp, Sitemap và bộ kiểm tra URL.

Sau khi chạy

Kết quả và bước tiếpKết quả gồm gì và làm gì tiếp

Mỗi mục dưới đây là một phần của kết quả công cụ trả về. Kết quả là tín hiệu kỹ thuật để bạn quyết định, không thay cho việc xác minh trên nguồn gốc.

Kết quả và tính năng

  • 01

    Đọc robots.txt thật

    Tải file, báo mã HTTP, dung lượng, số quy tắc và số Sitemap.

  • 02

    Nhóm User-agent

    Gom quy tắc theo từng user-agent, hiển thị Allow/Disallow đúng thứ tự.

  • 03

    Phát hiện lỗi cú pháp

    Cảnh báo dòng không hợp lệ, chỉ thị lạ, quy tắc không thuộc nhóm nào.

  • 04

    Kiểm tra URL

    Chọn Googlebot, Googlebot Smartphone, Googlebot-Image, Bingbot… rồi xem URL được hay bị chặn và quy tắc nào quyết định.

  • 05

    Kiểm tra hàng loạt

    Dán nhiều URL, xuất CSV hoặc sao chép kết quả.

Bước tiếp theo

Cách sử dụng

Cách dùng: 4 bướcDùng Robots.txt Checker trong bốn bước

  1. 01

    Nhập domain hoặc URL, bấm "Kiểm tra robots.txt".

  2. 02

    Xem tab Tổng quan, User-agents và Raw robots.txt.

  3. 03

    Sang tab URL Tester, nhập URL hoặc đường dẫn và chọn user-agent.

  4. 04

    Dùng "Kiểm tra nhiều URL" khi cần rà cả danh sách rồi xuất CSV.

Phương pháp và giới hạn

Cách xử lý và giới hạnCông cụ xử lý thế nào và không làm gì

Mô tả theo mã đang chạy: dữ liệu đi đâu, kiểm tra theo chuẩn nào, giới hạn kỹ thuật ra sao.

Phương pháp xử lý

Tải robots.txt phía máy chủ
Máy chủ tải /robots.txt của domain (đọc tối đa 512 KiB, theo chuyển hướng) rồi trả nội dung về trình duyệt. Việc phân tích và so khớp URL chạy trong trình duyệt.
So khớp theo RFC 9309
Quy tắc khớp dài nhất thắng; bằng nhau thì Allow thắng. Ký tự * khớp chuỗi bất kỳ, $ neo cuối đường dẫn. Googlebot-Image, Googlebot-News và Googlebot Smartphone kế thừa nhóm Googlebot khi không có nhóm riêng.
Diễn giải mã HTTP
2xx: đọc quy tắc. 4xx (trừ 429): coi như không có robots.txt, cho phép crawl toàn bộ. 429 và 5xx: coi như chặn tạm thời toàn bộ.
Chỉ tải URL công khai
Máy chủ chỉ nhận http/https ở cổng 80 và 443, không nhận URL có tài khoản. Tên miền được phân giải rồi kiểm tra địa chỉ IP ngay lúc kết nối; địa chỉ nội bộ (localhost, mạng riêng, link-local, metadata đám mây) bị chặn, kể cả khi trang chuyển hướng tới đó. Mỗi bước chuyển hướng được kiểm tra lại.
Giới hạn tần suất
Mỗi địa chỉ IP có hạn mức số lượt gọi mỗi phút, đếm tạm trong bộ nhớ máy chủ, không ghi ra đĩa. Vượt hạn mức sẽ báo "quá nhiều yêu cầu"; chờ ít phút rồi chạy lại.

Giới hạn

  • URL bị chặn crawl không đồng nghĩa không thể xuất hiện trên kết quả tìm kiếm. Muốn loại khỏi index cần noindex hoặc gỡ URL.
  • Quy tắc khớp theo Robots Exclusion Protocol (RFC 9309); hành vi của Bing và các crawler khác có thể khác đôi chút.
  • Chỉ tải được robots.txt công khai.

Lỗi thường gặp

Lỗi thường gặpGặp lỗi thì xử lý thế nào

Thông báo hay tình huống người dùng hay gặp, nguyên nhân thường là gì và cách xử lý.

  • robots.txt trả 404

    Nguyên nhân: Site chưa có file. Crawler hiểu là được phép crawl toàn bộ.

    Cách xử lý: Nếu muốn khai báo Sitemap hoặc chặn thư mục, tạo file ở gốc domain.

  • robots.txt trả lỗi 5xx hoặc 429

    Nguyên nhân: Máy chủ đang lỗi; crawler thường tạm dừng crawl cả site.

    Cách xử lý: Sửa lỗi máy chủ sớm, rồi kiểm tra lại.

  • Googlebot bị chặn nhầm cả site

    Nguyên nhân: Nhóm áp dụng có "Disallow: /" (thường còn sót từ môi trường thử nghiệm).

    Cách xử lý: Xóa hoặc thu hẹp quy tắc, kiểm tra lại bằng tab URL Tester.

  • Cảnh báo "thiếu dấu hai chấm" hoặc "đứng trước User-agent"

    Nguyên nhân: Dòng sai cú pháp hoặc đặt sai thứ tự nên crawler bỏ qua.

    Cách xử lý: Sửa theo số dòng được báo; mỗi nhóm bắt đầu bằng User-agent.

  • Sitemap không phải URL đầy đủ

    Nguyên nhân: Khai báo đường dẫn tương đối.

    Cách xử lý: Dùng URL tuyệt đối bắt đầu bằng https://.

  • URL bị chặn nhưng vẫn xuất hiện trên Google

    Nguyên nhân: Disallow chỉ ngăn crawl, không ngăn index nếu có liên kết trỏ tới.

    Cách xử lý: Muốn loại khỏi kết quả, cho phép crawl và dùng noindex.

Hỏi nhanh về Robots.txt Checker

Disallow có ngăn trang bị index không?

Không chắc. Disallow chỉ ngăn crawl; URL vẫn có thể được index nếu có liên kết trỏ tới. Dùng noindex (và cho phép crawl) để loại khỏi chỉ mục.

Quy tắc nào thắng khi Allow và Disallow cùng khớp?

Quy tắc cụ thể hơn (đường dẫn dài hơn) thắng; nếu bằng nhau thì Allow thắng. Tab URL Tester chỉ rõ quy tắc quyết định.

robots.txt trả 404 thì sao?

Google coi như cho phép crawl toàn bộ. Công cụ báo rõ mã HTTP để bạn nhận ra.

Đọc thêm

Bài hướng dẫn liên quan

Chưa có bài hướng dẫn riêng cho Robots.txt Checker. Cách dùng, giới hạn và lỗi thường gặp đã có ở các phần trên; bài mới sẽ hiện ở đây khi được đăng.

Công cụ cho bạn dữ liệu; quyết định sửa gì vẫn cần người đọc. Cần người xem cùng, gửi URL để nhận đánh giá sơ bộ. Không cam kết thứ hạng.