Công cụSEOCrawl và index của URL
Kiểm tra Indexability URL
Kiểm tra URL có index được không: HTTP status, redirect, meta robots, X-Robots-Tag, robots.txt và canonical. Miễn phí, hỗ trợ kiểm tra hàng loạt và xuất CSV.
Máy chủ tải trang. URL được gửi tới máy chủ của Thành Mê Tech để tải trang. Công cụ không lưu URL hay kết quả.
Dùng khi bạn cần
- Vì sao trang không được index?
- Rà hàng loạt URL sau khi đổi giao diện
- Kiểm tra chuỗi redirect và canonical
Dùng Kiểm tra Indexability URL
Nhập URL để kiểm tra khả năng crawl và index.
Chưa có kết quả
Nhập URL rồi bấm "Phân tích URL". Kết quả cho biết HTTP, chuỗi redirect, noindex, robots.txt và canonical của URL đó.
Công cụ kiểm tra các tín hiệu kỹ thuật ảnh hưởng tới khả năng crawl và index. Muốn xác minh URL thực sự có trong Google Index, hãy dùng URL Inspection trong Google Search Console.
Sau khi chạy
Kết quả và bước tiếpKết quả gồm gì và làm gì tiếp
Mỗi mục dưới đây là một phần của kết quả công cụ trả về. Kết quả là tín hiệu kỹ thuật để bạn quyết định, không thay cho việc xác minh trên nguồn gốc.
Kết quả và tính năng
01
Chuỗi redirect
Theo từng bước chuyển hướng tới URL cuối cùng, báo mã HTTP từng bước.
02
Tín hiệu chặn index
meta robots, meta googlebot và X-Robots-Tag: noindex, none, nofollow.
03
robots.txt
Googlebot có được crawl URL này theo robots.txt của domain không.
04
Canonical
Tự trỏ, trỏ sang URL khác, thiếu hoặc lỗi; so sánh với URL cuối.
05
Hàng loạt
Dán danh sách URL, chạy lần lượt, thử lại URL lỗi, xuất CSV.
Bước tiếp theo
- Soát robots.txtXem toàn bộ quy tắc và thử thêm URL khác.
- Soát thẻ metaXem title, description, Open Graph của URL vừa kiểm tra.
- Rà mã HTTP cả danh sáchKiểm tra hàng loạt URL sau khi đổi cấu trúc.
- Xác minh trong Search ConsoleDùng URL Inspection để biết trạng thái index thực tế.
Cách sử dụng
Cách dùng: 4 bướcDùng Kiểm tra Indexability URL trong bốn bước
01
Chọn tab "Kiểm tra 1 URL" hoặc "Kiểm tra hàng loạt".
02
Nhập URL (hàng loạt: mỗi dòng một URL).
03
Bấm bắt đầu; xem trạng thái, tín hiệu chặn và canonical của từng URL.
04
Xuất CSV hoặc sao chép kết quả để đưa vào báo cáo audit.
Phương pháp và giới hạn
Cách xử lý và giới hạnCông cụ xử lý thế nào và không làm gì
Mô tả theo mã đang chạy: dữ liệu đi đâu, kiểm tra theo chuẩn nào, giới hạn kỹ thuật ra sao.
Phương pháp xử lý
- Theo chuỗi chuyển hướng
- Máy chủ đi từng bước (tối đa 6 lần chuyển hướng), ghi mã HTTP mỗi bước tới URL cuối.
- Gộp tín hiệu chặn index
- Đọc meta robots, meta googlebot và header X-Robots-Tag; tải robots.txt của domain và so khớp cho Googlebot; đọc canonical trong HTML và header Link. Nếu canonical trỏ sang URL khác, kiểm tra URL đó có truy cập được không.
- Điểm và trạng thái
- Điểm bắt đầu từ 100 rồi trừ theo từng tín hiệu. Có noindex hoặc lỗi HTTP là "Không thể index" (điểm tối đa 30). Có cảnh báo (robots.txt chặn, canonical lệch, chuỗi chuyển hướng dài…) là "Cần xem xét". Chỉ có mục thông tin (ví dụ thiếu canonical) vẫn là "Indexable".
- Chạy hàng loạt trong trình duyệt
- Mỗi lượt tối đa 100 URL, trình duyệt gọi máy chủ từng URL (3 URL song song) nên có tiến độ, nút Dừng và thử lại URL lỗi.
- Chỉ tải URL công khai
- Máy chủ chỉ nhận http/https ở cổng 80 và 443, không nhận URL có tài khoản. Tên miền được phân giải rồi kiểm tra địa chỉ IP ngay lúc kết nối; địa chỉ nội bộ (localhost, mạng riêng, link-local, metadata đám mây) bị chặn, kể cả khi trang chuyển hướng tới đó. Mỗi bước chuyển hướng được kiểm tra lại.
- Giới hạn tần suất
- Mỗi địa chỉ IP có hạn mức số lượt gọi mỗi phút, đếm tạm trong bộ nhớ máy chủ, không ghi ra đĩa. Vượt hạn mức sẽ báo "quá nhiều yêu cầu"; chờ ít phút rồi chạy lại.
Giới hạn
- Kết quả "Indexable" không đồng nghĩa Google chắc chắn đã lập chỉ mục URL đó. Xác minh bằng URL Inspection trong Search Console.
- Công cụ đọc HTML tải về, không chạy JavaScript.
- Hàng loạt giới hạn số URL mỗi lượt để tránh quá tải.
Lỗi thường gặp
Lỗi thường gặpGặp lỗi thì xử lý thế nào
Thông báo hay tình huống người dùng hay gặp, nguyên nhân thường là gì và cách xử lý.
Báo Indexable nhưng Google chưa index
Nguyên nhân: Công cụ chỉ thấy tín hiệu kỹ thuật; việc index còn phụ thuộc chất lượng, trùng lặp và thời gian thu thập.
Cách xử lý: Kiểm tra bằng URL Inspection trong Search Console.
Bị robots.txt chặn crawl
Nguyên nhân: Một quy tắc Disallow khớp đường dẫn của URL.
Cách xử lý: Sửa quy tắc được nêu trong kết quả, hoặc kiểm tra thêm bằng Robots.txt Checker.
Phát hiện noindex
Nguyên nhân: Có trong meta robots, meta googlebot hoặc header X-Robots-Tag.
Cách xử lý: Gỡ chỉ thị ở đúng nguồn được liệt kê nếu trang cần xuất hiện trên Google.
Cross canonical hoặc nhiều canonical
Nguyên nhân: Canonical trỏ sang URL khác, hoặc có nhiều hơn một thẻ canonical.
Cách xử lý: Giữ đúng một canonical; trỏ về chính URL nếu không chủ ý hợp nhất trang trùng.
Nghi ngờ Soft 404
Nguyên nhân: Trang trả 200 nhưng tiêu đề giống trang lỗi hoặc nội dung rất ít.
Cách xử lý: Trả đúng mã 404 hoặc 410 nếu nội dung đã bỏ, hoặc bổ sung nội dung.
Phân tích thất bại
Nguyên nhân: Không tải được URL (DNS, chứng chỉ, hết thời gian, bị chặn).
Cách xử lý: Đọc thông báo trong cột Vấn đề, sửa nguyên nhân rồi dùng "Thử lại URL lỗi".
Hỏi nhanh về Kiểm tra Indexability URL
Indexable nghĩa là gì?
Nghĩa là công cụ không thấy tín hiệu chặn index nào (noindex, robots.txt, lỗi HTTP, canonical trỏ chỗ khác). Google vẫn quyết định có index hay không.
Vì sao URL 200 nhưng vẫn báo vấn đề?
Có thể trang có noindex, canonical trỏ sang URL khác hoặc bị robots.txt chặn. Cột "Vấn đề" liệt kê cụ thể.
Dùng Search Console hay công cụ này?
Dùng cả hai: Search Console cho trạng thái index thực tế, công cụ này để rà hàng loạt tín hiệu kỹ thuật nhanh.
Đọc thêm
Bài hướng dẫn liên quan
Chưa có bài hướng dẫn riêng cho Kiểm tra Indexability URL. Cách dùng, giới hạn và lỗi thường gặp đã có ở các phần trên; bài mới sẽ hiện ở đây khi được đăng.
Công cụ cho bạn dữ liệu; quyết định sửa gì vẫn cần người đọc. Cần người xem cùng, gửi URL để nhận đánh giá sơ bộ. Không cam kết thứ hạng.