Website không được index: Cách kiểm tra và xử lý

Khi một website không được index, vấn đề thường không xảy ra đồng loạt trên toàn bộ website. Có thể chỉ một URL, một nhóm bài viết hoặc một loại trang chưa xuất hiện trong chỉ mục của Google.

Cách xử lý hiệu quả, kể cả khi index bloat phát sinh từ bộ lọc, là xác định đúng trạng thái: URL chưa được thu thập, đã thu thập nhưng chưa được index, bị chặn bởi noindex hoặc robots.txt, hay được Google xem là bản trùng lặp do canonical. Không nên mặc định plugin SEO, theme hoặc một bên triển khai cụ thể là nguyên nhân khi chưa có bằng chứng kỹ thuật.

Website không được index nghĩa là gì?

Một URL không xuất hiện trên Google có thể thuộc các trường hợp sau:

Trạng thái	Ý nghĩa chính	Hướng kiểm tra
Chưa được thu thập dữ liệu	Google biết hoặc chưa biết URL nhưng chưa tải nội dung	Liên kết nội bộ, sitemap, khả năng truy cập, tài nguyên máy chủ
Đã thu thập nhưng chưa index	Google đã đọc trang nhưng chưa đưa vào chỉ mục	Chất lượng, tính hữu ích, trùng lặp, soft 404, render
Bị loại bởi noindex	Trang phát tín hiệu không muốn được lập chỉ mục	Meta robots và HTTP header X-Robots-Tag
Bị chặn bởi robots.txt	Googlebot không được phép thu thập URL	Quy tắc Disallow theo đúng host và đường dẫn
URL thay thế do canonical	Google xem URL khác là phiên bản chính	Canonical do website khai báo và canonical Google lựa chọn
Chuyển hướng hoặc lỗi HTTP	URL không trả về trang có thể index bình thường	Mã trạng thái 3xx, 4xx, 5xx hoặc soft 404

Lệnh tìm kiếm site: có thể hỗ trợ kiểm tra nhanh nhưng không phải công cụ xác nhận index tuyệt đối. Với một URL cụ thể, báo cáo Kiểm tra URL trong Google Search Console đáng tin cậy hơn.

Thứ tự kiểm tra URL trong Google Search Console

1. Xác nhận đúng URL cần kiểm tra

Sao chép URL đầy đủ, bao gồm:

• Giao thức http hoặc https.
• Phiên bản có hoặc không có www.
• Đường dẫn và dấu gạch chéo cuối URL.
• Tham số truy vấn nếu có.

Các phiên bản này có thể được Google xem là những URL khác nhau. Hãy kiểm tra URL thực tế mà người dùng và liên kết nội bộ đang truy cập.

2. Dùng công cụ Kiểm tra URL

Nhập URL vào Google Search Console và xem các thông tin:

• URL có nằm trên Google hay không.
• Google có được phép thu thập dữ liệu không.
• Việc lập chỉ mục có được cho phép không.
• Lần thu thập dữ liệu gần nhất.
• Canonical do người dùng khai báo.
• Canonical do Google lựa chọn.
• Trang giới thiệu hoặc sitemap liên quan nếu Search Console cung cấp dữ liệu.

Tên trạng thái có thể thay đổi theo giao diện hoặc ngôn ngữ của Search Console, nhưng nguyên tắc chẩn đoán không đổi.

3. Chạy kiểm tra URL đang hoạt động

Kiểm tra trực tiếp giúp xác định trạng thái hiện tại của trang, đặc biệt khi website vừa được sửa. Hãy xem:

• Google có truy cập được URL không.
• Trang có trả về nội dung bình thường không.
• Có chỉ thị noindex hay không.
• Tài nguyên quan trọng có bị chặn không.

Kết quả kiểm tra trực tiếp chỉ cho biết URL có thể được truy cập và xử lý tại thời điểm kiểm tra. Đây không phải cam kết rằng Google sẽ index URL.

4. Đối chiếu báo cáo Lập chỉ mục trang

Nếu nhiều URL cùng gặp vấn đề, mở báo cáo lập chỉ mục để xác định phạm vi ảnh hưởng. Kiểm tra xem lỗi chỉ xuất hiện ở một bài viết hay lặp lại theo mẫu như:

• Toàn bộ bài viết mới.
• Trang danh mục hoặc thẻ.
• URL có tham số.
• Trang sản phẩm hết hàng.
• Phiên bản HTTP, HTTPS, có www hoặc không có www.

Việc xác định mẫu chung giúp tránh sửa từng URL trong khi nguyên nhân nằm ở template, cấu hình máy chủ hoặc hệ thống quản trị nội dung.

Phân biệt các nguyên nhân không được index

URL chưa được thu thập dữ liệu

Trong Search Console, trường hợp này có thể xuất hiện dưới trạng thái tương đương với Đã phát hiện – hiện chưa được lập chỉ mục.

Google có thể đã biết URL qua sitemap hoặc liên kết nhưng chưa thu thập trang. Các yếu tố nên kiểm tra gồm:

• URL có liên kết nội bộ từ trang đã được index hay không.
• URL có nằm trong sitemap XML đang hoạt động hay không.
• Máy chủ có phản hồi chậm, quá tải hoặc thường xuyên trả lỗi 5xx không.
• Website có tạo quá nhiều URL bộ lọc, tham số hoặc trang gần như trùng lặp không.
• URL có bị bỏ rơi, chỉ truy cập được khi nhập trực tiếp không.

Nếu có quyền truy cập nhật ký máy chủ, có thể kiểm tra liệu Googlebot đã yêu cầu URL hay chưa. Chỉ kết luận dựa trên log khi dữ liệu đầy đủ và đã xác minh đúng bot.

Đã thu thập nhưng chưa được index

Trạng thái tương đương với Đã thu thập dữ liệu – hiện chưa được lập chỉ mục cho biết Google đã truy cập trang nhưng chưa đưa URL vào chỉ mục.

Đây không nhất thiết là lỗi kỹ thuật. Hãy đánh giá:

• Trang có trả mã HTTP 200 thực sự không.
• Nội dung chính có hiển thị khi Google render trang không.
• Trang có quá ít thông tin hữu ích hoặc giống nhiều URL khác không.
• Tiêu đề, nội dung và mục đích trang có nhất quán không.
• Trang có dấu hiệu soft 404, chẳng hạn trả mã 200 nhưng nội dung báo không tìm thấy hoặc gần như trống không.
• Canonical, liên kết nội bộ và sitemap có cùng hướng về URL cần index không.

Không nên chỉ kéo dài bài viết hoặc lặp lại từ khóa để cố được index. Nếu nội dung chưa đáp ứng nhu cầu tìm kiếm, cần bổ sung thông tin thực sự hữu ích, hợp nhất các trang trùng ý định hoặc làm rõ vai trò riêng của URL.

URL bị loại do noindex

Chỉ thị noindex có thể xuất hiện ở:

<meta name="robots" content="noindex">

Hoặc trong HTTP header:

X-Robots-Tag: noindex

Cần kiểm tra cả mã HTML cuối cùng sau khi render và header phản hồi. noindex có thể được thêm bởi CMS, plugin SEO, template, môi trường staging hoặc cấu hình máy chủ.

Không tự gỡ noindex khi chưa xác nhận mục đích của trang. Chỉ thị này có thể được đặt có chủ đích cho trang đăng nhập, kết quả tìm kiếm nội bộ, trang thử nghiệm, nội dung riêng tư hoặc URL không cần xuất hiện trên Google.

robots.txt chặn Google

Tệp robots.txt kiểm soát hoạt động thu thập dữ liệu, không phải là công cụ xóa URL khỏi chỉ mục. Một quy tắc thường gặp là:

User-agent: Googlebot
Disallow: /thu-muc/

Hãy kiểm tra đúng tệp robots.txt của host đang sử dụng, ví dụ phiên bản có www có thể khác phiên bản không có www.

Nếu một URL vừa bị chặn bởi robots.txt vừa có noindex, Google có thể không thu thập được trang để nhìn thấy chỉ thị noindex. Vì vậy, không nên kết hợp hai cơ chế một cách máy móc.

Không tự xóa quy tắc Disallow trước khi chủ website xác nhận URL được phép công khai và cho Google thu thập. Việc mở chặn nhầm có thể làm lộ trang quản trị, trang thử nghiệm hoặc khu vực không dành cho công cụ tìm kiếm.

Lỗi hoặc xung đột canonical

Canonical giúp chỉ ra phiên bản đại diện của một nhóm URL giống hoặc gần giống nhau:

<link rel="canonical" href="https://example.com/trang-chinh/">

Trong công cụ Kiểm tra URL, cần so sánh:

• Canonical do người dùng khai báo: URL mà website đề xuất.
• Canonical do Google lựa chọn: URL Google xem là phiên bản đại diện.

Nếu một bài viết trỏ canonical sang URL khác, Google có thể loại URL đang kiểm tra khỏi chỉ mục. Đây có thể là hành vi đúng khi URL là bản sao, nhưng là vấn đề nếu canonical được tạo sai bởi template hoặc cấu hình CMS.

Canonical là tín hiệu, không phải mệnh lệnh tuyệt đối. Google còn đối chiếu chuyển hướng, sitemap, liên kết nội bộ và mức độ tương đồng nội dung. Không nên thêm canonical tự tham chiếu hàng loạt nếu chưa hiểu cấu trúc URL và mục đích của từng trang.

Cách xử lý an toàn theo từng trường hợp

Khi URL chưa được thu thập

1. Đảm bảo URL công khai và máy chủ phản hồi ổn định.
2. Thêm liên kết nội bộ từ trang liên quan, có thể truy cập bằng điều hướng thông thường.
3. Đưa URL chuẩn vào sitemap XML nếu URL đủ điều kiện index.
4. Loại URL lỗi, chuyển hướng hoặc noindex khỏi sitemap.
5. Kiểm soát việc tạo URL tham số, bộ lọc và trang trùng lặp.
6. Gửi yêu cầu lập chỉ mục sau khi đã kiểm tra kỹ.

Khi Google không index bài viết dù đã crawl

1. Kiểm tra mã trạng thái HTTP, nội dung render và soft 404.
2. So sánh bài viết với các URL cùng chủ đề trên chính website.
3. Hợp nhất hoặc chuyển hướng nếu nhiều trang phục vụ cùng một ý định.
4. Bổ sung nội dung giải quyết câu hỏi của người đọc thay vì chỉ tăng số chữ.
5. Làm rõ tiêu đề, heading, liên kết nội bộ và vị trí của bài trong cấu trúc website.
6. Kiểm tra canonical và sitemap có trỏ đúng URL hay không.

Khi phát hiện noindex

1. Xác nhận noindex là chủ đích hay cấu hình nhầm.
2. Xin phê duyệt của chủ website trước khi thay đổi chỉ thị index.
3. Nếu được phép index, gỡ noindex khỏi đúng nguồn phát sinh: CMS, plugin, template hoặc HTTP header.
4. Kiểm tra lại URL đang hoạt động.
5. Gửi yêu cầu lập chỉ mục sau khi thay đổi đã được triển khai.

Khi robots.txt chặn Google

1. Xác định quy tắc nào đang áp dụng cho URL.
2. Kiểm tra mục đích bảo mật và quyền công khai của khu vực bị chặn.
3. Chỉ sửa robots.txt sau khi có xác nhận của chủ website.
4. Kiểm tra lại các URL khác dùng chung đường dẫn để tránh mở chặn quá rộng.
5. Sau khi sửa, kiểm tra khả năng thu thập bằng Search Console.

Khi canonical không đúng

1. Xác định URL nào thực sự là phiên bản chính.
2. Sửa canonical trên trang nếu website đang khai báo sai.
3. Đồng bộ liên kết nội bộ và sitemap về URL chính.
4. Dùng chuyển hướng nếu URL cũ không còn cần tồn tại độc lập.
5. Tránh chuỗi canonical hoặc canonical trỏ đến URL lỗi, chuyển hướng hay noindex.
6. Nếu Google vẫn chọn URL khác, kiểm tra mức độ trùng lặp và các tín hiệu kỹ thuật đang mâu thuẫn.

Kiểm tra lại sau khi khắc phục

Sau khi thay đổi, thực hiện theo thứ tự:

1. Mở URL bằng trình duyệt và xác nhận nội dung công khai đúng dự kiến.
2. Kiểm tra mã trạng thái HTTP.
3. Kiểm tra meta robots và X-Robots-Tag.
4. Kiểm tra robots.txt.
5. Kiểm tra canonical trong mã nguồn hoặc HTML đã render.
6. Chạy kiểm tra URL đang hoạt động trong Search Console.
7. Gửi yêu cầu lập chỉ mục nếu URL đủ điều kiện.
8. Theo dõi lại báo cáo lập chỉ mục và hiệu suất tìm kiếm.

Google cần thời gian để thu thập và đánh giá lại URL. Yêu cầu lập chỉ mục không đảm bảo URL sẽ được index hoặc xếp hạng. Không nên gửi lặp lại khi nguyên nhân gốc chưa được xử lý.

Checklist chẩn đoán nhanh

• [ ] Đã kiểm tra đúng phiên bản URL.
• [ ] URL trả mã HTTP phù hợp, không lỗi hoặc chuyển hướng ngoài dự kiến.
• [ ] Googlebot được phép thu thập URL.
• [ ] Trang không có noindex ngoài chủ đích.
• [ ] Canonical trỏ đến phiên bản chính xác.
• [ ] Canonical do Google chọn đã được đối chiếu.
• [ ] URL có liên kết nội bộ rõ ràng.
• [ ] Sitemap chỉ chứa URL chuẩn và đủ điều kiện index.
• [ ] Nội dung không trùng lặp hoặc thiếu giá trị rõ rệt.
• [ ] Mọi thay đổi đối với noindex, robots.txt và canonical đã được chủ website phê duyệt.

Chẩn đoán website không được index nên dựa trên dữ liệu của từng URL và các tín hiệu kỹ thuật có thể kiểm chứng. Không có một thao tác duy nhất bảo đảm Google lập chỉ mục; mục tiêu là loại bỏ rào cản, thống nhất tín hiệu và cung cấp trang thực sự hữu ích cho người tìm kiếm.

Xem thêm

• Traffic giảm sau khi SEO: Cách tìm đúng nguyên nhân – Hason Tech