Nếu Yandex Webmaster báo một URL chưa được đưa vào tìm kiếm, đừng vội xóa bài, thay toàn bộ robots.txt hoặc gửi lại URL liên tục. Hãy xác định cảnh báo thuộc nhóm nào: lỗi kỹ thuật cần sửa, trang bị loại có chủ đích hoặc hợp lý, hay trạng thái cần chờ thêm dữ liệu.
Sau bài này, bạn có thể dùng một URL công khai thật của website để đọc lý do, ghi bằng chứng, ưu tiên lỗi ảnh hưởng nhiều trang và kiểm tra lại sau khi sửa. Bạn cần quyền xem website trong Yandex Webmaster, một URL công khai thật và quyền kiểm tra WordPress, hosting hoặc lớp máy chủ tùy nguyên nhân. Ví dụ xuyên suốt là SaibABC.Com, nhưng bài không khẳng định website này đang có cảnh báo, URL đã được lập chỉ mục hay đã hoàn tất bất kỳ bước nào.
Gợi ý ảnh minh họa: nếu chỉ tạo ảnh bằng AI, hãy dùng sơ đồ khái niệm “website → bot Yandex → dữ liệu lập chỉ mục → báo cáo”. Khi biên tập, có thể bổ sung ảnh chụp giao diện thật đã được thu thập hợp lệ; không dùng ảnh AI giả làm giao diện Yandex Webmaster hoặc làm bằng chứng cho trạng thái của SaibABC.Com.
Phân biệt “chưa lập chỉ mục” với “bị phạt”
Trong Yandex Webmaster, trạng thái Excluded pages cho biết URL đã được hệ thống biết đến hoặc đã được kiểm tra nhưng hiện không tham gia kết quả tìm kiếm. Số lượng trang bị loại trong báo cáo không tự chứng minh website bị giảm thứ hạng. Yandex cũng cho biết một trang có thể được kiểm tra lại định kỳ và có thể xuất hiện sau này nếu nguyên nhân thay đổi (theo yandex.com).
“Có cảnh báo” cũng không đồng nghĩa website bị phạt. Nếu nghi ngờ có biện pháp hạn chế hoặc vi phạm, hãy kiểm tra riêng khu vực Website optimization → Security and violations, thay vì suy luận từ danh sách trang bị loại.
| Câu hỏi | Điều đó chứng minh gì? | Điều đó chưa chứng minh gì? |
|---|---|---|
| URL trả về HTTP 200 OK? | Máy chủ đã trả phản hồi thành công ở lần kiểm tra đó. | URL chắc chắn đã được lập chỉ mục hoặc có thứ hạng. |
| Bot đã truy cập URL? | Yandex đã tải URL ở một thời điểm nhất định. | Trang chắc chắn xuất hiện trong kết quả tìm kiếm. |
| URL nằm trong sitemap? | Bạn đã cung cấp thêm thông tin về URL. | Yandex phải lập chỉ mục URL. |
| URL nằm trong Excluded pages? | URL hiện chưa tham gia kết quả tìm kiếm theo trạng thái được hiển thị. | Website bị phạt hoặc URL vĩnh viễn không thể xuất hiện. |
Mục tiêu không phải là “đưa mọi URL vào chỉ mục”, mà là xác định URL nào đáng sửa, URL nào nên để ngoài tìm kiếm và URL nào cần chờ lần đánh giá tiếp theo.
Đọc cảnh báo và ghi bằng chứng trước khi sửa
Trong Yandex Webmaster, mở đúng website rồi vào khu vực có ý nghĩa tương đương Website optimization → Site diagnostics để đọc cảnh báo tổng quan. Với một URL cụ thể, vào Indexing → Searchable pages và mở danh sách trang bị loại. Tên mục có thể khác theo ngôn ngữ hoặc phiên bản giao diện; hãy tìm khu vực hiển thị lý do URL không tham gia tìm kiếm.
Trước khi sửa, ghi lại bốn thông tin:
- URL đầy đủ, gồm giao thức và tên miền thực tế.
- Nhóm lý do hoặc thông báo nguyên văn mà Yandex hiển thị.
- Ngày kiểm tra và lần bot truy cập gần nhất nếu báo cáo có cung cấp.
- Hành động dự kiến: sửa, giữ nguyên, kiểm tra thêm hay chờ.
Site diagnostics có thể hiển thị lỗi và khuyến nghị sau các lần kiểm tra tự động. Sau khi sửa, thay đổi cấu hình chưa phải bằng chứng cảnh báo đã biến mất; cần để bot truy cập lại hoặc dùng công cụ kiểm tra phù hợp để xác nhận (theo yandex.com).
Bảng phân loại: sửa, giữ nguyên hay chờ?
| Nhóm cảnh báo | Dấu hiệu thường gặp | Quyết định ban đầu | Bằng chứng cần kiểm tra |
|---|---|---|---|
| Lỗi máy chủ hoặc tải trang | Phản hồi 3xx, 4xx hoặc 5xx; bot không tải được nội dung. | Sửa nếu URL cần xuất hiện. | Phản hồi bot nhận được, URL đích và nhật ký máy chủ nếu có. |
| robots.txt hoặc noindex | URL bị cấm thu thập hoặc HTML/header yêu cầu không lập chỉ mục. | Sửa nếu đây là trang công khai cần tìm thấy; giữ nguyên nếu có chủ đích. | robots.txt, mã HTML, HTTP header và cài đặt WordPress/plugin. |
| Chuyển hướng | URL dẫn bot sang địa chỉ khác. | Giữ nếu chuyển hướng là chủ ý; sửa nếu sai đích hoặc tạo chuỗi bất thường. | Mã 3xx, URL cuối cùng và nội dung URL đích. |
| Nội dung trùng hoặc canonical | Yandex xem URL giống URL khác hoặc không phải URL chính. | Giữ nếu URL phụ đúng là bản trùng; sửa nếu nhận diện nhầm. | Nội dung hai URL, liên kết canonical, chuyển hướng và liên kết nội bộ. |
| Giá trị thấp hoặc nhu cầu thấp | Trang ít nội dung, trùng lặp, không đáp ứng rõ nhu cầu tìm kiếm hoặc nội dung chính khó đọc với bot. | Chỉ cải thiện khi trang thực sự quan trọng; không sửa hàng loạt theo cảm tính. | Nội dung hiển thị cho bot, cấu trúc tiêu đề, tính độc đáo và vai trò của trang. |
| URL không còn tồn tại hoặc không cần tìm kiếm | Trang nháp, trang kỹ thuật, URL đã xóa hoặc khu vực cần đăng nhập. | Không cố đưa vào chỉ mục. | URL còn cần phục vụ người dùng hay không, phản hồi 404/403/410 hoặc quyền truy cập. |
Yandex liệt kê các nguyên nhân phổ biến gồm lỗi phản hồi 3xx–5xx, chỉ dẫn cấm lập chỉ mục, chuyển hướng, nội dung trùng, URL không canonical và trang bị đánh giá là giá trị thấp hoặc nhu cầu thấp (theo yandex.com).
Kiểm tra lỗi truy cập, máy chủ và chuyển hướng
Kiểm tra URL cuối cùng
Trình duyệt có thể tự chuyển từ HTTP sang HTTPS, thêm hoặc bỏ www, hoặc đưa bạn tới URL khác. Mở URL mẫu trong cửa sổ riêng tư, chờ tải xong, ghi lại địa chỉ cuối cùng và so sánh với URL đang bị cảnh báo.
Nếu URL cần xuất hiện nhưng trả về 404 hoặc 5xx, hãy kiểm tra WordPress, hosting, CDN và máy chủ theo đúng quyền bạn có. Nếu URL đã bị xóa có chủ đích, không khôi phục chỉ để làm biến mất cảnh báo. Nếu URL cần chuyển sang bài mới, kiểm tra chuyển hướng có kết thúc ở đúng trang công khai hay không.
Đối chiếu phản hồi mà bot nhận được
Hãy dùng công cụ kiểm tra phản hồi máy chủ của Yandex nếu giao diện cung cấp, hoặc đối chiếu phản hồi thực tế của URL ở trạng thái không đăng nhập. Trình duyệt mở được trang không đảm bảo bot nhận cùng nội dung: CAPTCHA, giới hạn IP, yêu cầu đăng nhập, lỗi IPv4/IPv6 hoặc lớp bảo vệ có thể tạo phản hồi khác.
Nếu đã sửa và URL trả về 200 OK, ghi trạng thái là “đã sửa, chờ bot kiểm tra lại”. Chỉ đổi thành “đã xử lý” sau khi cảnh báo hoặc trạng thái URL được Yandex cập nhật.
Kiểm tra robots.txt, noindex và chỉ dẫn chặn
Một trang có thể bị loại bởi nhiều lớp:
robots.txtgiới hạn việc bot truy cập URL.- Thẻ HTML
meta name="robots" content="noindex"yêu cầu không đưa trang vào chỉ mục. - HTTP header
X-Robots-Tagcó thể gửi chỉ dẫn tương tự ngoài HTML. - Cài đặt WordPress hoặc plugin SEO có thể tự sinh các chỉ dẫn trên.
Hãy kiểm tra cả bốn lớp thay vì chỉ nhìn một ô cài đặt trong WordPress. Nếu website công khai đang bật tùy chọn tương đương “Discourage search engines from indexing this site”, ghi lại giá trị cũ, xác nhận đó là nguyên nhân rồi mới tắt. Sau khi lưu, làm mới hoặc xóa cache theo quy trình của website, sau đó kiểm tra lại HTML và HTTP header.
Nếu cần hướng dẫn kiểm tra từng lớp, xem hướng dẫn kiểm tra robots.txt và noindex. Chỉ thay đổi cấu hình sau khi xác định đúng URL, lưu giá trị cũ và biết cách hoàn tác.
Không thay toàn bộ robots.txt bằng một mẫu trên mạng. Một thay đổi rộng có thể mở lại khu vực không nên thu thập hoặc xóa dòng Sitemap đang được sử dụng. robots.txt cũng không bảo vệ dữ liệu riêng tư; nội dung cần hạn chế truy cập phải dùng đăng nhập, phân quyền hoặc kiểm soát máy chủ phù hợp.
Phân biệt chuyển hướng, nội dung trùng và canonical
Ba trường hợp này dễ bị gom nhầm thành “Yandex không lập chỉ mục”, nhưng cách xử lý khác nhau:
- Chuyển hướng: URL cũ chủ động đưa người dùng và bot sang URL mới. Nếu đúng, không cần cố lập chỉ mục URL cũ.
- Nội dung trùng: hai hoặc nhiều URL có nội dung giống hoặc gần giống. Bạn cần xác định URL chính và giảm các phiên bản không cần thiết.
- Canonical: trang khai báo URL đại diện trong thuộc tính
rel="canonical". Nếu canonical trỏ nhầm sang trang khác, sửa nguồn tạo thẻ rồi kiểm tra HTML công khai.
Trước khi thay đổi, mở URL bị loại và URL được xem là bản chính. So sánh nội dung thực tế, liên kết nội bộ, canonical, mã phản hồi và chuyển hướng. Nếu URL phụ tồn tại để phục vụ bộ lọc, tham số hoặc phiên bản kỹ thuật, việc không lập chỉ mục có thể là kết quả mong muốn.
Đánh giá trang giá trị thấp hoặc nhu cầu thấp
Đây không phải lúc nào cũng là lỗi kỹ thuật. Yandex có thể loại trang vì trang trùng lặp, ít nội dung hữu ích, nội dung quan trọng chỉ xuất hiện dưới dạng khó đọc với bot, hoặc nhu cầu tìm kiếm được đánh giá là thấp. Yandex cũng nêu rằng việc loại các trang như vậy không tự đồng nghĩa website có vi phạm hoặc bị hạn chế xếp hạng (theo yandex.com).
Chỉ cải thiện nhóm này khi URL thật sự có vai trò trong website. Hãy kiểm tra:
- Trang có trả lời một nhu cầu rõ ràng hay chỉ lặp lại nội dung của URL khác?
- Tiêu đề, tiêu đề chính và các đề mục có mô tả đúng nội dung không?
- Nội dung quan trọng có nằm trong HTML mà bot có thể nhận được không?
- Trang có liên kết nội bộ phù hợp và nằm trong cấu trúc website không?
- URL có phải trang kỹ thuật, trang lọc, trang so sánh, trang phân trang hoặc trang chỉ dành cho người đã đăng nhập không?
Không nên thêm văn bản chỉ để làm trang dài hơn hoặc đổi hàng loạt tiêu đề mà chưa hiểu nguyên nhân. Nếu trang không có mục tiêu tìm kiếm độc lập, giữ nguyên ngoài chỉ mục có thể là quyết định đúng.
Khi nào nên chờ Yandex đánh giá lại?
Bạn có thể ghi “cần chờ” khi đã có bằng chứng rằng:
- URL công khai và phản hồi ổn định.
- Không có robots.txt, noindex hoặc header chặn nhầm.
- Chuyển hướng và canonical phù hợp.
- Nội dung cần lập chỉ mục thực sự có mặt và không phải bản trùng hiển nhiên.
- Bạn đã ghi ngày sửa hoặc ngày gửi yêu cầu thu thập lại.
Yandex cho biết trang bị loại vẫn có thể được bot kiểm tra lại; sau khi phát hiện thay đổi, trang có thể xuất hiện trong tìm kiếm trong khoảng thời gian tiếp theo, nhưng đây không phải cam kết cố định cho mọi website. Vì vậy, đừng ghi “đã lập chỉ mục” chỉ vì đã sửa mã hoặc gửi lại URL.
Nếu URL cần kiểm tra lại, chỉ gửi yêu cầu sau khi nguyên nhân đã được sửa. Công cụ yêu cầu thu thập lại chỉ thông báo cho bot xem xét URL; trạng thái tiếp nhận hoặc đã thu thập không phải bằng chứng URL đã xuất hiện trong tìm kiếm.
Ưu tiên khi cảnh báo ảnh hưởng nhiều trang
Nếu có hàng trăm hoặc hàng nghìn URL bị loại, đừng sửa từng trang theo thứ tự hiển thị. Hãy nhóm theo nguyên nhân và phạm vi:
- Ưu tiên cao: lỗi máy chủ, chặn toàn website, noindex toàn site, chuyển hướng sai hàng loạt hoặc thay đổi HTTPS/tên miền.
- Ưu tiên trung bình: một loại nội dung bị canonical sai, sitemap chứa nhiều URL không mong muốn hoặc plugin SEO tạo chỉ dẫn sai cho một nhóm bài.
- Ưu tiên theo quyết định nội dung: trang trùng, trang giá trị thấp, trang lọc, phân trang hoặc URL kỹ thuật không cần xuất hiện.
- Ưu tiên theo dõi: URL đã sửa, phản hồi ổn định nhưng Yandex chưa cập nhật trạng thái.
Ví dụ, nếu 500 URL cùng có noindex sau một lần đổi cài đặt WordPress, hãy kiểm tra một URL đại diện trước. Nếu bằng chứng giống nhau, sửa nguồn tạo chỉ dẫn rồi kiểm tra lại một vài URL thuộc các loại nội dung khác nhau. Không sửa 500 URL riêng lẻ nếu nguyên nhân nằm ở một cấu hình chung.
Phiếu kiểm tra cho một URL
| Mục ghi nhận | Giá trị cần điền |
|---|---|
| URL | [URL bài viết công khai] |
| Ngày kiểm tra | [ngày/tháng/năm] |
| Lý do Yandex hiển thị | [chép nguyên văn] |
| Mã phản hồi | [200 / 3xx / 4xx / 5xx / chưa xác định] |
| robots.txt | [cho phép / bị chặn / chưa kiểm tra] |
| HTML hoặc HTTP header | [có noindex / không có / chưa kiểm tra] |
| Canonical hoặc URL đích | [URL thực tế hoặc chưa xác định] |
| Nhóm quyết định | [sửa / giữ nguyên / chờ / cần kiểm tra thêm] |
| Bằng chứng sau sửa | [ảnh chụp, mã phản hồi, HTML, thông báo hoặc ngày kiểm tra lại] |
Với SaibABC.Com, hãy giữ nguyên các ký hiệu như [URL chính thức của website] hoặc [URL bài viết công khai] cho đến khi bạn kiểm tra được địa chỉ thật. Không tự tạo URL mẫu rồi dùng nó làm bằng chứng.
Lỗi dễ mắc khi xử lý cảnh báo
- Sửa robots.txt ngay khi thấy URL bị loại: có thể URL bị loại vì nội dung trùng, chuyển hướng hoặc không cần lập chỉ mục.
- Thấy 200 OK rồi kết luận đã lập chỉ mục: 200 chỉ mô tả phản hồi máy chủ tại lần kiểm tra.
- Gửi lại cùng một URL nhiều lần: không thay thế cho việc tìm nguyên nhân.
- Xóa noindex trên mọi trang: có thể đưa trang quản trị, trang lọc, trang nháp hoặc trang riêng tư vào quy trình thu thập.
- Đổi DNS hoặc tắt tường lửa để thử: đây là thay đổi rộng, không phù hợp khi chưa có bằng chứng lớp bảo vệ là nguyên nhân.
- Dùng kết quả tìm kiếm đơn lẻ làm bằng chứng: việc không thấy URL trong một truy vấn chưa đủ kết luận URL bị loại.
Bài tập thực hành và bước tiếp theo
Chọn một URL bài viết công khai đã được xác minh thật trên website của bạn. Ghi vào phiếu:
- Lý do Yandex hiển thị.
- Mã phản hồi và URL cuối cùng.
- Trạng thái robots.txt, HTML và HTTP header.
- Quyết định: sửa, giữ nguyên có chủ đích, chờ hay kiểm tra thêm.
- Bằng chứng sẽ dùng để xác nhận sau lần kiểm tra kế tiếp.
Bài tập đạt yêu cầu khi một người khác đọc phiếu và hiểu được bạn đang dựa vào bằng chứng nào, thay vì chỉ thấy kết luận “chưa lập chỉ mục”. Nếu cần rà lại cách chọn đúng báo cáo và phân biệt dữ liệu trống với cảnh báo, xem cách đọc bảng điều khiển Yandex Webmaster. Nếu lỗi nằm ở một URL cụ thể, có thể chuyển sang cách kiểm tra bài viết đã được Yandex lập chỉ mục hay chưa.
Kết quả của bài này giúp bạn quyết định bước tiếp theo: sửa lớp kỹ thuật gây lỗi, giữ nguyên những URL không cần tìm kiếm hoặc theo dõi URL đã đủ điều kiện nhưng chưa được đánh giá lại. Đừng cố đưa mọi trang kỹ thuật vào chỉ mục và cũng đừng coi cảnh báo là bằng chứng bị phạt nếu chưa kiểm tra khu vực vi phạm riêng.
Nguồn tham khảo
- Why are pages excluded from the search? — Yandex Webmaster
- Searchable pages — Yandex Webmaster
- Low-value or low-demand pages — Yandex Webmaster
- Site diagnostics — Yandex Webmaster
- Site indexing — Yandex Webmaster
- How do I prohibit indexing of the site or pages? — Yandex Webmaster
