Câu trả lời ngắn: Để Google có thể thu thập website, hãy xác minh website trong Google Search Console, bảo đảm các URL công khai trả về nội dung hợp lệ, không bị robots.txt hoặc noindex chặn, gửi sitemap và tạo liên kết nội bộ đến các trang quan trọng. Sau đó dùng URL Inspection để kiểm tra từng URL cần ưu tiên.
Search Console không phải trình thu thập dữ liệu. Googlebot mới là thành phần truy cập website. Việc gửi sitemap hoặc yêu cầu lập chỉ mục chỉ tạo tín hiệu và yêu cầu xử lý; Google không bảo đảm mọi URL sẽ được thu thập, lập chỉ mục hoặc xếp hạng.
Phân biệt thu thập dữ liệu, lập chỉ mục và xuất hiện trên Google
- Thu thập dữ liệu (crawling): Googlebot truy cập URL và tải nội dung.
- Lập chỉ mục (indexing): Google phân tích nội dung, tín hiệu liên quan và quyết định có lưu URL vào chỉ mục hay không.
- Hiển thị trên kết quả tìm kiếm: Google chọn trang phù hợp với từng truy vấn. Một URL đã được lập chỉ mục vẫn có thể không xuất hiện cao hoặc không xuất hiện cho mọi từ khóa.
Vì vậy, thông báo “đã gửi sitemap” hoặc “Google đã biết URL” chưa có nghĩa trang đã được lập chỉ mục. Sau khi sửa lỗi, quá trình xử lý có thể cần thời gian và không có bảo đảm về thời điểm hoàn tất (theo Google Search Central).
Kiểm tra website trước khi thêm vào Search Console
Thực hiện các kiểm tra sau ở trình duyệt riêng tư, không đăng nhập. Đây là cách mô phỏng gần hơn việc một người dùng thông thường truy cập website.
URL phải công khai và trả về nội dung hợp lệ
Mở một URL đầy đủ, chẳng hạn:
https://example.com/bai-viet-moi/Trang cần mở được mà không yêu cầu mật khẩu, không chuyển hướng liên tục và không trả về lỗi máy chủ. Mã 200 là dấu hiệu thường gặp của một trang có thể truy cập thành công; mã 3xx, 4xx hoặc 5xx cần được kiểm tra theo mục đích cụ thể (theo Google Search Central).
Nếu có quyền dùng Terminal hoặc Command Prompt, hãy chạy lệnh sau trên máy tính của bạn và thay https://example.com/bai-viet-moi/ bằng URL thật:
curl -I -L --max-redirs 5 "https://example.com/bai-viet-moi/"Kết quả nên kết thúc bằng phản hồi thành công như HTTP/2 200 hoặc HTTP/1.1 200 OK. Nếu gặp lỗi DNS, hãy kiểm tra bản ghi DNS và tên miền; nếu gặp lỗi kết nối hoặc 5xx, hãy kiểm tra máy chủ, tường lửa hoặc dịch vụ lưu trữ. Lệnh này chỉ kiểm tra phản hồi HTTP, không thay thế URL Inspection.
Kiểm tra robots.txt và noindex
Mở địa chỉ sau, thay tên miền mẫu bằng tên miền thật:
https://example.com/robots.txtQuy tắc sau chặn Googlebot truy cập toàn bộ website:
User-agent: *
Disallow: /Nếu muốn Google thu thập một trang, hãy bảo đảm đường dẫn của trang không nằm dưới quy tắc Disallow ngoài ý muốn. Trong mã nguồn HTML, tìm chỉ thị:
<meta name="robots" content="noindex">Hãy xóa noindex hoặc đổi thiết lập tương ứng trong hệ quản trị nội dung nếu trang cần xuất hiện trên Google. Cũng kiểm tra tiêu đề HTTP X-Robots-Tag, vì chỉ thị này có thể được máy chủ gửi thay cho thẻ HTML. Không nên vừa chặn URL bằng robots.txt vừa trông chờ Google đọc được noindex: khi bị chặn, Google có thể không nhìn thấy chỉ thị đó (theo Google Search Central).
Với WordPress, kiểm tra cả mục Cài đặt > Đọc và thiết lập lập chỉ mục trong plugin SEO. Bạn có thể xem thêm hướng dẫn SEO website cho người mới để rà soát thiết lập nền tảng.
Thêm và xác minh website trong Google Search Console
Truy cập Search Console bằng tài khoản Google có quyền quản lý website và chọn Add property. Có hai loại property chính:
| Loại property | Khi nên dùng | Cách xác minh thường dùng |
|---|---|---|
| Domain property | Theo dõi toàn bộ tên miền, gồm HTTP, HTTPS, www và tên miền con. | Thêm bản ghi TXT vào DNS. |
| URL-prefix property | Theo dõi một tiền tố cụ thể, chẳng hạn https://example.com/. | Tệp HTML, thẻ HTML, Google Analytics hoặc Google Tag Manager tùy cấu hình. |
Nếu bạn chỉnh sửa được DNS, Domain property thường thuận tiện hơn vì bao quát nhiều biến thể. Nếu chưa có quyền DNS, URL-prefix property là lựa chọn thực tế. Nhập đúng giao thức và tên miền: https://example.com/ khác với http://example.com/, cũng như www.example.com khác example.com trong URL-prefix property (theo Google Search Console Help).
Xác minh bằng DNS
- Chọn Domain và nhập tên miền gốc, ví dụ
example.com. - Sao chép bản ghi TXT Search Console cung cấp, không tự sửa chuỗi giá trị.
- Mở trang quản trị DNS của nhà cung cấp tên miền.
- Tạo bản ghi TXT theo đúng tên và giá trị được cung cấp. Nếu giao diện yêu cầu trường Host hoặc Name, làm theo hướng dẫn của nhà cung cấp DNS.
- Quay lại Search Console và chọn Verify.
Nếu chưa xác minh được ngay, chờ DNS cập nhật rồi thử lại. Xác minh chỉ cấp quyền dùng dữ liệu và công cụ Search Console; nó không tự động lập chỉ mục hoặc cải thiện thứ hạng.
Gửi sitemap đúng cách
Sitemap là tệp liệt kê các URL bạn muốn Google phát hiện. Nó hữu ích với website mới, website có nhiều URL hoặc cấu trúc liên kết nội bộ chưa mạnh. Sitemap chỉ là tín hiệu; không bảo đảm mọi URL sẽ được tải hoặc lập chỉ mục (theo Google Search Central).
Với nhiều hệ quản trị nội dung, sitemap nằm ở một trong các địa chỉ sau:
https://example.com/sitemap.xml
https://example.com/sitemap_index.xmlMở trực tiếp địa chỉ phù hợp và kiểm tra tệp tải được. Sitemap nên chứa URL chính thức, công khai, không trả về lỗi và dùng cùng phiên bản URL với liên kết nội bộ, chẳng hạn HTTPS.
- Chọn đúng property trong Search Console.
- Mở Sitemaps.
- Nhập phần đường dẫn sau tên miền, ví dụ
sitemap_index.xml. - Chọn Submit.
- Đọc trạng thái xử lý và số URL được phát hiện.
Nếu sitemap báo lỗi, mở chi tiết lỗi thay vì gửi lại liên tục. Nguyên nhân thường gặp là sitemap không tồn tại, máy chủ lỗi, URL không thuộc property, URL bị chặn hoặc sitemap dùng phiên bản khác với website thực tế.
Kiểm tra và yêu cầu lập chỉ mục cho một URL
Để kiểm tra một trang cụ thể, mở Search Console, chọn đúng property rồi dán toàn bộ URL vào ô kiểm tra ở phía trên. Nếu vừa sửa trang, chọn Test live URL. Khi kiểm tra đạt yêu cầu, bạn có thể chọn Request indexing cho một URL quan trọng.
| Mục kiểm tra | Kết quả cần tìm | Nếu không đạt |
|---|---|---|
| Crawl allowed? | Yes | Kiểm tra robots.txt, tường lửa và hệ thống chống bot. |
| Page fetch | Successful | Kiểm tra DNS, máy chủ, chuyển hướng và mã HTTP. |
| Indexing allowed? | Yes | Kiểm tra meta robots, X-Robots-Tag và thiết lập CMS. |
URL Inspection cho biết Google đang biết gì về URL và cho phép kiểm tra phiên bản đang hoạt động. Sau khi sửa lỗi, chạy live test trước rồi mới yêu cầu lập chỉ mục (theo Google Search Console Help).
Không gửi yêu cầu lặp đi lặp lại. Công cụ có giới hạn, và gửi lại nhiều lần không làm URL chắc chắn được thu thập nhanh hơn. Với nhiều URL, hãy sửa nguyên nhân ở cấp website và dùng sitemap.
Giúp Google phát hiện và chọn đúng phiên bản URL
Mỗi trang quan trọng nên có ít nhất một liên kết nội bộ từ trang chủ, chuyên mục hoặc bài viết liên quan. Liên kết nên là phần tử HTML chuẩn:
<a href="https://example.com/huong-dan-seo/">Hướng dẫn SEO</a>Không chỉ dựa vào thao tác JavaScript không tạo ra URL rõ ràng trong HTML được kết xuất. Cũng tránh đưa quá nhiều URL lọc hoặc tham số vào sitemap nếu chúng không phải các trang nội dung chính.
Nếu một nội dung có nhiều URL, hãy thống nhất phiên bản chính, chẳng hạn HTTPS và một quy ước nhất quán về dấu gạch chéo cuối URL. Trong phần <head>, trang chính có thể khai báo:
<link rel="canonical" href="https://example.com/bai-viet-moi/">URL canonical nên là URL tuyệt đối và khớp với URL chính trong sitemap, liên kết nội bộ và chuyển hướng. Không dùng robots.txt để xử lý canonical vì chặn URL có thể khiến Google không đọc được nội dung cần so sánh.
Quy trình thực hành cho một bài viết mới
Ví dụ, bạn vừa xuất bản https://example.com/huong-dan-a/. Hãy thực hiện theo thứ tự:
- Mở URL ở chế độ riêng tư và xác nhận không cần đăng nhập.
- Kiểm tra trang trả về nội dung, không phải lỗi 404 hoặc chuyển hướng sai.
- Kiểm tra không có
noindextrong HTML hoặc tiêu đề HTTP. - Xác nhận robots.txt không chặn đường dẫn.
- Kiểm tra URL xuất hiện trong sitemap.
- Thêm liên kết từ một trang liên quan đã có thể truy cập.
- Chạy Test live URL trong URL Inspection.
- Nếu các điều kiện đạt, chọn Request indexing một lần.
- Theo dõi Page indexing thay vì tìm kiếm liên tục bằng tên bài viết.
Chẩn đoán khi website chưa được lập chỉ mục
| Triệu chứng | Nguyên nhân có thể | Cách xử lý |
|---|---|---|
| URL không được biết đến | Google chưa phát hiện URL hoặc sitemap chưa được xử lý. | Kiểm tra sitemap và thêm liên kết nội bộ. |
| Bị chặn bởi robots.txt | Quy tắc Disallow áp dụng nhầm. | Sửa robots.txt rồi chạy lại live test. |
| Đã phát hiện nhưng chưa được lập chỉ mục | Google biết URL nhưng chưa chọn xử lý hoặc còn đánh giá tín hiệu khác. | Kiểm tra nội dung, URL ổn định, liên kết nội bộ và chờ hệ thống xử lý. |
| Đã thu thập nhưng chưa lập chỉ mục | Có thể có nội dung trùng lặp, tín hiệu canonical không nhất quán hoặc nội dung chính chưa rõ. | So sánh nội dung, canonical, chuyển hướng và các phiên bản trùng. |
| URL thay thế có canonical phù hợp | Google chọn URL khác làm phiên bản đại diện. | Đối chiếu canonical, sitemap, liên kết nội bộ và chuyển hướng. |
| “URL is not on Google” | URL chưa được lập chỉ mục; thông báo này tự nó không chứng minh website bị phạt. | Mở lý do chi tiết, sửa đúng nguyên nhân rồi kiểm tra lại. |
Những việc không nên làm
- Không chặn toàn website bằng
robots.txtrồi mong Google vẫn đọc được nội dung. - Không đặt
noindextrên trang cần xuất hiện. - Không gửi hàng loạt yêu cầu URL Inspection lặp lại.
- Không đưa URL lỗi, URL chuyển hướng hoặc URL trùng vào sitemap như URL chính.
- Không coi sitemap được chấp nhận là bằng chứng website đã lập chỉ mục.
- Không xóa bản ghi DNS hoặc thẻ xác minh nếu vẫn cần quyền truy cập Search Console.
Checklist xác nhận đã hoàn tất
- Đã chọn đúng Domain property hoặc URL-prefix property.
- Đã xác minh quyền sở hữu.
- Website công khai, HTTPS hoạt động và trang chính trả về nội dung hợp lệ.
- Robots.txt không chặn nhầm URL cần lập chỉ mục.
- Trang cần xuất hiện không có
noindexngoài ý muốn. - Canonical, sitemap, chuyển hướng và liên kết nội bộ dùng cùng URL chính thức.
- Sitemap mở được và đã gửi trong đúng property.
- URL quan trọng vượt qua Test live URL.
- Đã biết nơi theo dõi Page indexing sau khi sửa.
Kết luận
Muốn Google thu thập website, đừng chỉ gửi sitemap. Hãy xác minh property, bảo đảm Googlebot truy cập được, loại bỏ robots.txt hoặc noindex chặn nhầm, dùng sitemap đúng, tạo liên kết nội bộ và kiểm tra URL quan trọng bằng URL Inspection.
Hãy nhớ: thu thập dữ liệu không đồng nghĩa với lập chỉ mục, còn lập chỉ mục cũng không bảo đảm thứ hạng cao. Nếu URL vượt qua kiểm tra kỹ thuật nhưng chưa xuất hiện ngay, hãy theo dõi Page indexing và sửa nguyên nhân thay vì gửi lại cùng một yêu cầu nhiều lần.
Nguồn tham khảo
- Ask Google to Recrawl Your URLs — Google Search Central.
- Google Search Technical Requirements — Google Search Central.
- Block Search Indexing with noindex — Google Search Central.
- Build and Submit a Sitemap — Google Search Central.
- Add a website or platform property to Search Console — Search Console Help.
- Inspect and troubleshoot a single page — Search Console Help.
