Mẫu file robots.txt cho WordPress chuẩn Google nhất

Mẫu file robots.txt cho WordPress chuẩn Google nhất

Để website của bạn xuất hiện trên trang kết quả tìm kiếm Google bạn cần để bot của Google đi vào trong website và thu thập dữ liệu. Và một công việc mà webmaster (dùng WordPress) cần quan tâm đó là tùy chỉnh lại file đó sao cho phù hợp với WordPress.

File robots.txt chuan cho website WordPress

File robots.txt là gì ?

File robots.txt đơn giản là một file text thông thường, nó có nhiệm vụ khai báo cho Bots Google về những trang nào được thu thập dữ liệu, trang nào thì không.

Mặc định bots Google sẽ quét site của bạn kể cả khi bạn không có tùy chỉnh file robots.txt. Nhưng sẽ không đạt hiểu quả cao, do bots sẽ thu thập toàn bộ nội dung của bạn, có những thứ không cần phải index như plugin đang dùng, các thư viện nội dung bạn không muốn hiển thị trên kết quả tìm kiếm.

Nơi lưu file robots.txt trên WordPress

Khi bạn tạo website WordPress, nó sẽ tự động tạo ra một file robots.txt đặt ngay bên dưới thư mục gốc của hosting/server (thư mục public_html trên hosting cPanel).

Ví dụ: nếu site của bạn đặt trong thư mục gốc của địa chỉ Vinadomain.vn, bạn có thể xem file robots.txt ở đường dẫn Vinadomain.vn/robots.txt, kết quả sẽ như này:

User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /refer/
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://vinadomain.vn/sitemap_index.xml
File robots.txt là gì và làm thế nào để tối ưu chúng cho SEO - Diều Hâu
Tạo file Robots.txt với Yoast SEO

Còn nếu bạn dùng Yoast SEO thì không cần phải vào host để tìm nó, mà theo trình tự: Yoast SEO >> Tools >>  File editor >> Robots.txt | Nó hiển thị ngay đầu tiên luôn, bạn có thể sửa trực tiếp ngay trong đó và lưu lại.

Mình khuyến khích bạn sửa lại thay vì tạo mới file robots.txt, vì tạo lại nó cũng vậy thôi mà, quan trọng là nội dung bên trong, hay người ta còn gọi là cấu hình hay tùy chỉnh file robots.txt

Mẫu file robots.txt cho WordPress chuẩn Google nhất

Như ở trên bạn đã thấy mẫu robots.txt của Vinadomain.vn đang sử dụng là chuẩn rồi đấy, mẫu này mình cũng tham khảo ở rất nhiều trang lớn trên thế giới và quyết định sử dụng nó, bạn cũng có thể lấy nó về và chỉnh sửa lại tên miền cũng như thêm những nội dung cần chặn nếu có.

User-agent: *
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /refer/
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://vinadomain.vn/sitemap_index.xml

Trong đó:

  • Disallow: là khai báo những trang / đường dẫn chặn thu thập dữ liệu;
  • Allow: khai báo những trang / đường dẫn cho phép thu thập dữ liệu;

Nói về chuẩn SEO hay chưa thì cũng chưa chắc mẫu trên là nhất, tùy từng website mà mình tùy chỉnh lại cho phù hợp. Mẫu trên dùng cho blog WordPress mình thấy NGON, bạn có thể dùng thử một thời gian để xem thành quả.

Xác nhận đã thay đổi nội dung file robots.txt với Google search console

Việc này rất quan trọng vì nếu sau khi bạn sửa lại file robots.txt nhưng không báo lại trong Google search console thì cũng chẳng có tác dụng gì.

Do đó bạn phải thực hiện thêm bước này nữa, đây là cách thực hiện:

Bước 1: Copy toàn bộ nội dung trong file robots.txt sau khi đã chỉnh sửa >> mở Trình kiểm tra robots.txt của Google search console lên và dán đè nội dung đã copy vào đó.

Bước 2: Nhìn xuống dưới bạn thấy nút Gửi, nhấn vào đó >> nhấn tiếp Yêu cầu Google cập nhật là xong.

Nhan vao yeu cau cap nhat file robots.txt de hoan tat
Nhấn vào yêu cầu cập nhật file robots.txt để hoàn tất

Như vậy là bây giờ file robots.txt trên host và trên Google search console đã thống nhất với nhau rồi đấy, rất đơn giản đúng không nào.

Còn bạn, Bạn có những cách tùy chỉnh Robots TXT cho nó chuẩn hơn nữa hoặc bạn đang sử dụng file đó như thế nào, mời để lại bình luận bên dưới, cảm ơn bạn !

Related Post

Leave a Reply

Your email address will not be published. Required fields are marked *

eleven + 5 =