SEO Web
Hướng dẫn tạo file Robots.txt và thẻ Meta Robots chuẩn SEO
File Robot.txt và thẻ Meta Robot rất cần thiết trong việc làm SEO của bạn. Vậy cách tạo Robots.txt như thế nào thì chuẩn SEO và cách tối ưu thẻ Meta Robot để lên top nhanh nhất. Hãy cùng hướng dẫn SEO tìm hiểu hai vấn đề trên.
PHẦN I: Hướng dẫn tạo Robots.txt cho web chuẩn SEO
Trước tiên bạn cần phải hiểu Robots.txt là gì? và tác dụng của nó trong SEO như thế nào ?
1. Robots.txt là gì?
Robots.txt là tập tinh quản lí và điều hướng google bot được phép hoặc không được phép Crawl những mục đã được chỉ định.
Cấu hình thêm robots.txt để hạn chế google bot Crawl vào những mục không quan trọng và không phải là sản phẩm.
2. Tác dụng của Robots.txt
Khi các robot của bộ máy tìm kiếm ( SE ) ghé thăm một website nào đó thì nó sẽ ghẽ thăm file robots.txt đầu tiên vì đây chính là bảng chỉ dẫn cho các robot tìm kiếm thông tin, và giúp Google Index nhanh hơn. Điều này giúp bạn SEO website dễ dàng hơn.
3. Cách tạo Robots.txt
Cấu trúc:User-agent: * Tất cả các loại robots
Disallow: /admin/ Cấm đọc thư mục admin
Disallow: /private/ Cấm đọc thư mục admin
Allow: / Cho phép đọc các phần còn lại
Chú ý:
User-agent: Đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép
Lưu ý khi tạo file Robots.txt
– Không sử dụng các chú thích trong file robots.txt, nó có thể làm cho các spider của search engine bị lầm lẫn.
– Không được để khoảng trắng ở đầu dòng lệnh
– Không thay đổi trật tự của các dòng lệnh.
– Không sử dụng quá một thư mục trong dòng lệnh
– Phải chắc chắn các mệnh đề, từ sử dụng trong lệnh là đúng
Hướng dẫn cấu hình Robots.txt cho web chuẩn SEO nhất
Cấu hình cho Robots.txt cho các Bot Crwal Sitemap.xml của website.
Ví dụ 1 file Robots.txt
| User-agent: * Disallow: /tra-cuu-don-hang/ Disallow: /dang-nhap/ Disallow: /mua-hang/ Disallow: /thanh-cong/ Disallow: /*? # Sitemap files Sitemap: http://khaclaserdep.com/sitemap.xml |
Ý nghĩa:
– Tại file Robots.txt, ta thấy người quản trị website cho Bot Crawl tất cả các trang trừ các page /tra-cuu-don-hang/, /dang-nhap/, /mua-hang/, /thanh-cong/, /*? ( những trang cho dấu ” ? ” sau domain ) domain.com/tim-kiem?q=khắc+laser+điện+thoại.
– Điều hướng Bot Crawl Sitemap.xml của website giúp Index nhanh hơn.
Thật ra, có rất nhiều loại cấu hình cho Robots.txt cho website, bạn có thể tham khảo tại đây: http://www.robotstxt.org/robotstxt.html. Nhưng theo hướng dẫn seo thấy cấu hình như trên là quá đủ rồi không cần phải chuyên sâu vào để làm gì? 🙂 :).
Chỉ cẩn bạn muốn Robots chặn không cho Page nào thì bạn chỉ cần dùng lệnh Disallow là được. 🙂
PHẦN II: Hướng dẫn sử dụng thẻ Robots.txt chuẩn SEO
Cách sử dụng thẻ Meta Robots cho web tối ưu SEO như thế nào? và cách sử dụng thẻ meta Robots như thế nào là hợp lý.
1. Thẻ Meta Robots là gì?
Thẻ Meta robots là một thẻ nằm trong mã HTML có tác dụng điều hướng cho bọ tìm kiếm của Google thu thập thông tin trên những trang đánh chỉ mục và những trang loại trừ của một website.
2. Vị trí đặt thẻ Meta Robots
Thẻ Meta Robots được đặt trong thẻ Head của mã HTML, phương pháp này chỉ có tác dụng với bọ tìm kiếm của Google khi và chỉ khi trang web của bạn có chèn thẻ Meta Robots.
Cấu trúc:
<head> <meta name=”robots” content=”xxx”/></head>
Trong đó:
Với xxx tùy biến với các giá trị.
“Index“: Các bọ tìm kiếm của Google khi thu thập thông tin được phép đánh chỉ mục trang này.
“Follow“: Thuộc tính cho phép các bọ tìm kiếm của Google dựa vào những liên kết trên trang hiện tại của website để tìm kiếm thông tin trên các trang khác có liên quan đến trang này.
“All” hoặc “Index, Follow”: Bao gồm cả 2 giá trị của index và follow là cho phép google index, lập chỉ mục và đi theo các liên kết có trong bài viết.
“Noindex”: không cho phép google hay robots index trang này.
“Nofollow“: Không cho phép Robots đi theo link trong trang để tới các trang khác liên kết.
Các thẻ thường được sử dụng nhiều nhất:
– <meta name=”robots” content=”index, follow”/> . Nếu bạn muốn Google Index website của bạn, người quản trị website thường sử dụng cho trang home, cate, post.
– <meta name=”robots” content=”noindex,follow”/>. Cho những trang như Tags , đăng kí, đăng nhập. các trang help,..
Nếu bạn muốn SEO cho 1 số Tags quan trọng như chỉ cần chuyển từ noindex sang index là được.
