Hướng dẫn tạo file Robots.txt, submit Blog lên Google Webmaster Tools

Vậy file Robots.txt là gì? Khi một search engine tìm đến (nguyên văn Crawler) Website nào đó, nó sẽ tìm một file đặc biệt trước tiên, đó là file robots.txt. File robots.txt cho search engine đó biết rằng, Website này có thể index hoặc không (tùy theo lệnh được viết trong file robots.txt).

Trong bài viết này mình sẽ không giới thiệu cấu hình nâng cao file robot.txt vì nó sẽ liên quan đến việc Index blog của bạn, nếu làm sai sẽ dẫn tới hậu quả lớn. Việc tạo file robot.txt theo mặc định rất đơn giản.

1. Tạo nội dung file Robots.txt
Các bạn truy cập trang web: http://ctrlq.org/blogger rồi nhập địa chỉ Blog của bạn vào

Nếu không muốn truy cập trang Web trên thì bạn chỉ cần thay địa chỉ Blog của bạn vào đoạn code bôi đỏ dưới đây:

User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.bloggerviet.biz/atom.xml?redirect=false&start-index=1&max-results=500

2. Add file vào Robots.txt trong Blogger

Truy cập Cài đặt >>> Tùy chọn tìm kiếm >>> Chỉnh sửa Robots.txt tùy chỉnh

Nhập đoạn code đã copy ở trên vào ô trống rồi click Lưu thay đổi

3. Hướng dẫn submit Blog của bạn lên Google Webmaster Tools
Truy cập menu Tổng quan >>> Mở công cụ quản trị trang web (ở menu con dưới cùng bên tay phải)

Truy cập nút THÊM TRANG WEB >>> nhập URL trang web của bạn >>> Tiếp tục

Truy cập Thu thập dữ liệu >>> Sơ đồ trang web >>> THÊM/KIỂM TRA SƠ ĐỒ TRANG WEB >>> nhập atom.xml?redirect=false&start-index=1&max-results=500 vào ô trống