Như các bạn đã biết trong bài viết trước, tệp tin robots.txt giúp Webmaster giao tiếp với bọ tìm kiếm và chỉ định ra các trang không được đánh chỉ số. Tuy nhiên việc sử dụng têp tin robots.txt bị hạn chế và rất nặng nề trong nhiều trường hợp. Thẻ Metadata Robots mang lại nhiều khả năng linh hoạt và chi tiết hơn về cách ứng xử của bọ tìm kiếm cho từng trang.

Khi đánh chỉ số một trang Web thì các máy tìm kiếm thường gửi các bọ tìm kiếm đến trang Web đó. Trong trường hợp bạn không muốn bọ tìm kiếm truy cập vào một số tài nguyên nhất định trên trang thì bạn hãy nên học cách sử dụng tệp tin robots.txt đặt tại thư mục gốc. Tệp tin này giúp bạn giao tiếp với các bọ tìm kiếm vãng lai và chỉ định ra các quyền hạn truy cập tài nguyên. Tập tin robots.txt này còn được ứng dụng trong việc tránh các bọ tìm kiếm đến từ các trang nội dung spam hoặc không có lợi, các nội dung trùng lặp ảnh hưởng tới thứ hạng của trang Web.