Khi đánh chỉ số một trang Web thì các máy tìm kiếm thường gửi các bọ tìm kiếm đến trang Web đó. Trong trường hợp bạn không muốn bọ tìm kiếm truy cập vào một số tài nguyên nhất định trên trang thì bạn hãy nên học cách sử dụng tệp tin robots.txt đặt tại thư mục gốc. Tệp tin này giúp bạn giao tiếp với các bọ tìm kiếm vãng lai và chỉ định ra các quyền hạn truy cập tài nguyên. Tập tin robots.txt này còn được ứng dụng trong việc tránh các bọ tìm kiếm đến từ các trang nội dung spam hoặc không có lợi, các nội dung trùng lặp ảnh hưởng tới thứ hạng của trang Web.

Web crawler, web spider hay web robot là các chương trình đơn giản thường tự động truy cập và thu cập các tài nguyên trên Internet. Chúng thường được gửi đi bởi các máy tìm kiếm cho phép đánh chỉ số các tài nguyên Web nói trên.