Web crawler, web spider hay web robot là các chương trình đơn giản thường tự động truy cập và thu cập các tài nguyên trên Internet. Chúng thường được gửi đi bởi các máy tìm kiếm cho phép đánh chỉ số các tài nguyên Web nói trên.