Ứng dụng tệp tin loại trừ robots.txt (Robots Exclusion Protocol) trong trường hợp đặc biệt với máy tìm kiếm Google. Các cú pháp cho phép (Allow) và chặn (Disallow) các bọ tìm kiếm Googlebot, Googlebot-Mobile, Googlebot-Image, Mediapartners-Google hay Adsbot-Google trong việc quét nội dung tài nguyên Website.