Hướng dẫn ứng dụng chuẩn Robots Exclusion Protocol (REP) thông qua tệp tin robots.txt và thẻ META tags cho các máy tìm kiếm. Ứng dụng đặc biệt cho 3 đại gia Google, Yahoo và Microsofts.
Từ khóa : Google, meta tags, Microsoft, robots.txt, YahooỨng dụng tệp tin loại trừ robots.txt (Robots Exclusion Protocol) trong trường hợp đặc biệt với máy tìm kiếm Google. Các cú pháp cho phép (Allow) và chặn (Disallow) các bọ tìm kiếm Googlebot, Googlebot-Mobile, Googlebot-Image, Mediapartners-Google hay Adsbot-Google trong việc quét nội dung tài nguyên Website.
Từ khóa : allow, disallow, Google, googlebot, meta tags, quang ba web, robots.txt