Công việc quảng bá Web, cụ thể là tối ưu hóa cho công cụ tìm kiếm (Search Engine Optimization) tạm gọi là nghề SEO khá là toàn diện và phức tạp. Bởi các thuật toán của máy tìm kiếm, các thủ thuật SEO rất phức tạp và liên tục thay đổi. Đơn cử như Google có đến hàng trăm nhân tố trong thuật toán xếp hạng trang Web. Hơn nữa, các máy tìm kiếm coi thuật toán là ưu tiên hàng đầu bởi hai lý do chính :

• Họ không muốn đối thủ biết họ đang làm gì.
• Họ không muốn các webmaster hay các spammers thiết kế Web, áp dụng các thủ thuật SEO một cách lạm dụng để có hạng hạng cao

Thường thì tệp tin robots.txt đặt tại thư mục gốc của tên miền là công cụ lý tưởng để giao tiếp với các máy tìm kiếm (Robots với Google, Yahoo và Microsofts)  trong việc đánh chỉ số trang web. Tuy nhiên trong một số trường hợp, tệp tin /robots.txt trở nên hạn chế và việc sử dụng nó rất rườm rà, nặng nề.

Thẻ META “robots” lúc này, lại rất hữu ích ngay cả khi cách sử dụng của nó khá khác so với tệp tin robots.txt