Comments on: Robots.txt disallows Web Robot, User-agent

By: Daitop

Daitop — Tue, 08 Dec 2009 18:24:38 +0000

Em Đang Sử dụng host free của byethost để làm một forum nhưng mà không hiểu sao mỗi khi em vào trang theo domain của em nó lại hiện ra trang http://4sql.net/notify/1.php hoặc http://ifastnet.com/notify/1.php
EM có lên mạng tìm hiểu thì được biết có thể là do file robots.txt . Mong anh sớm có câu trả lời

By: Top 10 thủ thuật SEO Webmaster cần tránh at Tiếp Thị Trực Tuyến

Top 10 thủ thuật SEO Webmaster cần tránh at Tiếp Thị Trực Tuyến — Sun, 21 Jun 2009 12:10:32 +0000

[...] Robots.txt disallows Web Robot, User-agent [...]

By: Thủ thuật SEO, quảng bá Website cơ bản « Affiliate – Hướng dẫn kiếm tiền với Affiliate

Fri, 12 Jun 2009 14:59:01 +0000

[...] trang Web của mình, bạn có thể sử dụng tệp tin robots.txt hay các meta tag robots cũng như lệnh “nofollow” để hạn chế nội dung trùng lặp [...]

By: Chỉ dẫn của Google cho webmaster « Tôi thấy, tôi nghĩ và tôi ghi lại

Chỉ dẫn của Google cho webmaster « Tôi thấy, tôi nghĩ và tôi ghi lại — Mon, 16 Mar 2009 13:37:52 +0000

[...] dụng tệp tin loại trừ robots.txt trên site của bạn. Tệp tin này cho máy dò tìm biết thư mục nào được hoặc [...]

By: hoang

hoang — Sat, 13 Dec 2008 09:50:30 +0000

chào anh

Trường hợp mình tạo link cho bài viết dạng http://www.vietseo.net/indexability/robots-txt-search-indexing/ như của anh tức là domain.com/catogory/post

Thì dùng lệnh như dưới đây có đúng không ạ?

Disallow: /category/

Vì em có blog wordpress.com thấy google có index cả:

http://www.domain.com//category/tên catogory.

cảm ơn a.

By: quang ba Web

quang ba Web — Sun, 16 Nov 2008 13:43:49 +0000

Việc đặt file robots.txt tại thư mục gốc của diễn đàn giúp cho bạn ngăn chặn một số robots và spam ngoài ý muốn, gây tốn băng thông. Tuy nhiên không phải spammer nào cũng tuân thủ theo robots.txt. Các spammer khó chịu nhất là loại tự động; tự động đăng ký khi giải mã hay qua mặt được mã kiểm tra. Bạn nên tăng cường bảo mật phần đăng ký bằng việc cải thiện thêm mã kiểm tra.

Ngoài ra còn loại spammer thủ công, spam quảng cáo, bạn nên dọn dẹp một mục quảng cáo và đặt nội qui trên các box để người ta đăng bài đúng mục. Ngoài ra việc cập nhật các lỗi của vbulletin cũng giúp giảm bớt nạn spam kết hợp với đội ngũ moderator sẽ giải quyết triệt để hơn.

Thân.

By: Le thanh Hiep

Le thanh Hiep — Sun, 16 Nov 2008 03:54:46 +0000

Anh ơi diễn đàn của em toàn bị spam thôi, em đã đặt file robot.txt lên bên trong diễn đàn ngang hàng với admincp rồi mà vẫn bị. Hay là file robot.txt của em viết sai ở đâu anh nhỉ?
Anh có thể viết lại cho em một file robot.txt được ko?
Em cám ơn anh nhiều. Anh làm ơn gửi cho em vao email với nhé

By: Thủ Thuật Seo Quảng Bá Website Cho Webmaster Việt Nam « Life’s connection and share

Sat, 30 Aug 2008 02:12:39 +0000

[...] trang Web của mình, bạn có thể sử dụng tệp tin robots.txt hay các meta tag robots cũng như lệnh “nofollow” để hạn chế nội dung trùng lặp [...]

By: Googlebot v

Googlebot v — Wed, 13 Aug 2008 07:07:37 +0000

[...] v

By: Googlebot v

Googlebot v — Wed, 13 Aug 2008 07:06:02 +0000

[...] v

By: Thủ thuật SEO - quảng bá Website « SEO Blog Google

Thủ thuật SEO - quảng bá Website « SEO Blog Google — Sat, 26 Jul 2008 01:47:07 +0000

[...] trang Web của mình, bạn có thể sử dụng tệp tin robots.txt hay các meta tag robots cũng như lệnh “nofollow” để hạn chế nội dung [...]

By: Robots, HTML Meta và Google, Yahoo, Microsoft « SEO Blog Google

Robots, HTML Meta và Google, Yahoo, Microsoft « SEO Blog Google — Wed, 23 Jul 2008 20:35:10 +0000

[...] lên máy tìm kiếm. Trong trường hợp này họ sẽ sử dụng tệp tin loại trừ robots.txt (Robots Exclusion Protocol – REP) để hướng dẫn bọ tìm kiếm tiếp cận tài nguyên [...]

By: Báo lá cải » Blog Archive » Thủ thuật SEO - quảng bá Website

Báo lá cải » Blog Archive » Thủ thuật SEO - quảng bá Website — Tue, 15 Jul 2008 04:38:48 +0000

[...] trang Web của mình, bạn có thể sử dụng tệp tin robots.txt hay các meta tag robots cũng như lệnh “nofollow” để hạn chế nội dung trùng lặp [...]

By: quang ba Web

quang ba Web — Mon, 19 May 2008 09:02:05 +0000

Cám ơn Phong cách trẻ đã quan tâm tới vấn đề robots.

Quay trở lại câu hỏi của bạn, thì đúng là khi làm robots.txt mình cũng không xem rõ các bản ghi (record) cho bọ tìm kiếm nên có bị trùng lặp.

Về nghĩa thì như sau : Tên Googlebot-Image và Mediapartners-Google là các spider hay Bot, User-Agent Names riêng biệt của Google, tương ứng dùng để quét các file ảnh, các thông tin phục vụ cho dịch vụ quảng cáo Adsense mà trang Web đó dùng. Do lệnh dùng bị lặp nên cậu không hiểu là đúng. File robots.txt mới được chỉnh sửa lại chính xác hơn.

Còn các User Agent Names khác như ia_archiver hay ia_archiver là các spider đến từ các trang lưu trữ internet (cho phép giữ lại hình ảnh các trang), đây là lựa chọn cá nhân. Mình cấm các con bọ đến từ trang này được đánh chỉ số trang.

Thực ra về cú pháp, mình nghĩ chỉ nên dùng cú pháp cấm thư mục chứ không có cho phép như đã đề cập trong bài viết.

Cám ơn cậu.
Thân.

By: Phong Cách Trẻ

Phong Cách Trẻ — Sun, 18 May 2008 23:47:41 +0000

Anh có thể giải thích về file robot.txt của vietseo đựơc không ạ ?
Khúc đầu em đọc bài này thì em có thể hiểu, còn khúc sau thì không hiểu ý nghĩa là gì
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

# BEGIN XML-SITEMAP-PLUGIN
Sitemap: http://www.vietseo.net/sitemaps.xml.gz
# END XML-SITEMAP-PLUGIN