Comments on: Googlebot và Robots.txt : Allow, Disallow http://www.vietseo.net/indexability/googlebot-va-robotstxt/ Quảng bá Website, Thủ thuật SEO (Search Engine Optimization), tối ưu hóa Website cho máy tìm kiếm Thu, 09 Feb 2012 04:43:45 -0700 http://wordpress.org/?v=2.8.4 hourly 1 By: quangtam http://www.vietseo.net/indexability/googlebot-va-robotstxt/comment-page-1/#comment-10564 quangtam Tue, 06 Oct 2009 22:14:45 +0000 http://www.vietseo.net/?p=120#comment-10564 cảm ơn nhiều! bài viết rất hữu ích! Bạn có thể chỉ giúp tôi tại sao yahoo, ping không thể index được trang web của tôi khi sử dụng công cụ của google! có phải robot.txt đã chặn bọ tìm kiếm của yahoo, và các công cụ tìm kiếm khác! có thể khác phục được tình trạng này không ? Thanks... cảm ơn nhiều! bài viết rất hữu ích!
Bạn có thể chỉ giúp tôi tại sao yahoo, ping không thể index được trang web của tôi khi sử dụng công cụ của google! có phải robot.txt đã chặn bọ tìm kiếm của yahoo, và các công cụ tìm kiếm khác! có thể khác phục được tình trạng này không ?
Thanks…

]]> By: Top 10 thủ thuật SEO Webmaster cần tránh « DVD Độc - DVD phim tài liệu khoa học bbc, nat geo, discovery; salsa, audio book, mac soft, thương mại điện tử, SEO http://www.vietseo.net/indexability/googlebot-va-robotstxt/comment-page-1/#comment-993 Top 10 thủ thuật SEO Webmaster cần tránh « DVD Độc - DVD phim tài liệu khoa học bbc, nat geo, discovery; salsa, audio book, mac soft, thương mại điện tử, SEO Sun, 02 Nov 2008 03:16:51 +0000 http://www.vietseo.net/?p=120#comment-993 [...] Googlebot và Robots.txt : Allow, Disallow [...] [...] Googlebot và Robots.txt : Allow, Disallow [...]

]]> By: quang ba Web http://www.vietseo.net/indexability/googlebot-va-robotstxt/comment-page-1/#comment-943 quang ba Web Sun, 12 Oct 2008 19:06:32 +0000 http://www.vietseo.net/?p=120#comment-943 Tất nhiên là cậu có thể sử dụng nhiều User-agent và disallow rồi, mỗi cái ứng với tưng bọ tìm kiếm đến từ máy tìm kiếm tương ứng. ia_archiver là User-agent của Alexa.com Web crawler duggmirrorl à User-agent của Digg.com Cậu không nhất thiết phải cấm hai trang này, bản thân tớ có lý do riêng, tương tự dòng lệnh cấm phía trên các thư mục. Tất nhiên là cậu có thể sử dụng nhiều User-agent và disallow rồi, mỗi cái ứng với tưng bọ tìm kiếm đến từ máy tìm kiếm tương ứng.
ia_archiver là User-agent của Alexa.com Web crawler
duggmirrorl à User-agent của Digg.com
Cậu không nhất thiết phải cấm hai trang này, bản thân tớ có lý do riêng, tương tự dòng lệnh cấm phía trên các thư mục.

]]> By: www.vnghiit.com http://www.vietseo.net/indexability/googlebot-va-robotstxt/comment-page-1/#comment-940 www.vnghiit.com Sun, 12 Oct 2008 16:26:35 +0000 http://www.vietseo.net/?p=120#comment-940 Cậu cho tớ hỏi http://www.vietseo.net/robots.txt ######## User-agent: ia_archiver Disallow: / # Digg mirror User-agent: duggmirror Disallow: / # Disallow: */trackback* # Disallow: /wp-* # Disallow: */feed* # Disallow: /20* User-agent: * Disallow: */?mobi Disallow: /page/ Disallow: */?dl_id* Disallow: */?dl_cat* Allow: / ##### Có thể sử dụng nhiều lệnh User-agent: &Disallow: cơ à ... Sử dụng nhiều & ít có gì khác nhau duggmirror & ia_archiver <- là công cụ search nào vậy bạn Cậu cho tớ hỏi

http://www.vietseo.net/robots.txt

########
User-agent: ia_archiver
Disallow: /

# Digg mirror
User-agent: duggmirror
Disallow: /

# Disallow: */trackback*
# Disallow: /wp-*
# Disallow: */feed*
# Disallow: /20*
User-agent: *
Disallow: */?mobi
Disallow: /page/
Disallow: */?dl_id*
Disallow: */?dl_cat*
Allow: /
#####

Có thể sử dụng nhiều lệnh User-agent: &Disallow: cơ à …

Sử dụng nhiều & ít có gì khác nhau
duggmirror & ia_archiver <- là công cụ search nào vậy bạn

]]> By: Top 10 thủ thuật SEO Webmaster cần tránh « SEO Blog Google http://www.vietseo.net/indexability/googlebot-va-robotstxt/comment-page-1/#comment-618 Top 10 thủ thuật SEO Webmaster cần tránh « SEO Blog Google Sun, 20 Jul 2008 09:32:56 +0000 http://www.vietseo.net/?p=120#comment-618 [...] Googlebot và Robots.txt : Allow, Disallow [...] [...] Googlebot và Robots.txt : Allow, Disallow [...]

]]> By: quang ba Web http://www.vietseo.net/indexability/googlebot-va-robotstxt/comment-page-1/#comment-445 quang ba Web Mon, 23 Jun 2008 17:13:54 +0000 http://www.vietseo.net/?p=120#comment-445 Cái từ khóa trong Google addUrl không có quan trọng, mình nghĩ nó cũng không tính đến nhiều đâu, thuật toán của Google đủ thông minh để hiểu trang Web của bạn nói về vấn đề gì. Ngoài ra cái việc submit trên không liên quan gì tới tệp tin loại trừ Robots.txt nếu không nói đến dòng lệnh <a href="http://www.vietseo.net/quangbaweb/google-news/robots-google-yahoo-microsoft/#toc-robots-va-search-engine-optimization" title="Sitemap trong tệp tin Robots.txt" rel="nofollow">Sitemap</a> giúp cho bọ tìm kiếm xác định nhanh chóng sitemap XML hay RSS. Ngoài ra, việc submit như thế chỉ áp dụng cho các website mới, không thể xây dựng hệ thống liên kết ban đầu. Còn nếu khi bạn đã có trong tay một vài website mà Google ghé thăm thường xuyên (hoặc bạn có thể post bài trên Website đó và Website đó không ẩn link với khách hoặc bọ tìm kiếm), thì bạn chỉ việc để link tới Website mới này, thì Google sẽ tự lần theo đường dẫn URL đó mà index trang của bạn. Cách này là nhanh và hiệu quả nhất. Chúc bạn thành công. Quảng bá Web, dịch vụ SEO, thủ thuật SEO. Cái từ khóa trong Google addUrl không có quan trọng, mình nghĩ nó cũng không tính đến nhiều đâu, thuật toán của Google đủ thông minh để hiểu trang Web của bạn nói về vấn đề gì.

Ngoài ra cái việc submit trên không liên quan gì tới tệp tin loại trừ Robots.txt nếu không nói đến dòng lệnh Sitemap giúp cho bọ tìm kiếm xác định nhanh chóng sitemap XML hay RSS.

Ngoài ra, việc submit như thế chỉ áp dụng cho các website mới, không thể xây dựng hệ thống liên kết ban đầu. Còn nếu khi bạn đã có trong tay một vài website mà Google ghé thăm thường xuyên (hoặc bạn có thể post bài trên Website đó và Website đó không ẩn link với khách hoặc bọ tìm kiếm), thì bạn chỉ việc để link tới Website mới này, thì Google sẽ tự lần theo đường dẫn URL đó mà index trang của bạn. Cách này là nhanh và hiệu quả nhất.

Chúc bạn thành công. Quảng bá Web, dịch vụ SEO, thủ thuật SEO.

]]> By: 0988338837 http://www.vietseo.net/indexability/googlebot-va-robotstxt/comment-page-1/#comment-444 0988338837 Mon, 23 Jun 2008 02:53:52 +0000 http://www.vietseo.net/?p=120#comment-444 Khi muốn thay đổi từ khóa đã submit vào http://www.google.com/addurl/ thì thẻ Robots.txt có cấu trúc thế nào cho đúng hả bạn ? và sau bao lâu có thể submit lại đó ? Khi muốn thay đổi từ khóa đã submit vào http://www.google.com/addurl/ thì thẻ Robots.txt có cấu trúc thế nào cho đúng hả bạn ? và sau bao lâu có thể submit lại đó ?

]]>