搜索引擎爬虫蜘蛛的USERAGENT大全

【摘要】网络爬山几乎都是凌晨两三点来爬我们的网站，如果不通过JS统计访问量的话，自己的网站则很多都是由网络爬山造成的，以下是我从网上找找到的一下网络爬虫的userage整理笔记。如果您的访问统计表中有这些爬山，那就赶紧delete一下吧。今天我把我的网站的访问统计表过滤了一下，发现60%多的访问都是各种网络爬虫，所以我立马改成使用JS统计访问量了。

百度爬虫

* Baiduspider+(+http://www.baidu.com/search/spider.htm”)

google爬虫

* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

* Googlebot/2.1 (+http://www.googlebot.com/bot.html)

* Googlebot/2.1 (+http://www.google.com/bot.html)

雅虎爬虫（分别是雅虎中国和美国总部的爬虫）

*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)

*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)

新浪爱问爬虫

*iaskspider/2.0(+http://iask.com/help/help_index.html”)

*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)

搜狗爬虫

*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

网易爬虫

*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )

MSN爬虫

*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

360爬虫

http://www.haosou.com/help/help_3_2.html

python爬虫

Python-urllib/2.6

不知名爬虫Useragent

Mozilla/5.0 (Windows NT 6.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1

Gecko引擎

Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9b4) Gecko/2008030317 Firefox/3.0b4

必应搜索爬虫

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

神马搜索爬虫

YisouSpider

我要打赏