1、百度蜘蛛：Baiduspider

百度蜘蛛最新名稱為Baiduspider。

Baiduspider-image百度抓取圖片的蜘蛛。

常見(jiàn)百度旗下同類型蜘蛛還有：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取圖片）、Baiduspider-video（抓取視頻）、Baiduspider-news（抓取新聞）。

注：以上百度蜘蛛目前常見(jiàn)的是Baiduspider和Baiduspider-image兩種。

2、谷歌蜘蛛：Googlebot

但也有說(shuō)是GoogleBot的。

谷歌蜘蛛最新名稱為“compatible; Googlebot/2.1;”。

還有Googlebot-Mobile，是抓取wap內(nèi)容的。

3、360蜘蛛：360Spider，是一個(gè)很“勤奮抓爬”的蜘蛛。

4、SOSO蜘蛛：Sosospider，也是一個(gè)“勤奮抓爬”獎(jiǎng)的蜘蛛。

5、雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!

名稱中帶“Slurp”和空格，名稱有空格robots里名稱可以使用“Slurp”或者“Yahoo”單詞描述，不知道有效無(wú)效。

6、有道蜘蛛：YoudaoBot，YodaoBot（兩個(gè)名字都有，中文拼音少了個(gè)U字母讀音差別很大嘎，這都會(huì)少？）

7、搜狗蜘蛛：Sogou News Spider

搜狗蜘蛛還包括如下這些：Sogou web spider、Sogou inst spider、Sogouspider2、Sogou blog、Sogou News Spider、Sogou Orion spider，

（參考一些網(wǎng)站的robots文件，搜狗蜘蛛名稱可以用Sogou概括，無(wú)法驗(yàn)證不知道有沒(méi)有效）

看看最權(quán)威的百度的robots.txt ，http://www.baidu.com/robots.txt就為Sogou搜狗蜘蛛費(fèi)了不少字節(jié)，占了一大塊領(lǐng)地。

“Sogou web spider；Sogou inst spider；Sogou spider2；Sogoublog；Sogou

News Spider；Sogou Orion spider”目前6個(gè)，名稱都帶空格。

線上常見(jiàn)"Sogou web spider/4.0" ；"Sogou News Spider/4.0" ；"Sogouinst

spider/4.0" 可以為它頒個(gè)“占名為王”獎(jiǎng)。

8、MSN蜘蛛：msnbot，msnbot-media（只見(jiàn)到msnbot-media在狂爬……）

9、必應(yīng)蜘蛛：bingbot

線上(compatible; bingbot/2.0;)

10、一搜蜘蛛：YisouSpider

11、Alexa蜘蛛：ia_archiver

12、宜sou蜘蛛：EasouSpider

13、即刻蜘蛛：JikeSpider

14、一淘網(wǎng)蜘蛛：EtaoSpider

"Mozilla/5.0 (compatible; EtaoSpider/1.0;http://省略/EtaoSpider)"

根據(jù)上述蜘蛛中選擇幾個(gè)常用的允許抓取，其余的都可以通過(guò)robots屏蔽抓取。如果你暫時(shí)空間流量還足夠使用，等流量緊張了就保留幾個(gè)常用的屏蔽掉其它蜘蛛以節(jié)省流量。至于那些蜘蛛抓取對(duì)網(wǎng)站能帶來(lái)有利用的價(jià)值，網(wǎng)站的管理者眼睛是雪亮的。

另外還發(fā)現(xiàn)了如 YandexBot、AhrefsBot和ezooms.bot這些蜘蛛，據(jù)說(shuō)這些蜘蛛是國(guó)外噶。