如果你經(jīng)常在網(wǎng)上購物的話，當你通過百度搜索某一件商品，你有沒有發(fā)現(xiàn)，從來沒有出現(xiàn)過來自淘寶網(wǎng)的商品結(jié)果，如果你還沒有注意到這個現(xiàn)象，你現(xiàn)在就可以搜索下試試，比如搜索“iphone手機”、“平板電腦”等等。這就是因為百度搜索蜘蛛被淘寶網(wǎng)屏蔽了抓取，從而導(dǎo)致百度不能索引淘寶網(wǎng)數(shù)據(jù)，其實這已經(jīng)不能夠算是個新聞了，但是卻值得我們思考下這個現(xiàn)象，淘寶為什么要屏蔽百度搜索呢？

上圖表示的就是淘寶網(wǎng)的robots.txt文件的內(nèi)容，淘寶網(wǎng)的這種寫法的表示意思是：屏蔽百度蜘蛛抓取淘寶網(wǎng)站目錄下的所有數(shù)據(jù)，而且這里寫法是表示只屏蔽百度蜘蛛，對于其他搜索引擎則沒有屏蔽。

那么，為什么淘寶網(wǎng)要屏蔽百度搜索引擎的抓取呢，以下是個人的一些看法，僅供大家參考：

（一）保護用戶信息、商業(yè)信息

robots.txt文件的存在就是為了禁止搜索引擎抓取網(wǎng)站中不想被公開的內(nèi)容，如果網(wǎng)站沒有書寫禁止抓取全部數(shù)據(jù)的命令，而只是禁止了其中的一部分內(nèi)容，可能會由于網(wǎng)站管理的疏忽，結(jié)果屏蔽的不是很準確，所以對于電商類網(wǎng)站這樣的具有大量用戶隱私數(shù)據(jù)的網(wǎng)站，應(yīng)該更好的屏蔽這些搜索引擎的抓取，而全部屏蔽這是個簡單而又有效的方法。

（二）防止搜索引擎帶來的誠信和信譽問題

如果淘寶網(wǎng)公開讓搜索引擎抓取商品、店鋪信息，那么就會有賣家為了獲得在搜索引擎上更好的排名而使用搜索引擎優(yōu)化技術(shù)，如果該商品或店鋪確實能夠提供更好的服務(wù)，那么這種排名是可取的，但是如果有不法商家或者服務(wù)質(zhì)量不好的商家，讓他們獲得了好的排名，但是最終得到的確是劣質(zhì)的服務(wù)，那么這個對于淘寶網(wǎng)的信譽來說，將是一個很大的問題，顯然不利于淘寶的發(fā)展。信譽對電商站十分重要，尤其是像淘寶這樣的C2C類型的電商網(wǎng)站，用戶復(fù)雜，監(jiān)管難度太大。

（三）淘寶的實力保證與更好的占據(jù)市場

當網(wǎng)民想到網(wǎng)上購物這個詞的時候，可能腦海中最先出現(xiàn)的就是淘寶，盡管如今的電商站層出不窮，但是淘寶卻已經(jīng)根深蒂固。淘寶擁有巨大的用戶群，就算屏蔽了百度蜘蛛的抓取，對淘寶來說影響并不是很大。而且屏蔽了搜索引擎的抓取之后，淘寶就減少了外部因素的干預(yù)，能夠更好的實現(xiàn)內(nèi)部的管理。比如，這樣就不會存在針對于搜索引擎的SEO優(yōu)化，雖然現(xiàn)在已經(jīng)出現(xiàn)了針對于淘寶的淘寶SEO優(yōu)化，但是這種針對于淘寶的操作，相對于搜索引擎來說，它能夠更好的進行控制，因為你做的這一切都是在我的地盤里面。

（四）以回應(yīng)百度在電商市場的競爭

大家可以看到百度的市場在不斷的擴大，百度的產(chǎn)品與服務(wù)在不斷的推出，百度也宣稱將要做最大的媒體，它說的是媒體，而不再是最大的搜索引擎了，如果當整個互聯(lián)網(wǎng)的流量大部分都流向了這個“最大的媒體”，那樣的互聯(lián)網(wǎng)還算正常嗎？百度也打算進軍電子商務(wù)領(lǐng)域，在如今百度搜索占據(jù)了搜索主導(dǎo)地位的情況下，如果百度在推出電子商務(wù)，那么可想而知，當我們搜索商品的時候，可能結(jié)果前幾的都是百度自己的結(jié)果，如果真是這樣對于淘寶，對于其他的電商，將是一個巨大的打擊。淘寶肯定不愿意自己的地位受到這樣的威脅，那么淘寶為了回應(yīng)百度，就果斷屏蔽百度蜘蛛的抓取，這樣用戶訪問淘寶就會減少對百度搜索的依賴，對于百度來說既是流量與用戶的損失，也讓自己處于了不利的地位。我覺得這也是為什么淘寶只屏蔽百度而不屏蔽其他搜索引擎的主要原因。

以下我們再來看兩幅圖：

百度搜索京東的返回結(jié)果

百度搜索淘寶的返回結(jié)果

第一幅圖是在百度中搜索“京東”的返回結(jié)果，可以看到排在第一名的是百度推廣，第二名才是京東的自然排名，京東的自然排名結(jié)果中可以看到以下幾點內(nèi)容：

第一點：標題與京東首頁title標簽中的標題完全符合，即為“京東網(wǎng)上商城-綜合網(wǎng)購首選，正品行貨，機打發(fā)票，售后上門取件，省錢又放心”。

第二點：標題下面的摘要內(nèi)容與京東首頁description標簽中的內(nèi)容完全符合，即為“京東商城-專業(yè)的數(shù)碼網(wǎng)上購物商城,產(chǎn)品包括數(shù)碼、家電、手機、電腦配件、網(wǎng)絡(luò)產(chǎn)品等數(shù)萬種商品直銷,便捷，誠信的服務(wù),為您提供愉悅的網(wǎng)上商城購物體驗!”

而當我們看到第二幅圖的時候，就可以發(fā)現(xiàn)結(jié)果完全不一樣，結(jié)果中排在第一的是淘寶網(wǎng)，不是百度推廣結(jié)果。還有，看起來這個排在第一的“淘寶網(wǎng)”是一個自然排名的結(jié)果，但是仔細分析一下，會發(fā)現(xiàn)這個與其他的自然結(jié)果很不一樣。

第一點：標題是“淘寶網(wǎng)”而不是淘寶主頁title標簽中寫的“淘寶網(wǎng) - 淘！我喜歡”。

第二點：標題下面不存在摘要內(nèi)容，只是很簡單的“淘寶網(wǎng)”三個字，這不是淘寶網(wǎng)沒有寫deｓｃｒｉｐｔion標簽，而是因為百度蜘蛛不能抓取淘寶的內(nèi)容。

可能讀者會有這樣一個疑問，為什么淘寶網(wǎng)徹底屏蔽了百度的抓取，可是百度搜索中還是會出現(xiàn)這樣的“淘寶網(wǎng)”結(jié)果呢？我個人覺得原因有二：

第一，互聯(lián)網(wǎng)上有很多的網(wǎng)站都做了導(dǎo)向淘寶網(wǎng)的鏈接，而導(dǎo)向的錨文本關(guān)鍵詞通常都會是“淘寶網(wǎng)”三個字，故而可能會導(dǎo)致蜘蛛爬到了淘寶網(wǎng)，并將淘寶網(wǎng)三個字作為了關(guān)鍵詞。

第二，百度作為一大搜索引擎，淘寶作為網(wǎng)民上網(wǎng)購物的主要平臺，如果在百度中搜索不到淘寶網(wǎng)，網(wǎng)民會覺得百度真沒有用，連淘寶網(wǎng)都搜索不到還自稱最大的搜索引擎，所以，百度方面也必須要將淘寶結(jié)果返回出來，哪怕是在淘寶屏蔽抓取的情況下，也要人工干預(yù)的返回一個淘寶網(wǎng)的主頁鏈接。

淘寶為什么會屏蔽百度搜索，以上是我對這個問題的看法，如果分析的有不對的地方，可以在我博客中聯(lián)系我交流。

本文首發(fā)于葉德華的博客http://www./index.php/archives/904，轉(zhuǎn)載請注明出處。