更新時(shí)間：2024-11-07 18:40:19
網(wǎng)站建設(shè)
332大家都知道，大概在“百度是”上線(xiàn)之前，淘寶網(wǎng)為了避免百度惡意爬取，直接屏蔽了百度蜘蛛，也就是當(dāng)時(shí)鬧得沸沸揚(yáng)揚(yáng)的robots.txt協(xié)議。
即使你現(xiàn)在打開(kāi)淘寶的robots.txt協(xié)議，你也能看到淘寶還在屏蔽百度的蜘蛛。
但真的如此嗎？
事實(shí)證明，淘寶的robots.txt文件對(duì)百度蜘蛛根本沒(méi)有作用。
小弟推測(cè)，百度之所以這樣做，是因?yàn)榘俣瓤紤]了戰(zhàn)略方向，因?yàn)樗阉髁艘幌?，發(fā)現(xiàn)一些知名的店鋪在百度上的排名非常好。足以證明百度對(duì)于淘寶這樣的店鋪的重要性。更戲劇化的是，天貓（淘寶商城）也使用了robots.txt協(xié)議。百度蜘蛛也被屏蔽了。
另一種可能是淘寶網(wǎng)和天貓網(wǎng)的權(quán)重過(guò)高，導(dǎo)致百度蜘蛛不按照搜索引擎協(xié)議進(jìn)行爬取。不過(guò)，對(duì)于這種事情，大家可以想一想前幾天一淘網(wǎng)惡意抓取京東和新蛋網(wǎng)的商品數(shù)據(jù)，而且不遵守搜索引擎的規(guī)則。
直到現(xiàn)在，京東商城等也在對(duì)一淘網(wǎng)的蜘蛛進(jìn)行封鎖。
小編想說(shuō)的是，現(xiàn)在的搜索引擎為了自己的利益，不遵守互聯(lián)網(wǎng)協(xié)議的規(guī)則，這是值得反思的。我呼吁這樣的大型互聯(lián)網(wǎng)公司在整個(gè)IT行業(yè)樹(shù)立一個(gè)好榜樣。
我們專(zhuān)注高端建站，小程序開(kāi)發(fā)、軟件系統(tǒng)定制開(kāi)發(fā)、BUG修復(fù)、物聯(lián)網(wǎng)開(kāi)發(fā)、各類(lèi)API接口對(duì)接開(kāi)發(fā)等。十余年開(kāi)發(fā)經(jīng)驗(yàn)，每一個(gè)項(xiàng)目承諾做到滿(mǎn)意為止，多一次對(duì)比，一定讓您多一份收獲！
