更新時(shí)間：2024-11-08 06:14:01
網(wǎng)站建設(shè)
284網(wǎng)站制作公司推來(lái)客（www.tlkjt.com）：誤區(qū)一、Allow覆蓋的比Disallow多，位置在Disallow的前面。
比如很多人寫(xiě)：
用戶代理：*
允許： /
Disallow: /mulu/
我想讓所有的蜘蛛爬取本站除了/mulu/下的url之外的所有頁(yè)面，禁止爬取/mulu/下的所有url。
SEO網(wǎng)站優(yōu)化搜索引擎蜘蛛從上到下執(zhí)行規(guī)則，這會(huì)導(dǎo)致第二句失敗。也就是說(shuō)，禁止爬取/mulu/目錄的規(guī)則是無(wú)效的。正確的是Disallow應(yīng)該在Allow之上，這樣才會(huì)生效。
誤區(qū)二、Disallow命令和Allow命令后沒(méi)有斜杠“/”。
這也很容易被忽視。比如有人這樣寫(xiě)Disallow: 123.html，沒(méi)有效果。斜杠“/”表示文件所在的位置到根目錄。如果不包含，自然無(wú)法確定是哪個(gè)url，所以是錯(cuò)誤的。
正確的應(yīng)該是Disallow: /123.html，這樣就可以屏蔽/123.html這個(gè)文件，這條規(guī)則才能生效。
誤區(qū)三、屏蔽目錄后沒(méi)有斜杠“/”。
也就是比如你要屏蔽/mulu/目錄的爬取，有人這樣寫(xiě)Disallow: /mulu。那么這是正確的嗎？
首先，這樣寫(xiě)（Disallow: /mulu）確實(shí)可以屏蔽所有/mulu/下的url，但是也屏蔽了所有像/mulu123.html這樣以/mulu開(kāi)頭的頁(yè)面，效果等同于Disallow: /mulu*。
正確的做法是，如果只想屏蔽目錄，必須在末尾加上斜杠“/”。
本文發(fā)表于北京網(wǎng)站制作公司推來(lái)客http://www.tlkjt.com/
我們專注高端建站，小程序開(kāi)發(fā)、軟件系統(tǒng)定制開(kāi)發(fā)、BUG修復(fù)、物聯(lián)網(wǎng)開(kāi)發(fā)、各類API接口對(duì)接開(kāi)發(fā)等。十余年開(kāi)發(fā)經(jīng)驗(yàn)，每一個(gè)項(xiàng)目承諾做到滿意為止，多一次對(duì)比，一定讓您多一份收獲！
