網(wǎng)站robots文件的作用以及如何寫

網(wǎng)站后臺(tái)里面的robots文件的作用是可以像搜索引擎反映哪些頁面是我不想被收錄的頁面，一般來說網(wǎng)站或多或少都存在一些對(duì)排名沒多大幫助反而還有害的頁面。所以這個(gè)時(shí)候就需要用到robots文件。

一.robots的原理

robots文件的作用剛也說到了，一般搜索引擎蜘蛛會(huì)優(yōu)先訪問網(wǎng)站內(nèi)部的robots文件，根據(jù)文件內(nèi)設(shè)置的規(guī)則不再去抓取那些你像要屏蔽的網(wǎng)頁網(wǎng)址。

二.robots的文件格式

1.Disallow:該項(xiàng)的值用于描述不希望被抓取的URL鏈接

2.Allow:該項(xiàng)的值用于描述希望被抓取的URL鏈接

3.User-agent:該項(xiàng)的值用于描述搜索引擎robot的名字

三.robots的文件存放位置

通常robots文件直接存放于網(wǎng)站ftp后臺(tái)的根目錄路徑即可，一般搜索引擎蜘蛛優(yōu)先發(fā)文的也是網(wǎng)站的根目錄下的robots。

四.robots的文件格式

通常robots的文件格式用一般的txt文本格式即可，保存的字符編碼為utf-8標(biāo)準(zhǔn)字符即可。

五.robots的通配符介紹

星號(hào)*，表示匹配0個(gè)或多個(gè)任意字符；美元符號(hào)$，表示行結(jié)束符；

注：404和503的區(qū)別，404表示頁面丟失，503表示頁面訪問不了，503短期內(nèi)，搜索引擎不會(huì)去抓取。