BaiDuSpider百度蜘蛛占用流量,robots.txt設(shè)置

注：以下BaiDuSpider等于百度蜘蛛、Googlebot等于google蜘蛛、Sogou Spider等于搜狗蜘蛛

一、問題因某些原因，搜索引擎蜘蛛抓取網(wǎng)站占用很大流量，如圖：網(wǎng)站訪問日志也可看見很多蜘蛛爬行記錄。

二、認(rèn)識(shí)、學(xué)習(xí)我們知道，搜索引擎都遵守互聯(lián)網(wǎng)robots協(xié)議，可通過robots.txt來進(jìn)行限制。先對(duì)robots.txt一些實(shí)例說明，然后根據(jù)上面網(wǎng)站情況進(jìn)行規(guī)則設(shè)置，通過上面截圖可以看出BaiDuSpider占用流量非常大，首先在網(wǎng)站跟目錄下面建立一個(gè)robots.txt文件。

例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分　　　

User-agent: *　Disallow: /　

例2. 允許所有的robot訪問 (或者也可以建一個(gè)空文件 “/robots.txt” file)　　　

User-agent: *　　　Allow:　

例3. 禁止某個(gè)搜索引擎的訪問（禁止BaiDuSpider）　　User-agent: BaiDuSpider　Disallow: /　

例4. 允許某個(gè)搜索引擎的訪問　　　User-agent: Baiduspider　allow:/　

例5.禁止二個(gè)目錄搜索引擎訪問 User-agent: *Disallow: /admin/Disallow: /install/

例6. 僅允許Baiduspider以及Googlebot訪問User-agent: Baiduspider

Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /例7. 禁止百度搜索引擎抓取你網(wǎng)站上的所有圖片User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$三、問題解決（規(guī)則設(shè)置）根據(jù)以上實(shí)例，經(jīng)過分析網(wǎng)站日志，主要是百度抓取圖片占用了流量，他還有兩個(gè)目錄也不希望搜索引擎抓取，設(shè)置規(guī)則如下解決：User-agent: *Disallow: /admin/Disallow: /install/User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$

Disallow: /*.bmp$因?yàn)樗阉饕嫠饕龜?shù)據(jù)庫的更新需要時(shí)間。雖然蜘蛛已經(jīng)停止訪問您網(wǎng)站上的網(wǎng)頁，但百度搜索引擎數(shù)據(jù)庫中已經(jīng)建立的網(wǎng)頁索引信息，可能需要數(shù)月時(shí)間才會(huì)清除。也就是說設(shè)置限制之后日志還會(huì)看見蜘蛛爬行，逐漸會(huì)降低抓取直到完全生效，這種問題會(huì)持續(xù)一段時(shí)間。如果您需要盡快屏蔽，訪問以下幫助中心進(jìn)行投訴，搜索引擎就會(huì)較快處理。

四、知識(shí)加強(qiáng)為更詳細(xì)了解蜘蛛爬行原理和robots.txt寫法，建議詳細(xì)閱讀以下標(biāo)準(zhǔn)資料：

BaiDuSpider幫助中心 http://www.baidu.com/search/spider.html

Googlebot幫助中心 http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=182072

Sogou Spider幫助中心 http://www.sogou.com/docs/help/webmasters.htm

Robots.txt 詳細(xì)介紹：http://baike.baidu.com/view/1280732.htm

baidu提供標(biāo)準(zhǔn)robots.txt寫法：http://www.baidu.com/search/robots.html

來源： greatidc.com
閱讀：4923 次
日期：2012/10/27