百度蜘蛛IP段詳解

眾所周知，百度蜘蛛爬蟲對于網(wǎng)站SEO有很好的索引和幫助，能夠快速在百度首頁通過關鍵詞搜索直達您的網(wǎng)站。我們在進行網(wǎng)站日志分析的時候，常見到很多不同IP段的百度蜘蛛，為了方便大家更好的進行日志分析，下面列舉了百度不同IP段常見蜘蛛的一些詳情情況，及所謂的降權蜘蛛，沙盒蜘蛛，高權重蜘蛛等等。

百度蜘蛛(Baiduspider)爬取

蜘蛛爬取是搜索引擎獲得頁面內(nèi)容的一個重要的途徑，通過蜘蛛的抓取可以得到一個頁面的最主要的內(nèi)容從而收錄百度數(shù)據(jù)庫系統(tǒng)，每次抓取之后都會再與數(shù)據(jù)庫原有的信息進行比對，來確定頁面的總體質(zhì)量。

那么，每當蜘蛛來抓取的時候都會被網(wǎng)站日志文件記錄下來，具體包括抓取時間，抓取的頁面以及蜘蛛來路IP地址，上次說到百度蜘蛛(Baiduspider)ip來路基本能夠反映出不同蜘蛛對站點不同頁面的喜好程度，從側面也反映出整個網(wǎng)站不同頁面的權重值，通過自己一系列的分析，可以較為準確的評估整站的權重分布，對于seo、文章內(nèi)容價值、用戶體驗都起到很好的參考價值。

經(jīng)常聽到站長們問，百度蜘蛛是什么？最近百度蜘蛛來的太頻繁服務器抓爆了，最近百度蜘蛛都不來了怎么辦，還有很多站點想得到百度蜘蛛的IP段，想把IP加入白名單，但IP不固定，我們無法對外公布。

那怎么才能識別正確的百度蜘蛛呢？只需兩步，教你正確識別百度蜘蛛

1、查看UA，如果UA都不對，可以直接判斷非百度搜索的蜘蛛，目前對外公布過的UA是：

移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）

新增渲染UA:

移動UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據(jù)平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：

1）、在linux平臺下，您可以使用host?ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以?*.baidu.com?或?*.baidu.jp?的格式命名，非?*.baidu.com?或?*.baidu.jp?即為冒充。

2)、在windows平臺或者IBM?OS/2平臺下，您可以使用nslookup?ip命令反解ip來?判斷是否來自Baiduspider的抓取。打開命令處理器?輸入nslookup?xxx.xxx.xxx.xxx（IP地?址）就能解析ip，?來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com?或*.baidu.jp?的格式命名，非?*.baidu.com?或?*.baidu.jp?即為冒充。

3）、 在mac?os平臺下，您可以使用dig?命令反解ip來?判斷是否來自Baiduspider的抓取。打開命令處理器?輸入dig?xxx.xxx.xxx.xxx（IP地?址）就能解析ip，?來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以?*.baidu.com?或*.baidu.jp?的格式命名，非?*.baidu.com?或?*.baidu.jp?即為冒充。

下面的百度蜘蛛IP造訪，準備抓取你東西，抓取網(wǎng)頁的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*

百度競價蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185

（百度聯(lián)盟爬蟲），說白了就是百度統(tǒng)計。
61.135.186.*

站長工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42

114站長工具箱（這個是你的網(wǎng)站不穩(wěn)定時常來的）
119.147.114.213
121.10.141.*

百度圖片爬蟲
123.15.**.**

這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了，或被者降權。
123.125.68.*

抓取內(nèi)頁收錄的，權重較低，爬過此段的內(nèi)頁文章暫時被收錄但不放出來(意思也就是說待定)，因不是原創(chuàng)或采集文章。（百度網(wǎng)頁爬蟲（百度圖片爬蟲）
123.125.71.*

搜外站長工具蜘蛛。
124.248.34.52

也屬于百度蜘蛛IP 主要造成成分，是新上線站較多，還有使用過站長工具，或SEO綜合檢測造成的，沒有多大用。?125.90.88.*

百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107

偽裝百度蜘蛛IP
180.149.130.*

這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后。
183.91.40.144
203.208.60.*

這個ip段不間斷巡邏各站，就是路過一下。
210.72.225.*

每天這個IP 段只增不減很有可能進沙盒或K站
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.*

主要是抓取首頁占80%，內(nèi)頁占30%，這此爬過的文章或首頁，絕對24小時內(nèi)放出來和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒更新，蜘蛛來過，如果是 200 0 64別擔心這不是K站，可能是網(wǎng)站是動態(tài)的，所以返回就是這個代碼。
220.181.108.*

代表百度蜘蛛IP來訪準備抓取你東西
220.181.7.*
123.125.66.*

這個ip段作為度過新站考察期
121.14.89.*

這個ip段出現(xiàn)在新站或站點有不正?，F(xiàn)象后
203.208..60.*

這個ip段不間斷巡邏各站
210.72.225.*

這個是百度抓取首頁的專用IP如是220.181.108段的ip來的話基本來說網(wǎng)站會天天隔夜快照，絕對錯不了的
220.181.108.95

98%抓取首頁可能還會抓取其他「不是指內(nèi)頁）屬于權重IP段此段爬過的文章或首頁基本24小時放出來.
220.181.108.92

抓取內(nèi)頁收錄的 權重較低 爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章
123.125.71.106

屬于綜合的。主要抓取首頁和內(nèi)頁或者其它頁面。屬于權重IP段, 抓過的文章或首頁基本24小時放出來
220.181.108.91

重點抓取更新文章的內(nèi)頁達到90%,8%的抓取首頁,2%其他權重ip段,抓過的文章或首頁基本24小時放出來
220.181.108.75

專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新
220.181.108.86

抓取內(nèi)頁收錄的，權重較低，爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)
123.125.71.95
123.125.71.97

專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77

抓取內(nèi)頁收錄的， 權重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)
123.181.108.77

專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新

220.181.108.83

附錄百度蜘蛛IP地址

123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了，或被者降權。
220.181.68.*每天這個IP段只增不減很有可能進沙盒或K站。
220.181.7.*、123.125.66.*代表百度蜘蛛IP造訪，準備抓取你東西。
121.14.89.*這個ip段作為度過新站考察期。
203.208.60.*這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后。
210.72.225.*這個ip段不間斷巡邏各站。
125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線站較多，還有使用過站長工具，或SEO綜合檢測造成的。
220.181.108.95這個是百度抓取首頁的專用IP，如是220.181.108段的話，基本來說你的網(wǎng)站會天天隔夜快照。（悲劇的我竟然屏蔽了這個IP）
220.181.108.92同上98%抓取首頁，可能還會抓取其他(不是指內(nèi)頁)220.181段屬于權重IP段此段爬過的文章或首頁基本24小時放出來。（嗯，還有這個也屏蔽了，暈死了?。?br /> 123.125.71.106抓取內(nèi)頁收錄的，權重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章。（這個也有，汗?。?br /> 220.181.108.91屬于綜合的，主要抓取首頁和內(nèi)頁或其他，屬于權重IP段，爬過的文章或首頁基本24小時放出來。
220.181.108.75重點抓取更新文章的內(nèi)頁達到90%，8%抓取首頁，2%其他。權重IP段，爬過的文章或首頁基本24小時放出來。（這個，……?。?br /> 220.181.108.86專用抓取首頁IP權重段，一般返回代碼是30400代表未更新。（還有這個……）
123.125.71.95抓取內(nèi)頁收錄的，權重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章。
123.125.71.97抓取內(nèi)頁收錄的，權重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章。
220.181.108.89專用抓取首頁IP權重段，一般返回代碼是30400代表未更新。（好吧，220開頭的好像都被我屏蔽了，下手真心有點兒太狠了?。?br /> 220.181.108.94專用抓取首頁IP權重段，一般返回代碼是30400代表未更新。
220.181.108.97專用抓取首頁IP權重段，一般返回代碼是30400代表未更新。
220.181.108.80專用抓取首頁IP權重段，一般返回代碼是30400代表未更新。
220.181.108.77專用抓首頁IP權重段，一般返回代碼是30400代表未更新。
123.125.71.117抓取內(nèi)頁收錄的，權重較低，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或是采集文章。
注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁收錄的權重比較低，可能由于你采集文章或拼文章暫時被收錄但不放出來.。

220.181.108.83專用抓取首頁IP權重段，一般返回代碼是30400代表未更新。
220.181.108.*段IP主要是抓取首頁占80%，內(nèi)頁占30%，這此爬過的文章或首頁，絕對24小時內(nèi)放出來和隔夜快照的!
一般成功抓取返回代碼都200，返回304代表網(wǎng)站沒更新。

Google蜘蛛IP地址
216.239.33.*

216.239.35.*

216.239.37.*

216.239.39.*

216.239.51.*

216.239.53.*

216.239.55.*

216.239.57.*

216.239.59.*

64.233.161.*

64.233.189.*

66.102.11.*

66.102.7.*

66.102.9.*

66.249.64.*

66.249.65.*

66.249.66.*

66.249.71.*

66.249.72.*

72.14.207.*

谷歌蜘蛛IP段解析
202.101.43.*、222.73.247.*、66.249.65.*這三個ip段是最為常規(guī)出現(xiàn)的

66.249.16.*出現(xiàn)的站點均為新站或站點出現(xiàn)無法訪問情況后再次出現(xiàn)的ip段

210.72.225.*這個ip段不間斷巡邏各站

203.208.60.*這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后

360蜘蛛IP段
101.226.166.*(101.226.166.195~101.226.166.254，共60個)

101.226.167.*(101.226.167.195~101.226.167.254，共60個)

101.226.168.*(101.226.168.195~101.226.168.254，共60個)

101.226.169.*(101.226.169.195~101.226.169.230，共36個)

180.153.236.*(180.153.236.11~26；180.153.236.35~180.153.236.74；180.153.236.101~180.153.236.196，共152個)

182.118.20.*(182.118.20.201~182.118.20.254，共39個)

182.118.21.*(182.118.21.201~182.118.21.*254，共54個)

182.118.22.*(182.118.22.141~182.118.22.149；182.118.22.211~182.118.22.250，共64個)

182.118.25.*(182.118.25.131~182.118.25.245；)

182.118.28.*

61.55.185.*

101.199.*.*

220.181.126.*

182.118.26.110~182.118.26.239（時效性UAIP段，主要針對網(wǎng)站內(nèi)容更新的爬取）

360蜘蛛IP段解析
220.181.126.*、101.199.*.*據(jù)說為360舉報IP。也就是說，假如你的網(wǎng)站日志出現(xiàn)這個IP段，你的網(wǎng)站被舉報了。如果是違法站，那就自求多福吧。

搜狗蜘蛛IP段
123.126.113.79-123.126.113.191

220.181.89.190

220.181.89.189

218.30.103.155

61.135.189.75

220.181.94.228

61.135.189.74

220.181.89.157

220.181.89.165

220.181.89.183

220.181.89.194

218.30.103.80

神馬蜘蛛IP段
42.156.136.*-42.156.139.*

42.120.160.*42.120.161.*

其他蜘蛛IP段
163搜索引擎蜘蛛IP地址大全
202.106.186.*

202.108.36.*

202.108.44.*

202.108.45.*

202.108.5.*

202.108.9.*

220.181.12.*

220.181.13.*

220.181.14.*

220.181.15.*

220.181.28.*

220.181.31.*

222.185.245.*

iask搜索引擎蜘蛛IP地址大全
61.135.152.*

msn搜索引擎蜘蛛IP地址大全
65.54.188.*

65.54.225.*

65.54.226.*

65.54.228.*

65.54.229.*

207.46.98.*

207.68.157.*

搜搜蜘蛛IP地址
219.133.40.*

202.96.170.*

202.104.129.*

61.135.157.*

新浪搜索引擎蜘蛛IP地址
219.142.118.*

219.142.78.*

搜狐搜索引擎蜘蛛IP地址
61.135.132.*

220.181.26.*

220.181.19.*

Yahoo搜索引擎蜘蛛IP地址
66.196.90.*

66.196.91.*

68.142.249.*

68.142.250.*

68.142.251.*

72.30.101.*

72.30.102.*

72.30.103.*

72.30.104.*

72.30.107.*

72.30.110.*

72.30.111.*

72.30.128.*

72.30.129.*

72.30.131.*

72.30.133.*

72.30.134.*

72.30.135.*

72.30.216.*

72.30.226.*

72.30.252.*

72.30.97.*

72.30.98.*

72.30.99.*

74.6.74.*

Yahoo中國搜索引擎蜘蛛IP地址
202.165.102.*

202.160.178.*

202.160.179.*

202.160.180.*

202.160.181.*

202.160.183.*

中搜蜘搜索引擎蜘蛛IP地址
202.108.4.*

202.108.4.*

202.108.33.*

202.96.51.*

219.142.53.*

好了，終于通過此文提供的IP，在屏蔽里排除了百度蜘蛛的IP了，總結下來就是“對自己真的是太狠了”，看來一些基本的數(shù)據(jù)必須要保留呀！就像此文一樣，保存好，隨時都可以用來參考的！