這種需求的擴(kuò)大， 同時(shí)讓網(wǎng)絡(luò)爬蟲日益猖獗，猖獗到甚至影響到了網(wǎng)站和APP的正常運(yùn)行。

高頻的網(wǎng)絡(luò)爬蟲行為無異于DDOS（分布式拒絕服務(wù)）攻擊，雖然法律可以治它，但是其過程之繁瑣，還是不如先讓網(wǎng)站自身充分地強(qiáng)大起來。

為了便于基礎(chǔ)薄弱的同學(xué)理解，我們先看一個(gè)基本的網(wǎng)站訪問鏈路圖：

這其中包含了我們從個(gè)人電腦的瀏覽器上訪問一個(gè)網(wǎng)頁所涉及的所有部件。同時(shí)我們可以將其簡化為下圖：

為什么要反爬蟲？

在設(shè)計(jì)反爬蟲系統(tǒng)之前，我們先來看看爬蟲會(huì)給網(wǎng)站帶來什么問題？

本質(zhì)上來說，互聯(lián)網(wǎng)上可以供人們?yōu)g覽、查看和使用的網(wǎng)站及其網(wǎng)站上的數(shù)據(jù)，都是公開和允許獲取的，所以并不存在于所謂的“非法授權(quán)訪問”問題。

爬蟲程序訪問網(wǎng)頁和人訪問網(wǎng)頁沒有本質(zhì)區(qū)別，都是由客戶端向網(wǎng)站服務(wù)器發(fā)起HTTP請(qǐng)求，網(wǎng)站服務(wù)器接收到請(qǐng)求之后將內(nèi)容響應(yīng)返回給客戶端。

只要是發(fā)起請(qǐng)求，網(wǎng)站服務(wù)器必然要進(jìn)行響應(yīng)，要進(jìn)行響應(yīng)，必然要消耗服務(wù)器的資源。

網(wǎng)站的訪問者與網(wǎng)站之間是互相互惠互利的關(guān)系，網(wǎng)站為訪問者提供了自己所需要的必要的信息和服務(wù)，而訪問者也為網(wǎng)站帶來了流量、訪客、活躍度。所以網(wǎng)站的所有者會(huì)愿意消耗服務(wù)器的帶寬、磁盤、內(nèi)存，為訪問者提供服務(wù)。

而爬蟲程序呢？無異于白嫖黨。成倍地消耗 網(wǎng)站服務(wù)器資源、占用服務(wù)器帶寬，卻不會(huì)給網(wǎng)站帶來一絲的利益，甚至于，最后的結(jié)果是有損于網(wǎng)站本身的。

爬蟲，可能算得上是互聯(lián)網(wǎng)里的鬣狗，難怪遭網(wǎng)站的運(yùn)營者討厭它。

說起來，爬蟲我也用過，反爬蟲的努力我也做過，最后我就得出一個(gè)結(jié)論：網(wǎng)站的資源一旦公開，想完全不被爬是不可能的，能做到的也就是多給網(wǎng)絡(luò)蜘蛛爬蟲添點(diǎn)堵，提高爬資源、內(nèi)容的成本。

網(wǎng)絡(luò)爬蟲其實(shí)也就是一個(gè)自動(dòng)提取網(wǎng)頁內(nèi)容的程序，模擬人為方式瀏覽各種網(wǎng)頁，按特點(diǎn)的條件去抓取網(wǎng)絡(luò)信息中的內(nèi)容，然后按我們?cè)O(shè)定好的方式，將信息收集起來。

說起來，百度蜘蛛應(yīng)該是目前中國最大的網(wǎng)絡(luò)爬蟲了，很多搞SEO優(yōu)化的朋友都知道，要將關(guān)鍵字加到MATE標(biāo)簽中，也就是百度蜘蛛在爬取網(wǎng)站內(nèi)容的時(shí)候，會(huì)將網(wǎng)頁mate標(biāo)簽中的特定信息讀取來做 搜索引擎關(guān)鍵字優(yōu)化。

那么百度蜘蛛爬取網(wǎng)站的速度有多快呢？我拿百度來舉例子，當(dāng)我們?cè)跒g覽器中按下F12就可以看到。

這個(gè)時(shí)候我們?cè)陂_發(fā)者工具中點(diǎn)擊Network就可以看到，www.baidu.com的加載時(shí)間是7.83ms，如果我們單純的，只是爬網(wǎng)頁內(nèi)容，不考慮并發(fā)的情況下，百度蜘蛛也就是8ms爬完一個(gè)網(wǎng)頁上我們所需要的內(nèi)容。如果我們需要爬取的是資源或圖片之類的內(nèi)容，那就得另算時(shí)間另。

點(diǎn)開Network中的第一列，我們可以看到整個(gè)網(wǎng)頁所需加載的內(nèi)容，其他網(wǎng)頁所展示的內(nèi)容也是依據(jù)這個(gè)請(qǐng)求所返回的內(nèi)容所展開的。

通過我們請(qǐng)求回來的代碼，我們可以擬定規(guī)則去讀取特定內(nèi)容，然后在編寫規(guī)則去處理這些內(nèi)容。

那么，網(wǎng)絡(luò)蜘蛛抓取網(wǎng)站頁面的規(guī)則有哪些呢？

1、深度優(yōu)先

網(wǎng)絡(luò)蜘蛛在網(wǎng)站頁面中發(fā)現(xiàn)一個(gè)鏈接后，就會(huì)順著鏈接進(jìn)入到下一個(gè)頁面中，如果在下一個(gè)頁面中也發(fā)現(xiàn)了鏈接，會(huì)繼續(xù)順著鏈接抓取下去，而這種抓取方式，就是以深度優(yōu)先的規(guī)則為中心思想的。

2、寬度優(yōu)先

搜索引擎蜘蛛先把整個(gè)頁面的鏈接全部抓取一次，然后再對(duì)下一個(gè)頁面的全部鏈接進(jìn)行抓取，這就是寬度優(yōu)先規(guī)則。對(duì)于這個(gè)策略，在進(jìn)行SEO優(yōu)化的時(shí)候，需要頁面的層次不要太多，如果太多會(huì)導(dǎo)致頁面收錄困難。

3、權(quán)重優(yōu)先

哪個(gè)頁面的權(quán)重高，搜索引擎蜘蛛就會(huì)優(yōu)先抓取那個(gè)頁面，這就是權(quán)重優(yōu)先規(guī)則。

4、重訪抓取

重訪抓取分為兩種：

①全部重訪：就是指蜘蛛爬蟲上次抓取的鏈接，在當(dāng)月的某一天，全部重新抓取一次。

②單個(gè)重訪：就是指針對(duì)某個(gè)頁面更新的頻率比較快、比較穩(wěn)定的頁面。

綜上所述，只要熟練的掌握網(wǎng)絡(luò)蜘蛛抓取網(wǎng)站頁面的規(guī)則，就可以獲得好的 網(wǎng)站優(yōu)化排名。

那么，百度蜘蛛究竟是什么？

百度蜘蛛Baiduspider是網(wǎng)絡(luò)爬蟲的一種，是一種按照一定的爬取規(guī)則，自動(dòng)地抓取互聯(lián)網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有網(wǎng)絡(luò)螞蟻、自動(dòng)索引、模擬程序或者網(wǎng)絡(luò)蠕蟲。

百度蜘蛛作為一個(gè)自動(dòng)化運(yùn)行程序，夜以繼日的在互聯(lián)網(wǎng)上找尋新的網(wǎng)址URL，接著抓取URL網(wǎng)址上的內(nèi)容，把內(nèi)容返回到百度的網(wǎng)頁存儲(chǔ)數(shù)據(jù)庫，它是 百度抓取網(wǎng)站 的重要程序。

百度蜘蛛有什么作用？

百度蜘蛛作為百度搜索引擎的一個(gè)自動(dòng)程序，它可以訪問為百度搜索收集整理互聯(lián)網(wǎng)上的網(wǎng)站、網(wǎng)頁、圖片、視頻等內(nèi)容，然后分門別類建立索引數(shù)據(jù)庫，使用戶能按照自己的需要在百度搜索引擎中搜索需要的結(jié)果，包括各種網(wǎng)站的網(wǎng)頁、圖片、視頻、文檔、等內(nèi)容。毫無疑問，大家的網(wǎng)站就是這樣實(shí)現(xiàn) 搜索引擎收錄。

百度蜘蛛有哪些種類？

百度用來抓取網(wǎng)頁內(nèi)容的程序，叫做Baiduspider，抓取其他內(nèi)容的蜘蛛，則是新的名字：

產(chǎn)品名稱??????????????? ?對(duì)應(yīng)user-agent

網(wǎng)頁搜索 Baiduspider
無線搜索 Baiduspider
圖片搜索 Baiduspider-image
視頻搜索 Baiduspider-video
新聞搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度聯(lián)盟 Baiduspider-cpro
競價(jià)蜘蛛 Baiduspider-sfkr