隨著大數(shù)據(jù)時(shí)代的來(lái)臨，無(wú)論是個(gè)人還是企業(yè)，對(duì)于數(shù)據(jù)的需求都越來(lái)越大。這種需求也催生了如今異常熱門(mén)的數(shù)據(jù)產(chǎn)業(yè)，也催生了日益完善的網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)。
這種需求的擴(kuò)大， 同時(shí)讓網(wǎng)絡(luò)爬蟲(chóng)日益猖獗，猖獗到甚至影響到了網(wǎng)站和APP的正常運(yùn)行。
高頻的網(wǎng)絡(luò)爬蟲(chóng)行為無(wú)異于DDOS（分布式拒絕服務(wù)）攻擊，雖然法律可以治它，但是其過(guò)程之繁瑣，還是不如先讓網(wǎng)站自身充分地強(qiáng)大起來(lái)。
為了便于基礎(chǔ)薄弱的同學(xué)理解，我們先看一個(gè)基本的網(wǎng)站訪問(wèn)鏈路圖：
這其中包含了我們從個(gè)人電腦的瀏覽器上訪問(wèn)一個(gè)網(wǎng)頁(yè)所涉及的所有部件。同時(shí)我們可以將其簡(jiǎn)化為下圖：
為什么要反爬蟲(chóng)？
在設(shè)計(jì)反爬蟲(chóng)系統(tǒng)之前，我們先來(lái)看看爬蟲(chóng)會(huì)給網(wǎng)站帶來(lái)什么問(wèn)題？
本質(zhì)上來(lái)說(shuō)，互聯(lián)網(wǎng)上可以供人們?yōu)g覽、查看和使用的網(wǎng)站及其網(wǎng)站上的數(shù)據(jù)，都是公開(kāi)和允許獲取的，所以并不存在于所謂的“非法授權(quán)訪問(wèn)”問(wèn)題。
爬蟲(chóng)程序訪問(wèn)網(wǎng)頁(yè)和人訪問(wèn)網(wǎng)頁(yè)沒(méi)有本質(zhì)區(qū)別，都是由客戶(hù)端向網(wǎng)站服務(wù)器發(fā)起HTTP請(qǐng)求，網(wǎng)站服務(wù)器接收到請(qǐng)求之后將內(nèi)容響應(yīng)返回給客戶(hù)端。
只要是發(fā)起請(qǐng)求，網(wǎng)站服務(wù)器必然要進(jìn)行響應(yīng)，要進(jìn)行響應(yīng)，必然要消耗服務(wù)器的資源。
網(wǎng)站的訪問(wèn)者與網(wǎng)站之間是互相互惠互利的關(guān)系，網(wǎng)站為訪問(wèn)者提供了自己所需要的必要的信息和服務(wù)，而訪問(wèn)者也為網(wǎng)站帶來(lái)了流量、訪客、活躍度。所以網(wǎng)站的所有者會(huì)愿意消耗服務(wù)器的帶寬、磁盤(pán)、內(nèi)存，為訪問(wèn)者提供服務(wù)。
而爬蟲(chóng)程序呢？無(wú)異于白嫖黨。成倍地消耗 網(wǎng)站服務(wù)器資源、占用服務(wù)器帶寬，卻不會(huì)給網(wǎng)站帶來(lái)一絲的利益，甚至于，最后的結(jié)果是有損于網(wǎng)站本身的。
爬蟲(chóng)，可能算得上是互聯(lián)網(wǎng)里的鬣狗，難怪遭網(wǎng)站的運(yùn)營(yíng)者討厭它。
