對(duì)百度蜘蛛來說站長(zhǎng)們都喜愛，希望她能每天來我家，說起網(wǎng)絡(luò)蜘蛛爬蟲，很多網(wǎng)站的管理者卻是又愛又恨，即討厭別人爬自己的網(wǎng)站，又需要去爬別人網(wǎng)站的東西。
說起來，爬蟲我也用過，反爬蟲的努力我也做過，最后我就得出一個(gè)結(jié)論：網(wǎng)站的資源一旦公開，想完全不被爬是不可能的，能做到的也就是多給網(wǎng)絡(luò)蜘蛛爬蟲添點(diǎn)堵，提高爬資源、內(nèi)容的成本。
網(wǎng)絡(luò)爬蟲其實(shí)也就是一個(gè)自動(dòng)提取網(wǎng)頁內(nèi)容的程序，模擬人為方式瀏覽各種網(wǎng)頁，按特點(diǎn)的條件去抓取網(wǎng)絡(luò)信息中的內(nèi)容，然后按我們?cè)O(shè)定好的方式，將信息收集起來。
說起來，百度蜘蛛應(yīng)該是目前中國(guó)最大的網(wǎng)絡(luò)爬蟲了，很多搞SEO優(yōu)化的朋友都知道，要將關(guān)鍵字加到MATE標(biāo)簽中，也就是百度蜘蛛在爬取網(wǎng)站內(nèi)容的時(shí)候，會(huì)將網(wǎng)頁mate標(biāo)簽中的特定信息讀取來做 搜索引擎關(guān)鍵字優(yōu)化。
那么百度蜘蛛爬取網(wǎng)站的速度有多快呢？我拿百度來舉例子，當(dāng)我們?cè)跒g覽器中按下F12就可以看到。
這個(gè)時(shí)候我們?cè)陂_發(fā)者工具中點(diǎn)擊Network就可以看到，www.baidu.com的加載時(shí)間是7.83ms，如果我們單純的，只是爬網(wǎng)頁內(nèi)容，不考慮并發(fā)的情況下，百度蜘蛛也就是8ms爬完一個(gè)網(wǎng)頁上我們所需要的內(nèi)容。如果我們需要爬取的是資源或圖片之類的內(nèi)容，那就得另算時(shí)間另。
點(diǎn)開Network中的第一列，我們可以看到整個(gè)網(wǎng)頁所需加載的內(nèi)容，其他網(wǎng)頁所展示的內(nèi)容也是依據(jù)這個(gè)請(qǐng)求所返回的內(nèi)容所展開的。
通過我們請(qǐng)求回來的代碼，我們可以擬定規(guī)則去讀取特定內(nèi)容，然后在編寫規(guī)則去處理這些內(nèi)容。
