每天都有很多SEO人員在更新網(wǎng)站的頁面，如果搜索引擎中網(wǎng)絡(luò)蜘蛛沒有選擇性的抓取頁面，那將會是一個龐大的工作量。因此我們知道，網(wǎng)絡(luò)蜘蛛在進行抓取的時候，是有一定規(guī)則的，是有選擇性的抓取網(wǎng)站頁面的。
那么，網(wǎng)絡(luò)蜘蛛抓取網(wǎng)站頁面的規(guī)則有哪些呢？
1、深度優(yōu)先
網(wǎng)絡(luò)蜘蛛在網(wǎng)站頁面中發(fā)現(xiàn)一個鏈接后，就會順著鏈接進入到下一個頁面中，如果在下一個頁面中也發(fā)現(xiàn)了鏈接，會繼續(xù)順著鏈接抓取下去，而這種抓取方式，就是以深度優(yōu)先的規(guī)則為中心思想的。
2、寬度優(yōu)先
搜索引擎蜘蛛先把整個頁面的鏈接全部抓取一次，然后再對下一個頁面的全部鏈接進行抓取，這就是寬度優(yōu)先規(guī)則。對于這個策略，在進行SEO優(yōu)化的時候，需要頁面的層次不要太多，如果太多會導(dǎo)致頁面收錄困難。
3、權(quán)重優(yōu)先
哪個頁面的權(quán)重高，搜索引擎蜘蛛就會優(yōu)先抓取那個頁面，這就是權(quán)重優(yōu)先規(guī)則。
4、重訪抓取
重訪抓取分為兩種：
①全部重訪：就是指蜘蛛爬蟲上次抓取的鏈接，在當(dāng)月的某一天，全部重新抓取一次。
②單個重訪：就是指針對某個頁面更新的頻率比較快、比較穩(wěn)定的頁面。
綜上所述，只要熟練的掌握網(wǎng)絡(luò)蜘蛛抓取網(wǎng)站頁面的規(guī)則，就可以獲得好的 網(wǎng)站優(yōu)化排名。
