(1)多版本號(hào)URL狀況下，非主顯URL 的別的版本號(hào)。例如網(wǎng)頁鏈接偽靜態(tài)后也不期待百度搜索引擎爬取動(dòng)態(tài)性版本號(hào)了，這時(shí)候就可以應(yīng)用robots.txt 屏蔽站內(nèi)全部動(dòng)態(tài)鏈接。

(2) 假如網(wǎng)址內(nèi)有很多的交叉式組成查尋所轉(zhuǎn)化成的網(wǎng)頁頁面，毫無疑問有很多網(wǎng)頁頁面是沒有內(nèi)容的，針對(duì)沒有內(nèi)容的網(wǎng)頁頁面能夠 獨(dú)立設(shè)定一個(gè)URL 特點(diǎn)，隨后應(yīng)用robots.txt 開展屏蔽掉，防止被百度搜索引擎覺得網(wǎng)址生產(chǎn)制造廢棄物網(wǎng)頁頁面。

(3) 假如網(wǎng)站SEO或由于種種原因忽然刪除了很多網(wǎng)頁頁面，大家都知道。網(wǎng)址突然冒出很多死鏈對(duì)網(wǎng)址在百度搜索引擎上的主要表現(xiàn)是不好的。盡管現(xiàn)在可以立即向百度提交死鏈，可是還比不上立即屏蔽掉百度搜索對(duì)死鏈的爬取，那樣理論上百度搜索就不容易忽然發(fā)覺網(wǎng)址多了過多死鏈，或是二者另外開展。自然網(wǎng)站站長(zhǎng)自身最好是把網(wǎng)站內(nèi)部的死鏈清除整潔。

(4) 假如網(wǎng)址有相近UGC 的作用，且以便提升客戶出示內(nèi)容的主動(dòng)性并沒有嚴(yán)禁客戶在內(nèi)容中參雜連接，這時(shí)以便不許這種連接消耗百度權(quán)重或拖累網(wǎng)址，就可以把這種連接制成網(wǎng)站內(nèi)部的自動(dòng)跳轉(zhuǎn)連接，隨后應(yīng)用robots.txt開展屏蔽掉。現(xiàn)在有許多社區(qū)論壇早已那樣實(shí)際操作了。

(5) 基本的不期待被百度搜索引擎數(shù)據(jù)庫(kù)索引的內(nèi)容，例如隱私保護(hù)數(shù)據(jù)信息、客戶信息、后臺(tái)管理系統(tǒng)網(wǎng)頁頁面等都能夠應(yīng)用robots.txt 開展屏蔽掉。

robots協(xié)議也叫robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。因?yàn)橐恍┫到y(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。

如果想單獨(dú)定義搜索引擎的漫游器訪問子目錄時(shí)的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)（Metadata，又稱元數(shù)據(jù)）。

robots協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。

robots協(xié)議設(shè)置，請(qǐng)參考更多知云網(wǎng)SEO技術(shù)資料。

相關(guān)資料：
百度百科： https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE
搜狗百科： https://baike.sogou.com/v62040012.htm?fromTitle=%E7%88%AC%E8%99%AB%E5%8D%8F%E8%AE%AE