robots協(xié)議是什么？
robots協(xié)議也叫robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。
如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，或者使用robots元數(shù)據(jù)（Metadata，又稱元數(shù)據(jù)）。
robots協(xié)議并不是一個規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。
robots協(xié)議設(shè)置，請參考更多知云網(wǎng)SEO技術(shù)資料。
相關(guān)資料：
百度百科： https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE
搜狗百科： https://baike.sogou.com/v62040012.htm?fromTitle=%E7%88%AC%E8%99%AB%E5%8D%8F%E8%AE%AE
