關(guān)于Robots.txt在網(wǎng)站SEO優(yōu)化中所發(fā)揮的作用和重要性，我們不再一一闡述了，十堰SEO今天主要來和大家聊一聊它的高級用法，也可以叫做進(jìn)階使用方法吧。

在介紹進(jìn)階使用方法之前，我們先來回顧一下robots.txt的使用要點(diǎn)：

1）文件名必須為小寫。不能是RoBotS.TXT。

2）每個域名(不管是不是子域名)都只能最多有一個robots.txt文件，放置于網(wǎng)站根目錄。yourname.com的robots.txt對abc.yourname.com沒有約束。

3）每種協(xié)議都可以有一個robots.txt。如和https://yourname.com可以分別有一個robots.txt。

4）每個端口可以有一個robots.txt。如和:8080可以分別有一個robots.txt。

5）user-agent的名稱以及user-agent，allow，disallow，crawl-delay，sitemap這些指示符的大小寫不敏感。

6）robots.txt所包含的URL為大小寫敏感。分清大小寫才能有效排除索引。

7）allow和disallow的URL必須是不包括協(xié)議、域名、端口的路徑。disallow:就錯了。改為disallow: /abc.htm

8）sitemap必須包括從http或https開始的完整的URL。

9）robots.txt不是死鏈提交工具，想要刪除死鏈索引還是應(yīng)該登陸各搜索引擎站長平臺提交。

10）robots.txt只做減法，有沒有這個文件的區(qū)別即是去不去做這個排除。刪除robots.txt意味著完全開放爬蟲漫游。

11）robots.txt只防君子不防小人。歷史上發(fā)生過多次違反robots.txt的事件。網(wǎng)站要把機(jī)密信息放到登陸后。

12）要想嚴(yán)格不讓搜索引擎索引還是推薦用noindex標(biāo)簽。但是百度并不支持。

13）crawl-delay并不被谷歌和百度支持，Yandex和Bing則支持。Yandex還支持host指示符來表示偏好的域名。

14）符號#用于注釋。后面的內(nèi)容會被忽略。

這里要說的是通配符*。它代表任意長度的任意字符。請注意每一行allow，disallow之后都有一個看不見的*。

也就是說如果你寫了disallow: /seo/，那么下面的內(nèi)容就會影響到所有以/seo/開頭的URL，比如：

但是也有例外的情況，那就是allow和disallow之后沒有任何賦值的情況。比如下面這種寫法：

# Cybermapper 可以訪問任意頁面

如果你有多個討厭的機(jī)器人在抓取你的網(wǎng)頁消耗你的資源，那你可能會通過disallow屏蔽他們(當(dāng)然要他們是君子的前提下)。你可以通過user-agent一次性把他們屏蔽。

這種寫法在當(dāng)你有多個user-agent，每個雖然都比較復(fù)雜但是都一樣的情況下顯得很有用。

這樣你就可以讓robots.txt變得簡潔。

如果我們想讓某些搜索引擎只訪問特定的sitemap，這種情況下該如何處理呢?除了在站長平臺提交網(wǎng)站地圖，我們還可以在robots.txt內(nèi)實(shí)現(xiàn)。別忘了sitemap文件也是一個資源，我們一樣可以用disallow去屏蔽掉。假定我們給百度的網(wǎng)站地圖是sitemap-bd.xml文件，其他搜索引擎的地圖文件是sitemap.xml，我們可以通過下面的方式來實(shí)現(xiàn)：

這樣一來站點(diǎn)就有專門針對百度可見的地圖文件了，而其他搜索引擎抓取的是另外一個網(wǎng)站地圖文件。

我們知道，一般來說搜索引擎對站點(diǎn)地圖的大小和所包含的URL的數(shù)量都有所限制。比如百度對單個sitemap文件的限制是五萬條URL和10MB的文件大小。在這種情況下，你可以在robots.txt中給出多個sitemap文件的URL。除了這種分拆方式，你還可以使用sitemap索引文件，比如下面這個例子。

其他主流的搜索引擎也認(rèn)這個索引格式。

那么問題來了，即便是這樣，文件多且大，傳輸會變得非常沒有效率。為了解決這個問題我們可以對站點(diǎn)地圖進(jìn)行GZIP壓縮。像7-zip這樣的壓縮工具都可以對文件壓縮。需要注意的是在壓縮前你的單個站點(diǎn)地圖文件仍然必須小于10MB并且包含URL數(shù)量小于五萬條。

以上就是我們介紹的robots.txt的高級應(yīng)用，如果你再通過結(jié)合其他SEO方法，對網(wǎng)站排名相信能起到事半功倍的效果!