robots是網站和碰見引擎協議的純文本文件 ，當一個碰見引擎蜘蛛來訪問站點的時候 ，首先爬行檢查根目錄是否存在這個文件 。如果存在的話 ，那麽就會根據文件的最终幻想14绿码挂件內容來確定訪問範圍 ，如果沒有的話蜘蛛就會沿著鏈接鋪開抓取 ，robots放在項目的根目錄下 。
二 、 robots.txt基本語法 ：
1、允許所有碰見引擎訪問網站的所有部分 ，robots.txt寫法如下
User-agent:
*Disallow:
或者
User-agent:
*Allow: /
注意 ： 1. 首個英文要大寫 ，冒號是最终幻想14自动剧情辅助器英文狀態下 ，冒號後麵有一個空格 ，這幾點一定不能寫錯 。
2 、禁止所有碰見引擎訪問網站的所有部分
robots.txt寫法如下 ：
User-agent:
*Disallow: /
3 、隻需要禁止蜘蛛訪問某個目錄 ，比如禁止admin 、最终幻想14氪金严重吗css 、images等目錄被索引
robots.txt寫法如下 ：
User-agent:
*Disallow: /css/
Disallow: /admin/
Disallow: /images/
注意 ：路徑後麵有斜杠和沒有斜杠的區別：比如Disallow: /images/ 有斜杠是禁止抓取images整個文件夾，Disallow: /images 沒有斜杠意思是凡是路徑裏麵有/images關鍵詞的城市被屏蔽
4 、屏蔽一個文件夾/templets ，但是又能抓取其中一個文件的寫法:/templets/main
robots.txt寫法如下 ：
User-agent:
*Disallow: /templets
Allow: /main
5 、 禁止訪問/html/目錄下的穿越到ff14的小说所有以”.php”為後綴的URL(包含子目錄)
robots.txt寫法如下 ：
User-agent:
*Disallow: /html/*.php
6 、 僅允許訪問某目錄下某個後綴的文件,則使用“$”
robots.txt寫法如下：
User-agent:
*Allow: .html$
Disallow: /
7 、禁止索引網站中所有的動態頁麵
比如這裏限製的是有“?”的域名 ，例如index.php?id=1
robots.txt寫法如下 ：
User-agent:
*Disallow: /*?
*8 、 禁止碰見引擎抓取我們網站上的所有圖片(如果你的網站使用其他後綴的圖片名稱 ，在這裏也可以直接增補)
有些時候 ，我們為了節省服務器資源 ，ff14天气预报网站需要禁止各類碰見引擎來索引我們網站上的圖片，這裏的計劃除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外 ，還 可以采取直接屏蔽圖片後綴名的方式 。
robots.txt寫法如下 ：
User-agent:
*Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
三、寫robots.txt要注意的地方 ：
1)、 首個英文要大寫 ，冒號是英文狀態下 ，冒號後麵有一個空格，這幾點一定不能寫錯 。
2.)、斜杠 ：/ 代表整個網站
3) 、如果“/”後麵多了一個空格 ，則屏蔽整個網站
4) 、不要禁止正常的內容
5) 、生效時間是幾天到兩個月
四 、robots.txt文件對網站優化有什麽作用?
1、疾速增補網站權重和拜訪量;
2 、製止某些文件被碰見引擎索引 ，能夠節省服務器帶寬和網站拜訪速度;
3、為碰見引擎供給一個簡潔明了的索引環境
(责任编辑：透視)