robot是搜索引擎在爬取整個網站的時候第一個訪問的文件，當蜘蛛在抓取網站時，會先看網站是否有robot文件，如果該站點存在robot，那么蜘蛛會根據robot的書寫來訪問網站的內容，如果沒有robot，那么蜘蛛將會訪問網站上所有的頁面，那么robot如何來進行書寫呢？下面介紹幾個常用的robot書寫方法

允許搜索引擎抓取所有網站robot為空
禁止所有搜索引擎抓取：
User-agent: *
Disallow: /
禁止百度蜘蛛抓取：
User-agent: baiduspider
Disallow: /
允許百度抓取，禁止谷歌抓取：
User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /