robots.txt的設(shè)置對(duì)于網(wǎng)站的收錄檢索規(guī)則很重要，然而對(duì)于搜索引擎來(lái)說(shuō)，還有另外一種配置方法，也可以起到檢索權(quán)限規(guī)定的作用，現(xiàn)在發(fā)菜工作室就這個(gè)問(wèn)題來(lái)說(shuō)明一下：
  
   Robots 的具體網(wǎng)頁(yè)設(shè)置源碼表現(xiàn)形式為，在head之間加入：<meta name="robots" content=" ">。

   Robots 的 content 部分文字可以填寫(xiě)的內(nèi)容為：all、none、index、noindex、follow 和nofollow。對(duì)于 Robots 的 content 部分填充內(nèi)容有如下意義說(shuō)明：

   設(shè)定為 all：文件將被檢索，且頁(yè)面上的鏈接可以被查詢；

   設(shè)定為 none：文件將不被檢索，且頁(yè)面上的鏈接不可以被查詢；

   設(shè)定為 index：文件將被檢索；

   設(shè)定為 follow：頁(yè)面上的鏈接可以被查詢；

   設(shè)定為 noindex：文件將不被檢索，但頁(yè)面上的鏈接可以被查詢；

   設(shè)定為 nofollow：文件將不被檢索，頁(yè)面上的鏈接可以被查詢。

    一般來(lái)說(shuō)，大部分網(wǎng)站并沒(méi)有太多的內(nèi)容禁止搜索引擎機(jī)器人索引，Robots 的通用寫(xiě)法都是：<meta name="robots" content="all">。如果想對(duì) Robots 做一些個(gè)性化的設(shè)置，可以參照上面的相關(guān)說(shuō)明來(lái)完善 Robots 的 content 部分內(nèi)容，如：希望當(dāng)前頁(yè)被檢索，但不追搜本頁(yè)的內(nèi)鏈接可以這樣寫(xiě)：<meta name="robots" content="index,nofollow">，這些可以配合起來(lái)使用，達(dá)到自己的要求目的。