<meta name='robots' content='index,follow' />
這個標(biāo)簽，以前沒用過這個標(biāo)簽，查看文檔才明白，此html標(biāo)簽表示允許搜索引擎抓取本頁，并且本頁的上其它鏈接可以被搜索引擎跟蹤抓取。
為了禁止搜索引擎抓取本頁面，我們一般的做法是在頁面的元標(biāo)記中加入如下的代碼：
<meta name='robots' content='noindex,follow' />
在這里，meta? name='robots' 是泛指所有的搜索引擎的，在這里我們也可以特指某個搜索引擎，例如谷歌是：meta name="Googlebot"、百度是meta name="Baiduspide" 等。
content 部分有五個命令：index、noindex、follow、nofollow，noarchive命令間以英文的“,”分隔。
index：允許本頁被搜索引擎抓取
noindex：禁止本頁被搜索引擎抓取
follow：允許本頁的上其它鏈接可以被蜘蛛跟蹤抓取
nofollow：禁止本頁上的其它鏈接被蜘蛛跟蹤抓取
noarchive：禁止搜索引擎對網(wǎng)站建立快照
根據(jù)以上的命令，我們就有了一下的五種組合
<meta name='robots' content='index,follow' />
允許搜索引擎抓取本頁，而且可以順著本頁繼續(xù)索引別的鏈接
<meta name='robots' content='noindex,follow' />
禁止搜索引擎抓取本頁，但是可以順著本頁抓取索引別的鏈接
<meta name='robots' content='index,nofollow' />
允許搜索引擎抓取本頁，但是不許順著本頁抓取索引別的鏈接
<meta name='robots' content='noindex,nofollow' />
禁止搜索引擎抓取本頁，也不許順著本頁抓取索引別的鏈接。
<meta name='robots' content='noarchive' />
禁止搜索引擎對網(wǎng)站建立快照
這里需要注意的是，不可把兩個對立的反義詞寫到一起，例如
<meta name='robots' content='index,noindex' />
或者直接同時寫上兩句
<meta name='robots' content='index,follow' />
<meta name='robots' content='noindex,follow' />
這里有一個簡便的寫法，如果是
<meta name='robots' content='index,follow' />
的形式的話，可以寫成：
<meta name='robots' content='all' />
如果是
<meta name='robots' content='noindex,nofollow' />
的形式的話，可以寫成：
<meta name='robots' content='none' />
當(dāng)然，我們也可以把禁止建立快照和對于搜索引擎的命令寫到一個命令元標(biāo)記中。禁止建立網(wǎng)頁快照的命令是 noarchive，那么我們就可以寫成如下的形式：
<meta name='robots' content='index,follow,noarchive">
如果是對于單獨(dú)的某個搜索引擎不允許建立快照，例如百度，我們就可以寫成：
<meta name='Baiduspider' content='index,follow,noarchive">
如果在元標(biāo)記中不寫關(guān)于蜘蛛的命令，那么默認(rèn)的命令即為如下
<meta name='robots' content='index,follow,archive">
注意，如果我們對于這一部分把握不準(zhǔn)的話，可以直接寫上上面的這一行命令，或者是直接留空就可以了。
]]>共有4個參數(shù)可選，組成4個組合：
- index,follow：允許抓取本頁，允許跟蹤鏈接。
- index,nofollow：允許抓取本頁，但禁止跟蹤鏈接。
- noindex,follow：禁止抓取本頁，但允許跟蹤鏈接。
- noindex,nofllow：禁止抓取本頁，同時禁止跟蹤本頁中的鏈接。
以上1和4還有另一種寫法：
<meta name="robots" content="all" />index,follow可以寫成all，如：noindex,nofollow可以寫成none，如：
<meta name="robots" content="none" />需要注意的是，robots Meta標(biāo)簽很多搜索引擎是不支持的，只有少數(shù)搜索引擎能夠識別并按給定的值抓取。所以，盡可能的使用robots.txt文件來限制抓取。
]]>