Meta robots標(biāo)簽中noindex,follow的作用

今天在修改一個模板時發(fā)現(xiàn)。里面有<meta name='robots' content='noindex,follow' />的標(biāo)簽，百度了一下。終于明白是啥意思了，原來是告訴搜索引擎該怎么索引此頁的,content中的值決定允許抓取的類型，必須同時包含兩個值：是否允許索引（index）和是否跟蹤鏈接（follow，也可以理解為是否允許沿著網(wǎng)頁中的超級鏈接繼續(xù)抓?。?。

共有4個參數(shù)可選，組成4個組合：

1. index,follow：允許抓取本頁，允許跟蹤鏈接。
2. index,nofollow：允許抓取本頁，但禁止跟蹤鏈接。
3. noindex,follow：禁止抓取本頁，但允許跟蹤鏈接。
4. noindex,nofllow：禁止抓取本頁，同時禁止跟蹤本頁中的鏈接。

以上1和4還有另一種寫法：

<meta name="robots" content="all" />

index,follow可以寫成all，如：noindex,nofollow可以寫成none，如：

<meta name="robots" content="none" />

需要注意的是，robots Meta標(biāo)簽很多搜索引擎是不支持的，只有少數(shù)搜索引擎能夠識別并按給定的值抓取。所以，盡可能的使用robots.txt文件來限制抓取。