標(biāo)簽： 禁止
wordpress禁止搜索引擎抓取指定路徑或者是動(dòng)態(tài)路徑頁面
今天查詢發(fā)現(xiàn)上午發(fā)布的一篇文章被收錄了，但收錄的地址卻是動(dòng)態(tài)的。
可以我的網(wǎng)站是偽靜態(tài)的，所以就不想讓它收錄動(dòng)態(tài)頁面。robots里面加入了禁止抓取這些動(dòng)……
nginx禁止垃圾蜘蛛訪問
nginx禁止垃圾蜘蛛訪問，把下列代碼放到你的nginx配置文件里面。
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
retu……
