網(wǎng)站robots.txt文件的安全設(shè)置

大家都知道robots.txt文件，能限制搜索引擎可以抓取哪些內(nèi)容，不準(zhǔn)抓取哪些內(nèi)容。比如我們網(wǎng)站的后臺(tái)就不希望被搜索抓取，那么robots文件需要這樣寫：

User-agent: *
Disallow: /dede/

但是，如果有人要破解網(wǎng)站的話，通過robots文件很容易就知道了后臺(tái)地址，清楚了網(wǎng)站的結(jié)構(gòu)。這對網(wǎng)站安全造成了威脅，我們并不希望這樣！下面有兩種方法解決這個(gè)問題

一、使用通符（*）

User-agent: *
Disallow: /d*/

這種的寫法是禁止所有的搜索引擎抓取根目錄下d開頭的目錄。那么，當(dāng)你的后臺(tái)是dede5的時(shí)候，還有誰會(huì)猜得到呢？

二、只寫前幾個(gè)字母

User-agent: *
Disallow: /de/

這樣寫是禁止所有的搜索引擎抓取根目錄下de開頭的目錄。如果你的其他欄目有de開頭的，你就要在robots.txt文件里面多寫一個(gè)字母。