網站robots.txt文件的安全設置
大家都知道robots.txt文件,能限制搜索引擎可以抓取哪些內容,不準抓取哪些內容。比如我們網站的后臺就不希望被搜索抓取,那么robots文件需要這樣寫:
User-agent: *
Disallow: /dede/
但是,如果有人要破解網站的話,通過robots文件很容易就知道了后臺地址,清楚了網站的結構。這對網站安全造成了威脅,我們并不希望這樣!下面有兩種方法解決這個問題
一、使用通符(*)
User-agent: *
Disallow: /d*/
這種的寫法是禁止所有的搜索引擎抓取根目錄下d開頭的目錄。那么,當你的后臺是dede5的時候,還有誰會猜得到呢?
二、只寫前幾個字母
User-agent: *
Disallow: /de/
這樣寫是禁止所有的搜索引擎抓取根目錄下de開頭的目錄。如果你的其他欄目有de開頭的,你就要在robots.txt文件里面多寫一個字母。
聲明:
1.本站主要是為了記錄工作、學習中遇到的問題,可能由于本人技術有限,內容難免有紕漏,一切內容僅供參考。
2.本站部分內容來源互聯網,如果有圖片或者內容侵犯您的權益請聯系我們刪除!
3.本站所有原創(chuàng)作品,包括文字、資料、圖片、網頁格式,轉載時請標注作者與來源。
1.本站主要是為了記錄工作、學習中遇到的問題,可能由于本人技術有限,內容難免有紕漏,一切內容僅供參考。
2.本站部分內容來源互聯網,如果有圖片或者內容侵犯您的權益請聯系我們刪除!
3.本站所有原創(chuàng)作品,包括文字、資料、圖片、網頁格式,轉載時請標注作者與來源。
THE END