Robots之所以稱之為協(xié)議就是因為它不是 “命令” 而是跟搜索引擎爬蟲間的單方面協(xié)議。因而 robots 中的設(shè)置并不意味著100%的生效，但那些知名君子如 Google Yaho……