今天在測試采集一個(gè)地址時(shí)，發(fā)現(xiàn)采集的列表地址多了一層地址，如下圖 查看源碼發(fā)現(xiàn)，它的列表地址前面不帶協(xié)議頭https:? 這樣，它獲取的地址就會(huì)多一層。 這……

最近發(fā)現(xiàn)網(wǎng)站用火車頭采集的內(nèi)容里有很多重復(fù)的內(nèi)容。如下圖，標(biāo)題、內(nèi)容都一樣。但發(fā)布日期不一樣。 采集器里面我明明設(shè)置檢測重復(fù)網(wǎng)址了，如下圖 最后檢查……