標(biāo)簽: 列表地址
火車頭采集列表地址時(shí)URL多了一層地址的解決方法
今天在測試采集一個(gè)地址時(shí),發(fā)現(xiàn)采集的列表地址多了一層地址,如下圖
查看源碼發(fā)現(xiàn),它的列表地址前面不帶協(xié)議頭https:? 這樣,它獲取的地址就會(huì)多一層。
這……
火車頭采集列表地址過濾掉PHPSESSID的方法
最近發(fā)現(xiàn)網(wǎng)站用火車頭采集的內(nèi)容里有很多重復(fù)的內(nèi)容。如下圖,標(biāo)題、內(nèi)容都一樣。但發(fā)布日期不一樣。
采集器里面我明明設(shè)置檢測重復(fù)網(wǎng)址了,如下圖
最后檢查……