此節(jié)視頻概要:
發(fā)布:
1.項(xiàng)目管理器讀入網(wǎng)址,標(biāo)記為已發(fā) 防止重復(fù)發(fā)布,循環(huán)中同理
采集:
1.項(xiàng)目管理器讀入網(wǎng)址采集其中詳細(xì)內(nèi)容,采集并update 信息,防止重復(fù)采集。還有腳本的循環(huán)中讀入同理
2.重復(fù)采集一個(gè)網(wǎng)站時(shí),比如采集其中的網(wǎng)址信息的時(shí)候,已經(jīng)入庫的信息不再入庫:(兩種方式:1.設(shè)置列為unique,2.設(shè)置從數(shù)據(jù)庫查詢數(shù)據(jù),如果有這個(gè)數(shù)據(jù)就不再入庫)
3.關(guān)鍵詞采集,已采集的關(guān)鍵詞不再采集。兩種情況(1.關(guān)鍵詞放在數(shù)據(jù)庫中,標(biāo)記為已發(fā) 2.關(guān)鍵詞放在文本中,使用exe中的批量查詢。)
此視頻已被觀看過 2933 次
數(shù)據(jù)采集發(fā)布防重復(fù)
- 下載地址:
- 百度網(wǎng)盤
- 微云網(wǎng)盤
- 有道網(wǎng)盤