亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

對爬蟲爬取到的數據管理

對爬蟲爬取到的數據管理

精慕HU 2018-07-15 11:08:22
大家在管理爬取到數據的時候,一般對異常數據是怎么進行防御的?比如對一個網站的商品爬取下來后,每天都自動更新最新的信息,但是如果目標網站大批量返回錯誤數據,這樣一下子就把之前的正確數據洗掉了。而且這些錯誤數據比如說價格,原來是20塊,一下子返回200塊,數據類型一樣,但是值的意義不同了。嚴格來說,這不是技術問題,所以請不要簡單給個建議說用xx技術之類的。這不是技術問題,不是用干什么語言什么框架的問題 (2年前)
查看完整描述

3 回答

?
月關寶盒

TA貢獻1772條經驗 獲得超5個贊

感覺你可以建立一個數據校驗模塊,在抓取完這些數據后通過數據校驗模塊 檢查 數據的變動值,如果超過你設定的閾值 ,那么可以認為剛爬取的數據是異常的,則不更新原有數據

查看完整回答
反對 回復 2018-07-15
?
蝴蝶不菲

TA貢獻1810條經驗 獲得超4個贊

沒有一款爬蟲是無敵的,但寫爬蟲用的Python卻可能是無敵的

查看完整回答
反對 回復 2018-07-15
?
智慧大石

TA貢獻1946條經驗 獲得超3個贊

爬蟲 很簡單,數據查詢管理分類 比較難

查看完整回答
反對 回復 2018-07-15
  • 3 回答
  • 0 關注
  • 897 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號