亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全，請及時綁定郵箱和手機立即綁定

Python開發簡單爬蟲

螞蟻帥帥 全棧工程師
難度初級
時長 1小時14分
學習人數
綜合評分9.67
646人評價 查看評價
9.9 內容實用
9.6 簡潔易懂
9.5 邏輯清晰

已采納回答 / 螞蟻帥帥
贊思考，改成多線程，要多一些處理：1、設定線程數目為N2、改用multiprocessing.Process方法啟動crawl方法N次，每個線程記錄序號為N；3、修改UrlManger，獲取url的時候，需要提供序號參數，只返回hash(url)%N==0的url，或者干脆維護N個隊列，每個線程單獨使用自己的URL隊列即可；難點在于處理UrlManager和Outputer的多線程沖突，如果數據是存到MySQL，要么使用上面說的線程隔離的方法，要么使用DB加鎖的方式處理沖突；
覺得這種速度crawl有點慢，求問怎么運用多線程加快速度
相當棒，點贊

最贊回答 / myAbo
http://www.xianlaiwan.cn/opus/resource?opus_id=1932 希望幫到你
效果已實現！中間出現過多個錯誤，都一一自己檢查文檔解決了，很欣慰
暈， 沒看到評論， 害的我百度好久。。
python3
顯示 沒有那個屬性，導全包的路徑即可。找不到方法的，用urllib.request 這樣即可。
新手表示要跑起來不容易啊
老師講得很好！
路漫漫其修遠兮…………

最新回答 / blouc
在要查找的地方單機鼠標右鍵：審查元素（chrome瀏覽器），查看元素（Firefox瀏覽器）等；或者在網頁源文件中搜索。
加個<meta charset='utf-8'>，我是可以了。。
之前有過了解，但只是半知半解，這個課程好給力，理清了爬蟲的基本框架，不過自己寫的還沒跑通，先謝謝啦
中間有幾集下載不了
講的非常好 入了門
首頁上一頁191192193194195196197下一頁尾頁
課程須知
本課程是Python語言開發的高級課程 1、Python編程語法； 2、HTML語言基礎知識； 3、正則表達式基礎知識；
老師告訴你能學到什么？
1、爬蟲技術的含義和存在價值 2、爬蟲技術架構 3、組成爬蟲的關鍵模塊：URL管理器、HTML下載器和HTML解析器 4、實戰抓取百度百科1000個詞條頁面數據的抓取策略設定、實戰代碼編寫、爬蟲實例運行 5、一套極簡的可擴展爬蟲代碼，修改本代碼，你就能抓取任何互聯網網頁！

微信掃碼，參與3人拼團

微信客服

購課補貼
聯系客服咨詢優惠詳情

 幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

 公眾號

掃描二維碼
關注慕課網微信公眾號
友情提示：

您好，此課程屬于遷移課程，您已購買該課程，無需重復購買，感謝您對慕課網的支持！

本次提問將花費2個積分

你的積分不足，無法發表

為什么扣積分？

本次提問將花費2個積分

繼續發表請點擊 "確定"

為什么扣積分？

舉報

0/150
提交
取消