亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

Python開發簡單爬蟲

螞蟻帥帥 全棧工程師
難度初級
時長 1小時14分
學習人數
綜合評分9.67
646人評價 查看評價
9.9 內容實用
9.6 簡潔易懂
9.5 邏輯清晰

已采納回答 / 飄過的小呆呆
當然可以 我之前是用.NET C#寫過爬蟲 你可以參考下這個網址http://www.cnblogs.com/bqh10086/p/6405121.html?????c++ 原理也是類似的 發送get請求頁面數據 然后把頁面讀取成字節流,最后分析字節流保留有用的數據

已采納回答 / 慕容2517008
嗯。。。。因為python的那個百度百科的頁面的html代碼升級了一哈,原本的抓取URl的代碼不能用了,你把parser里面的_get_new_urls這個函數的re.compile語句后面的正則表達式改一下,改成這樣re.compile(r"/item/")就ok了

已采納回答 / 慕慕tyt
單引號更快運行,還有注意中英文

已采納回答 / zjxjwxk
你安裝了嗎? cmd窗口中cd 到 Python\Scripts目錄下,執行pip install beautifulsoup4 安裝然后 from bs4 import BeautifulSoup 就行啦我用的也是Sublime

已采納回答 / zhegao
約定. 就像你現在寫的中文我能看懂一樣. 這個模塊的開發者讓自己的程序這樣去解讀, 不過是中間轉換一層罷了.

已采納回答 / 大碼哥
pychrm每次新建工程會默認建一個Python環境,改下就行。pychrm右上角運行左邊有個菜單選項,點進去選擇edit開頭那個,把Python interpreter那欄選擇為你的Python程序,點擊OK,之后你安裝的模塊就正常導入使用了

已采納回答 / Ghoest_
.對任意字符進行匹配?如:re.compile(r'/item/.+' );

已采納回答 / 純愛楓若情
我用的就是Python 3.6.1,你可以去我的github看源碼,我自己做了一些修改,上面還提供了爬取后的生成的頁面的效果圖

已采納回答 / 無人與我書半生
是指定Beautiful的解析器為“html.parser”還有BeautifulSoup(markup,"lxml")BeautifulSoup(markup,?"lxml-xml")?BeautifulSoup(markup,"xml")等等很多種

已采納回答 / 慕姐7359191
頁面 ?html_downloader.py15行 ??print?response.read() ? 更改為 ?return?response.read()

已采納回答 / 工程師008
白著急,這個僅僅是網頁下載器的功能,這僅僅是讀取了網頁的內容,還需要進行篩選和保存,完成最后的爬蟲
課程須知
本課程是Python語言開發的高級課程 1、Python編程語法; 2、HTML語言基礎知識; 3、正則表達式基礎知識;
老師告訴你能學到什么?
1、爬蟲技術的含義和存在價值 2、爬蟲技術架構 3、組成爬蟲的關鍵模塊:URL管理器、HTML下載器和HTML解析器 4、實戰抓取百度百科1000個詞條頁面數據的抓取策略設定、實戰代碼編寫、爬蟲實例運行 5、一套極簡的可擴展爬蟲代碼,修改本代碼,你就能抓取任何互聯網網頁!

微信掃碼,參與3人拼團

微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

友情提示:

您好,此課程屬于遷移課程,您已購買該課程,無需重復購買,感謝您對慕課網的支持!

本次提問將花費2個積分

你的積分不足,無法發表

為什么扣積分?

本次提問將花費2個積分

繼續發表請點擊 "確定"

為什么扣積分?

舉報

0/150
提交
取消