已采納回答 / 墨爾卡娜
當第一個頁面被分析之后,會獲取到該頁面上的其他詞條的跳轉url,也就是/view/*****.html,然后這些url會被拼裝成完整的url加入到set中,程序循環一次之后檢查set是否為空,如果不為空就會拿一個新的url去爬取,新的頁面也會有些引用的詞條的,然后就源源不斷的有新的詞條地址添加到set中去了,代碼就是分析模塊中使用正則表達式的那部分
2016-10-05
已采納回答 / Duiknow
代碼沒有報錯是因為你有自定義報錯的try ?except ? ?應該是哪里你出現了拼寫錯誤或者判斷條件寫錯了 ? 運行跟蹤調試下就可以了 ? 代碼剛剛測試過沒有問題
2016-10-04
已采納回答 / 黑歷史不刪除后果很嚴重
建議你一步一步,逐個函數調試,光看源代碼比較難找出錯誤所在,可以在每個方法打印是否成功運行,找到出錯的方法后再找出錯的變量。這樣一定可以調試出來的,加油!
2016-09-27
最贊回答 / 慕標6571706
已經解決win7 python3.6 遇到亂碼的情況同明磊只需要在fout = open('output.html', 'w', encoding = 'utf-8')?fout.write("<td>%s</td>" % data['title'])?fout.write("<td>%s</td>" % data['summary'])這里面不能加.encode('utf-8'),加了會亂碼fout.write("<head><meta ...
2016-09-26
已采納回答 / Dreaman
已經解決啦 ?我在html_downloader下的read()后加了response.read().decode('utf8',errors='replace')把html_outputer里面的encode()去掉就好了
2016-09-21
已采納回答 / sin丶
下載代碼后發現問題還是挺多的,除了那個outputer,在html_parser下data寫成date,title也打錯了,參數page_url也沒設置。html_outputer里,方法output_html沒有寫進去標題。慢慢改吧。
2016-09-13