亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

執行douban_spider出現問題

"UnicodeEncodeError",python3編碼是utf-8,嘗試用virtualenv解決:

(project_1) [root@hamster douban]# python3 -m scrapy crawl douban_spider

...

2018-08-28 22:59:33 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://movie.douban.com/top250> (referer: None)

2018-08-28 22:59:33 [scrapy.core.scraper] ERROR: Spider error processing <GET https://movie.douban.com/top250> (referer: None)

Traceback (most recent call last):

? File "/root/project_1/lib/python3.6/site-packages/twisted/internet/defer.py", line 654, in _runCallbacks

? ? current.result = callback(current.result, *args, **kw)

? File "/root/douban/douban/spiders/douban_spider.py", line 14, in parse

? ? print(response.text)

UnicodeEncodeError: 'ascii' codec can't encode characters in position 349-352: ordinal not in range(128)

...

2018-08-28 22:59:33 [scrapy.core.engine] INFO: Spider closed (finished)

還是報錯,檢查了一下:

(project_1) [root@hamster douban]# python3

Python 3.6.5 (default, Aug 28 2018, 22:34:18)?

[GCC 4.4.7 20120313 (Red Hat 4.4.7-23)] on linux

Type "help", "copyright", "credits" or "license" for more information.

>>> import sys

>>> sys.getdefaultencoding()

'utf-8'

懷疑是"douban_spider.py"代碼有誤,但不知道錯在哪,希望老師幫我解答一下,謝謝!?

正在回答

1 回答

你用virtualenv的時候,運行文件時,是否workon切換到正確的解釋器了

0 回復 有任何疑惑可以回復我~
#1

HamsterZ 提問者

我發現好像是print(response.text)的問題,我跟著課程繼續往下做,可以成功爬取并保存數據。
2018-09-04 回復 有任何疑惑可以回復我~

舉報

0/150
提交
取消

執行douban_spider出現問題

我要回答 關注問題
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號