python scrapy 如何獲取當前頁面url
3 回答
一只甜甜圈
TA貢獻1836條經驗 獲得超5個贊
你好，在response中有url的信息，你可用下面的代碼：
def parse(self, response):
print "URL: " + response.request.url
30秒到達戰場
TA貢獻1828條經驗 獲得超6個贊
爬蟲跟蹤下一頁的方法是自己模擬點擊下一頁連接，然后發出新的請求。請看：
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一頁的鏈接', callback=self.parse)
yield req
注意使用yield時不要用return語句。
添加回答
舉報
0/150
提交
取消