關于批量爬去如何動態獲取url問題
老師,請教一下
比如, 我現在需要爬取百度百科100個明星的百度百科信息,經過觀察, url格式是不完全固定的:
王祖賢:https://baike.baidu.com/item/王祖賢/316479?fr=aladdin
楊冪:https://baike.baidu.com/item/楊冪/149851?fr=aladdin
上面2個人的?前的號碼是不一樣的, 那么批量爬取時, 如何獲取每個明星對應的URL呢?
老師,請教一下
比如, 我現在需要爬取百度百科100個明星的百度百科信息,經過觀察, url格式是不完全固定的:
王祖賢:https://baike.baidu.com/item/王祖賢/316479?fr=aladdin
楊冪:https://baike.baidu.com/item/楊冪/149851?fr=aladdin
上面2個人的?前的號碼是不一樣的, 那么批量爬取時, 如何獲取每個明星對應的URL呢?
2019-05-24
舉報
2019-06-07
/item/*