python爬蟲
我想請問一下為什么使用這個程序有的網頁不會記錄在內?像這個程序里的選擇條件是/item/*那應該是整個百度百科的python頁面的所有滿足這個條件的都會記錄吧？
kissingfire
2017-10-09
2 回答
舉報
0/150
提交
取消
2017-10-12
因為爬的數目少（才1000條....），理論上全部百科的網頁都可以獲取到，但是全部百科網頁的數目是你無法想象的。我爬到了各種各樣的百科信息，包括計算機、學校、人命......，你可以把爬的數量count設置為1億試試......
2017-10-13
那可不可以理解成當爬蟲到一個頁面時，先搜集這個頁面上所有符合的url于一個集合里，然后下一個打開的是集合中任意可能的一個url？