關于AJAX后期填充數據的爬蟲捉取問題
Scott老師您好,現在網頁捉取的代碼是這樣的:<div class="static-item l">
? ? ? ? ? ? ? ? <span class="meta">學習人數</span>
? ? ? ? ? ? ? ? <span class="meta-value js-learn-num"></span>
? ? ? ? ? ? ? ? ? ? ? ? ? ? </div>
貌似是通過Ajax后續再去取回來的人數,那請教下爬蟲程序需要怎樣才能捉去這種后期獲取的數據呢?
2017-11-23
同樣的問題啊,請教老師啊
2017-03-01
這個是因為你頁面沒加載出來吧,一般頁面“學習人數”幾個字這種是靜態的,人數數字,章節信息等都是異步從后臺拿的,數據請求完再加載到頁面,一般都是1秒至數秒以內,爬蟲再去拿數據時頁面已經加載完成。你這可以先看看是不是網絡問題,如果網絡反應慢,可以適當在爬蟲里加一下延時