亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

用Nodejs抓蟲遇到一個循環請求問題

用Nodejs抓蟲遇到一個循環請求問題

慕哥9229398 2018-11-13 13:14:28
用Nodejs抓蟲遇到一個循環請求問題,目前只獲取到第一個分頁,這個問題怎么獲取分頁總數,然后獲取每一頁的頁面數據?var express = require('express');var fs = require('fs');var request = require('request');var cheerio = require('cheerio');var app = express();app.get('/',function (req,res) {    var id = 1;    url = 'http://www.zcool.com.cn/zteam/ZNDg2MzI=.html?sort=0&p='+ id +'#titleMaoDian';    console.log(id);    request(url,function(err,res,html){        if(!err){            var $ = cheerio.load(html);            var endId = $('.bigPage').find('a.pageNext').prev().text();            for(id=1;id<=endId;id++){                var title;                $('.camLiTitleC').filter(function(){                    var data = $(this);                    title = data.text();                    console.log('作品標題:' + title);                })            }        }    })});app.listen('8080'); //使用8080端口exports = module.exports = app;
查看完整描述

1 回答

?
子衿沉夜

TA貢獻1828條經驗 獲得超3個贊

先將url后綴空出數字部分,然后可以定義一個函數,再遞歸調用自身,每次加一
具體操作可以看下我的文章(羞澀..)Node.js實現簡易爬蟲

查看完整回答
反對 回復 2018-12-02
  • 1 回答
  • 0 關注
  • 770 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號