亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Java_爬蟲,如何抓取Js動態生成數據的頁面?

Java_爬蟲,如何抓取Js動態生成數據的頁面?

喵喵時光機 2018-12-07 04:06:52
很多網站是用js或Jquery 生成數據的,到后臺獲取到數據以后,用 document.write()或者("#id").html="" 的方式 寫到頁面中,這個時候用瀏覽器查看源碼是看不到數據的。HttpClient是不行的,看網上說HtmlUnit,說? 可以獲取后臺js加載完后的完整頁面,但是我按照文章上說的 寫了 ,都不好使。 String url = "http://xinjinqiao.tprtc.com/admin/main/flrpro.do"; try { WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10); //設置webClient的相關參數 webClient.getOptions().setJavaScriptEnabled(true); webClient.getOptions().setCssEnabled(false); webClient.setAjaxController(new NicelyResynchronizingAjaxController()); //webClient.getOptions().setTimeout(50000); webClient.getOptions().setThrowExceptionOnScriptError(false); //模擬瀏覽器打開一個目標網址 HtmlPage rootPage = webClient.getPage(url); System.out.println("為了獲取js執行的數據 線程開始沉睡等待"); Thread.sleep(3000);//主要是這個線程的等待 因為js加載也是需要時間的 System.out.println("線程結束沉睡"); String html = rootPage.asText(); System.out.println(html); } catch (Exception e) { } 其實這段代碼不好使。求解答,其中典型的就是這個鏈接的頁面,怎么能在java程序中獲取其中的數據?http://xinjinqiao.tprtc.com/admin/main/flrpro.do
查看完整描述

目前暫無任何回答

  • 0 回答
  • 0 關注
  • 1472 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號