亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

請問PHP如何執行大批量json數據

請問PHP如何執行大批量json數據

大話西游666 2019-05-19 20:41:29
目前再做一個東西,需要使用PHP的curl功能,從一個json數據里面讀出數據,然后循環到curl里面抓取數據。這個本身沒啥很簡單,但是目前的問題是json數據量太大了【十幾萬左右】,沒法一次性抓取數據,每次手動從大的json數據里面復制20-30個,然后執行curl,但是想想十幾萬的數據量,細思極恐。大概想法是能不能每次按順序讀取20個數據,然后執行,執行第N遍停止,或者每次執行前20個數據,執行完成之后刪除數據。json數據非常簡單,下面只是簡單舉例,實際上是英文的'11111','22222','33333','44444','55555','66666'……簡單說就是上面的json加入某個網址循環curl抓取,比如:http://xxoo.com/id/11111http://xxoo.com/id/22222http://xxoo.com/id/33333...因為是虛擬主機,無法大批量的抓取,所以考慮每次抓取20-30個,積少成多,把十幾萬的數據抓取完
查看完整描述

2 回答

?
慕容森

TA貢獻1853條經驗 獲得超18個贊

實際上JSON并不適合用來處理特別大量的數據,因為它要求很嚴格的數據結構。所以第一步你應該考慮是否可以不用JSON,就用CSV之類的文件結構。
如果非要用JSON,那么可能只有自己寫解析器了,思路大體是讀若干字節,然后解析出你要的內容,如此反復。你必須忽略一些結構,因為JSON要求只有一個根,所以最外層的結構多半要忽略掉。然后根據你對文件結構的預判,解析出你要的數據。
                            
查看完整回答
反對 回復 2019-05-19
?
繁花不似錦

TA貢獻1851條經驗 獲得超4個贊

這個本身沒啥很簡單,但是目前的問題是json數據量太大了【十幾萬左右】,沒法一次性抓取數據,每次手動從大的json數據里面復制20-30個,然后執行curl,但是想想十幾萬的數據量,細思極恐。
這里停一下,JSON數據量太大是每次執行的數據量太大還是單次就這么大。另外不能一次性全抓大根本是什么?手動?另外CURL可以并行執行,好吧,其實我沒太懂說得是什么
                            
查看完整回答
反對 回復 2019-05-19
  • 2 回答
  • 0 關注
  • 374 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號