目前再做一個東西,需要使用PHP的curl功能,從一個json數據里面讀出數據,然后循環到curl里面抓取數據。這個本身沒啥很簡單,但是目前的問題是json數據量太大了【十幾萬左右】,沒法一次性抓取數據,每次手動從大的json數據里面復制20-30個,然后執行curl,但是想想十幾萬的數據量,細思極恐。大概想法是能不能每次按順序讀取20個數據,然后執行,執行第N遍停止,或者每次執行前20個數據,執行完成之后刪除數據。json數據非常簡單,下面只是簡單舉例,實際上是英文的'11111','22222','33333','44444','55555','66666'……簡單說就是上面的json加入某個網址循環curl抓取,比如:http://xxoo.com/id/11111http://xxoo.com/id/22222http://xxoo.com/id/33333...因為是虛擬主機,無法大批量的抓取,所以考慮每次抓取20-30個,積少成多,把十幾萬的數據抓取完
請問PHP如何執行大批量json數據
大話西游666
2019-05-19 20:41:29