亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用PHP大量采集數據,如何提高訪問性能?

使用PHP大量采集數據,如何提高訪問性能?

PHP
慕田峪9158850 2019-03-17 06:50:19
問題描述:使用php開發的采集國外網站的數據,以便進行測試,數據保存為txt格式,存放在服務器上,當需要訪問的時候,在使用php讀取txt中的數據,并返回到用戶。當服務器運行一段時間以后,通過網址訪問服務器上的資源時,打開速度挺卡的,剛開始的時候還不會。注:網址跟之前網站的是一樣的,只是把頂級域名緩存我們自己的。數據是觸發采集的,第一次會遠程采集數據到本地,并返回給用戶,第二次才從本地讀取。 問題:1.即使數據量超多的時候,也能做到秒開呢2.瓶頸在哪?內存還是IO3.使用一段時間以后,打開速度會很卡,重啟服務器后會好多了4.如果將數據保存到MySQL數據庫的時候,應該會更卡吧,目前是純文本,只是訪問的時候,在通過一個簡單的路徑匹配算法,使用php去讀取文件,并返回給用戶5.有沒有相關書籍可以學習下?6.將PHP版本升級到php7,是否可以緩解?
查看完整描述

6 回答

?
斯蒂芬大帝

TA貢獻1827條經驗 獲得超8個贊

卡是不是讀取的文件很大

查看完整回答
反對 回復 2019-03-18
?
心有法竹

TA貢獻1866條經驗 獲得超5個贊

把文件切割呀,文件按日期進行存儲

查看完整回答
反對 回復 2019-03-18
?
30秒到達戰場

TA貢獻1828條經驗 獲得超6個贊

“在通過一個簡單的路徑匹配算法,使用php去讀取文件,并返回給用戶” -————是否可以通過url重寫直接做成靜態的

查看完整回答
反對 回復 2019-03-18
?
藍山帝景

TA貢獻1843條經驗 獲得超7個贊

是不是PHP-FPM內存泄漏導致內存耗盡
是不是這個注釋沒去掉,未設置每個php-fpm進程接受的請求數
未設置進程就不會掛掉會不斷的累積占用內存(一個請求退出會有部分信息留在進程中,最終導致內存耗盡)

;pm.max_requests = 500
查看完整回答
反對 回復 2019-03-18
?
慕婉清6462132

TA貢獻1804條經驗 獲得超2個贊

小文件太多了, 肯定卡,反而我覺得放數據庫不會太卡,

查看完整回答
反對 回復 2019-03-18
  • 6 回答
  • 0 關注
  • 563 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號