我有如下粗略的代碼（完整代碼146行，其中90行是字符串解析，需要的可以補充）：ini_set('memory_limit', '7G');$db = new PDO("mysql:host=".$dbhost.";dbname=".$dbname, $dbuser, $dbpass, array(PDO::ATTR_PERSISTENT => true));$db->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);$db_ub = new PDO("mysql:host=".$dbhost.";dbname=".$dbname, $dbuser, $dbpass, array(PDO::ATTR_PERSISTENT => true));$db_ub->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, true);$stmt = $db->prepare('select columns from stats where timestamp between ? and ?');$stmt->execute(array('2020-04-25', '2020-05-25'));while($row = $stmt->fetch(PDO::FETCH_ASSOC)) { echo memory_get_usage() .PHP_EOL; echo $row['id'] . PHP_EOL; $stmt2 = $db_ub->prepare('select somedata from users limit 1'); $stmt2->execute(); $row2 = $stmt2->fetch(PDO::FETCH_ASSOC); $type = !empty($row2['somedate']) ? 5 : 4; $result = $db_ub->prepare('insert ignore into newtable (old, type) values (?, ?)'); $result->execute(array($row['id'], $type));}在$stmt->execute(array('2020-04-25', '2020-05-25'));我的內存消耗期間.34GB（用于ps aux | grep 'php ' | awk '{$5=int(100 * $5/1024/1024)/100"GB";}{ print;}'監視消耗select和show full processlistSQL 端驗證）。一旦腳本進入，while它就會跳轉到 +5 GB。測試setattributevar_dump($db->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false));好像已經生效了：bool(true)但是當我切換緩沖或無緩沖時，行為不會改變。$db->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false)和$db->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, true)使用echo $db->getAttribute(constant('PDO::MYSQL_ATTR_USE_BUFFERED_QUERY'));還顯示設置更改。將設置移動到語句而不是https://www.php.net/manual/en/ref.pdo-mysql.php建議的連接也沒有用。$stmt = $db->prepare('select columns from stats where timestamp between ? and ?', array(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false));我也試過將緩沖區設置移動到連接而沒有影響：$db = new PDO("mysql:host=".$dbhost.";dbname=".$dbname, $dbuser, $dbpass, array(PDO::ATTR_PERSISTENT => true, PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false));
3 回答
POPMUISE
TA貢獻1765條經驗 獲得超5個贊
該PDO::ATTR_PERSISTENT值不是布爾值。它標識正在使用的連接，對多個連接使用唯一值。就我而言：
$db = new PDO("mysql:host=".$dbhost.";dbname=".$dbname, $dbuser, $dbpass, array(PDO::ATTR_PERSISTENT => 'unbuff', PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => false));
$db_ub = new PDO("mysql:host=".$dbhost.";dbname=".$dbname, $dbuser, $dbpass, array(PDO::ATTR_PERSISTENT => 'buff', PDO::MYSQL_ATTR_USE_BUFFERED_QUERY => true));
米脂
TA貢獻1836條經驗 獲得超3個贊
難道你不能通過簡單地運行一個查詢來擺脫大部分代碼：
?INSERT IGNORE INTO newtable
? ? ?SELECT? ...,
? ? ? ? ? ? ?IF(..., 5, 4)
? ? ? ? ?FROM oldtable WHERE ...;
這樣，您就可以擺脫 7G 內存問題。
如果結果證明一次做太多，那就把它分成塊。
另一個話題：為什么select somedata from users limit 1在循環內執行？似乎每次都得到相同的數據。此外，如果沒有ORDER BY，您將無法預測limit 1您將獲得哪一行。
慕后森
TA貢獻1802條經驗 獲得超5個贊
您實際上是在進行 135000000 次查詢，而不是迭代 135000000 個對象。
將代碼更改為僅執行一個查詢，但對元素進行排序，就好像它們在您的 for 循環中一樣。
$db = new PDO("mysql:host=".$dbhost.";dbname=".$dbname, $dbuser, $dbpass, array(PDO::ATTR_PERSISTENT => true));
$stmt = $db->prepare('SELECT * FROM stats ORDER BY id ASC');
$stmt->execute();
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
// ...
}
你甚至不需要這個if，它是數據庫本身可以更快使用的邏輯：
如果(!empty($row['id'])) {
反而：
SELECT * FROM stats WHERE id IS NOT NULL ORDER BY id ASC
我有一段時間沒有研究 PDO/MySQL，但我假設 unbuffered 允許你使用游標：
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
考慮到每個連接只能激活一個查詢。您基本上是在使用連接的緩沖區。
更好的選擇是在 map reduce 中只加載小塊。
SELECT * FROM stats LIMIT 100, 0
使用結果，然后
SELECT * FROM stats LIMIT 100, 100
- 3 回答
- 0 關注
- 347 瀏覽
添加回答
舉報
0/150
提交
取消