我正在嘗試使用 python 中的雪花包創建一個熊貓數據框。我運行一些查詢sf_cur = get_sf_connector()sf_cur.execute("USE WAREHOUSE Warehouse;")sf_cur.execute("""select Query""")print('done')輸出大約為 21k 行。然后使用df = pd.DataFrame(sf_cur.fetchall())即使只有 100 行的限制樣本，也需要永遠。有沒有辦法優化這一點，理想情況下，更大的查詢將在循環中運行，因此處理更大的數據集將是理想的。
1 回答
繁星點點滴滴
TA貢獻1803條經驗 獲得超3個贊
由于將fetchall()所有結果復制到內存中，您應該嘗試直接遍歷游標對象并將其映射到 for 塊內的數據框
cursor.execute(query)
for row in cursor:
#build the data frame
其他示例，只是為了顯示：
query = "Select ID from Users"
cursor.execute(query)
for row in cursor:
list_ids.append(row["ID"])
添加回答
舉報
0/150
提交
取消