我有一個 2 億條記錄文件，正在使用 pandas read_csv 以 10000 的塊大小讀取該文件。這些數據幀被轉換為列表對象，并且該列表對象被傳遞給函數。file_name=str(sys.argv[2])df=pd.read_csv(file_name, na_filter=False, chunksize=10000)for data in df: d=data.values.tolist() load_data(d)有沒有什么方法可以并行運行load_data函數調用，以便可以同時將10000條以上的記錄傳遞給該函數？
1 回答
翻過高山走不出你
TA貢獻1875條經驗 獲得超3個贊
是的，dask 很擅長這個
嘗試
import dask.dataframe as dd
dx = dd.read_csv(file_name, na_filter=False)
ans_delayed = dx.apply(my_function, meta='{the return type}')
ans = ans_delayed.compute()
如果您確實需要將數據作為列表，您可以嘗試
import dask.bag as db
genrator = pd.read_csv(file_name, na_filter=False, chunksize=10000)
ans = db.from_sequence(generator).map(lambda df:
load_data(df.values.tolist())).compute()
添加回答
舉報
0/150
提交
取消