熊貓迭代有性能問題嗎？我注意到在使用熊貓的迭代時表現很差。這是別人經歷過的嗎？它是否特定于迭代，對于一定大小的數據(我正在處理的是2300萬行)，是否應該避免這個函數？這次討論在GitHub上，我相信這是在將dtype混合到dataframe中時引起的，但是下面的簡單示例顯示，即使使用一個dtype(Float 64)，它也存在。這在我的機器上需要36秒：import pandas as pdimport numpy as npimport time
s1 = np.random.randn(2000000)s2 = np.random.randn(2000000)dfa = pd.DataFrame({'s1': s1, 's2': s2})start = time.time()i=0for rowindex,
row in dfa.iterrows():
i+=1end = time.time()print end - start為什么像應用這樣的向量化操作要快得多？我想一定有一些逐行迭代在那里進行。在我的情況下，我不知道如何不使用迭代(這將為將來的問題保留下來)。因此，如果您一直能夠避免此迭代，我將非常感謝您的收聽。我是根據不同數據中的數據進行計算。謝謝!-編輯：我想運行的代碼的簡化版本添加在下面-import pandas as pdimport numpy as np#%% Create the original tablest1 = {'letter':['a','b'],
'number1':[50,-10]}t2 = {'letter':['a','a','b','b'],
'number2':[0.2,0.5,0.1,0.4]}table1 = pd.DataFrame(t1)table2 = pd.DataFrame(t2)
#%% Create the body of the new tabletable3 = pd.DataFrame(np.nan, columns=['letter','number2'], index=[0])
#%% Iterate through filtering relevant data, optimizing, returning infofor row_index, row in table1.iterrows():
t2info = table2[table2.letter == row['letter']].reset_index()
table3.ix[row_index,] = optimize(t2info,row['number1'])#%% Define optimizationdef optimize(t2info, t1info):
calculation = []
for index, r in t2info.iterrows():
calculation.append(r['number2']*t1info)
maxrow = calculation.index(max(calculation))
return t2info.ix[maxrow]
3 回答
ITMISS
TA貢獻1871條經驗 獲得超8個贊
iterrows
1) vectorization2) using a custom cython routine3) apply a) reductions that can be performed in cython b) iteration in python space4) itertuples5) iterrows6) updating an empty frame (e.g. using loc one-row-at-a-time)
df.apply(lambda x: np.sum(x))df.sum(1)df.apply(lambda x: x['b'] + 1)
4) itertuples
5) iterrows
concat.
繁花不似錦
TA貢獻1851條經驗 獲得超4個贊
攤銷式查找
：Python是一種動態類型化語言，因此數組中的每個元素都有運行時開銷。然而，Numpy(因此也是熊貓)用C進行計算(通常是通過Cython)。數組的類型只有在迭代開始時才能確定；僅這一節省就是最大的勝利之一。 更好的緩存
在C數組上迭代是對緩存友好的，因此非常快。熊貓DataFrame是一個“面向列的表”，這意味著每個列實際上只是一個數組。因此，您可以在DataFrame上執行的本機操作(比如對列中的所有元素進行求和)將很少有緩存丟失。 更多并行的機會
一個簡單的C數組可以通過SIMD指令操作。Numpy的某些部分支持SIMD，這取決于您的CPU和安裝過程。并行化的好處不會像靜態類型和更好的緩存那樣引人注目，但它們仍然是一個堅實的勝利。
Cats萌萌
TA貢獻1805條經驗 獲得超9個贊
這是解決你問題的方法。這都是矢量化的。
In [58]: df = table1.merge(table2,on='letter')
In [59]: df['calc'] = df['number1']*df['number2']
In [60]: df
Out[60]:
letter number1 number2 calc
0 a 50 0.2 10
1 a 50 0.5 25
2 b -10 0.1 -1
3 b -10 0.4 -4
In [61]: df.groupby('letter')['calc'].max()
Out[61]:
letter
a 25
b -1
Name: calc, dtype: float64
In [62]: df.groupby('letter')['calc'].idxmax()
Out[62]:
letter
a 1
b 2
Name: calc, dtype: int64
In [63]: df.loc[df.groupby('letter')['calc'].idxmax()]
Out[63]:
letter number1 number2 calc
1 a 50 0.5 25
2 b -10 0.1 -1
添加回答
舉報
0/150
提交
取消