Python 適合大數據量的處理嗎
1 回答

猛跑小豬
TA貢獻1858條經驗 獲得超8個贊
適合大數據處理。而不是大數據量處理。 如果大數據量處理,需要采用并用結構,比如在hadoop上使用python,或者是自己做的分布式處理框架。
大數據量處理使用python的也多。如果單機單核單硬盤大數據量(比如視頻)處理。顯然只能用c/c++語言了。
大數據與大數據量區別還是挺大的。 大數據意思是大數據的智慧算法和應用。 大數據量,早在50年前就有大數據量處理了。 中國大約在95年左右,大量引入PC機的大數據量處理。一個模型計算數據量大,而且計算時間通常超過一個星期,有時候要計算半年。
氣象,遙感,地震,模式識別,模擬計算的數據量與計算量都是巨大的。當時遠遠超過互聯網。 后來互聯網發起起來以后數據量才上去。即使如此,數據的復雜度也還是比不上科學研究領域的數據。
python早些年就在科學研究和計算領域有大量的積累。所以現在python應用到大數據領域就是水到渠成。
- 1 回答
- 0 關注
- 865 瀏覽
添加回答
舉報
0/150
提交
取消