“大數據架構”用哪種框架更為合適?
1 回答

一只甜甜圈
TA貢獻1836條經驗 獲得超5個贊
在我看來,一個完整的大數據平臺應該提供離線計算、即席查詢、實時計算、實時查詢這幾個方面的功能。
hadoop、spark、storm 無論哪一個,單獨不可能完成上面的所有功能。
hadoop+spark+hive是一個很不錯的選擇.hadoop的HDFS毋庸置疑是分布式文件系統的解決方案,解決存儲問題;hadoop mapreduce、hive、spark application、sparkSQL解決的是離線計算和即席查詢的問題;spark streaming解決的是實時計算問題;另外,還需要HBase或者Redis等NOSQL技術來解決實時查詢的問題;
除了這些,大數據平臺中必不可少的需要任務調度系統和數據交換工具;
任務調度系統解決所有大數據平臺中的任務調度與監控;數據交換工具解決其他數據源與HDFS之間的數據傳輸,比如:數據庫到HDFS、HDFS到數據庫等等。
關于大數據平臺的架構技術文章,可搜索"lxw的大數據田地",里面有很多。
- 1 回答
- 0 關注
- 686 瀏覽
添加回答
舉報
0/150
提交
取消