亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

“大數據架構”用哪種框架更為合適?

“大數據架構”用哪種框架更為合適?

江戶川亂折騰 2018-12-12 19:11:29
“大數據架構”用哪種框架更為合適?
查看完整描述

1 回答

?
一只甜甜圈

TA貢獻1836條經驗 獲得超5個贊

在我看來,一個完整的大數據平臺應該提供離線計算、即席查詢、實時計算、實時查詢這幾個方面的功能。
hadoop、spark、storm 無論哪一個,單獨不可能完成上面的所有功能。
hadoop+spark+hive是一個很不錯的選擇.hadoop的HDFS毋庸置疑是分布式文件系統的解決方案,解決存儲問題;hadoop mapreduce、hive、spark application、sparkSQL解決的是離線計算和即席查詢的問題;spark streaming解決的是實時計算問題;另外,還需要HBase或者Redis等NOSQL技術來解決實時查詢的問題;
除了這些,大數據平臺中必不可少的需要任務調度系統和數據交換工具;
任務調度系統解決所有大數據平臺中的任務調度與監控;數據交換工具解決其他數據源與HDFS之間的數據傳輸,比如:數據庫到HDFS、HDFS到數據庫等等。
關于大數據平臺的架構技術文章,可搜索"lxw的大數據田地",里面有很多。



查看完整回答
反對 回復 2019-01-11
  • 1 回答
  • 0 關注
  • 686 瀏覽

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號