2 回答
已采納
皮縣豆福腦
TA貢獻18條經驗 獲得超4個贊
大數據的應用場景特征:
1.?數據量大,TB->PB
2.?數據類型繁多,結構化、非結構化文本、日志、視頻、圖片、地理位置等;
3.?商業價值高,但是這種價值需要在海量數據之上,通過數據分析與機器學習更快速的挖掘出來;
4.?處理時效性高,海量數據的處理需求不再局限在離線計算當中。
Hadoop作為大數據框架被廣泛使用,Hadoop生態圈:

文件存儲:Hadoop HDFS、Tachyon、KFS
離線計算:Hadoop MapReduce、Spark
流式、實時計算:Storm、Spark Streaming、S4、Heron
K-V、NOSQL數據庫:HBase、Redis、MongoDB
資源管理:YARN、Mesos
日志收集:Flume、Scribe、Logstash、Kibana
消息系統:Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析:Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協調服務:Zookeeper
集群管理與監控:Ambari、Ganglia、Nagios、Cloudera Manager
數據挖掘、機器學習:Mahout、Spark MLLib
數據同步:Sqoop
任務調度:Oozie
這么多技術,取決于自己喜歡研究哪個方向,自己決定吧。
- 2 回答
- 0 關注
- 1413 瀏覽
添加回答
舉報
0/150
提交
取消
