亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Hadoop有哪幾個組成部分?-ITJOB

Hadoop有哪幾個組成部分?-ITJOB

慕哥9229398 2018-11-28 18:01:19
Hadoop有哪幾個組成部分?-ITJOB
查看完整描述

1 回答

?
米琪卡哇伊

TA貢獻1998條經驗 獲得超6個贊

1、Hadoop Common :Hadoop體系最底層的一個模塊,為Hadoop各子項目提供各種工具,如:配置文件和日志操作等。
2、HDFS:分布式文件系統,提供高吞吐量的應用程序數據訪問,對外部客戶機而言,HDFS就像一個傳統的分級文件系統。可以創建、刪除、移動或重命名文件,等等。但是 HDFS的架構是基于一組特定的節點構建的,這是由它自身的特點決定的。這些節點包括 NameNode(僅一個),它在 HDFS內部提供元數據服務;DataNode,它為 HDFS提供存儲塊。由于僅存在一個 NameNode,因此這是 HDFS的一個缺點(單點失?。?br/>存儲在 HDFS中的文件被分成塊,然后將這些塊復制到多個計算機中(DataNode)。這與傳統的 RAID架構大不相同。塊的大小(通常為 64MB)和復制的塊數量在創建文件時由客戶機決定。NameNode可以控制所有文件操作。HDFS內部的所有通信都基于標準的 TCP/IP協議。
3、MapReduce :一個分布式海量數據處理的軟件框架集計算集群。
4、Avro :doug cutting主持的RPC項目,主要負責數據的序列化。有點類似Google的protobuf和Facebook的thrift。avro用來做以后hadoop的RPC,使hadoop的RPC模塊通信速度更快、數據結構更緊湊。
5、Hive :類似CloudBase,也是基于hadoop分布式計算平臺上的提供data warehouse的sql功能的一套軟件。使得存儲在hadoop里面的海量數據的匯總,即席查詢簡單化。hive提供了一套QL的查詢語言,以sql為基礎,使用起來很方便。
6、HBase :基于Hadoop Distributed File System,是一個開源的,基于列存儲模型的可擴展的分布式數據庫,支持大型表的存儲結構化數據。
7、Pig :是一個并行計算的高級的數據流語言和執行框架 ,SQL-like語言,是在MapReduce上構建的一種高級查詢語言,把一些運算編譯進MapReduce模型的Map和Reduce中,并且用戶可以定義自己的功能。
8、ZooKeeper :Google的Chubby一個開源的實現。它是一個針對大型分布式系統的可靠協調系統,提供的功能包括:配置維護、名字服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易出錯的關鍵服務,將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。
9、Chukwa :一個管理大型分布式系統的數據采集系統由yahoo貢獻。
10、Cassandra :無單點故障的可擴展的多主數據庫。
11、Mahout :一個可擴展的機器學習和數據挖掘庫。



查看完整回答
反對 回復 2018-12-16
  • 1 回答
  • 0 關注
  • 798 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號