亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Hadoop:是什么,如何工作,可以用來做什么

Hadoop:是什么,如何工作,可以用來做什么

心有法竹 2019-02-23 15:15:52
Hadoop:是什么,如何工作,可以用來做什么
查看完整描述

2 回答

?
陪伴而非守候

TA貢獻1757條經驗 獲得超8個贊

Hadoop主要是分布式計算和存儲的框架,所以Hadoop工作過程主要依賴于HDFS(Hadoop Distributed File System)分布式存儲系統和Mapreduce分布式計算框架。

分布式存儲系統HDFS中工作主要是一個主節點namenode(master)(hadoop1.x只要一個namenode節點,2.x中可以有多個節點)和若干個從節點Datanode(數據節點)相互配合進行工作,HDFS主要是存儲Hadoop中的大量的數據,namenode節點主要負責的是:
1、接收client用戶的操作請求,這種用戶主要指的是開發工程師的Java代碼或者是命令客戶端操作。
2、維護文件系統的目錄結構,主要就是大量數據的關系以及位置信息等。
3、管理文件系統與block的關系,Hadoop中大量的數據為了方便存儲和管理主要是以block塊(64M)的形式儲存。一個文件被分成大量的block塊存儲之后,block塊之間都是有順序關系的,這個文件與block之間的關系以及block屬于哪個datanode都是有namenode來管理。
Datanode的主要職責是:
1、存儲文件。
2、將數據分成大量的block塊。
3、為保證數據的安全,對數據進行備份,一般備份3份。當其中的一份出現問題時,將由其他的備份來對數據進行恢復。
MapReduce主要也是一個主節點JOPtracker和testtracker組成,主要是負責hadoop中的數據處理過程中的計算問題。
joptracker主要負責接收客戶端傳來的任務,并且把計算任務交給很多testtracker工作,同時joptracker會不斷的監控testtracker的執行情況。
testtracker主要是執行joptracker交給它的任務具體計算,例如給求大量數據的最大值,每個testtracker會計算出自己負責的數據中的最大值,然后交給joptracker。

Hadoop的主要兩個框架組合成了分布式的存儲和計算,使得hadoop可以很快的處理大量的數據。

查看完整回答
反對 回復 2019-03-02
?
湖上湖

TA貢獻2003條經驗 獲得超2個贊

要有java語言基礎,和 linux系統命令基礎。
hadoop是運行的系統要求是 linux。
hadoop 用 java寫的分布式 ,處理大數據的框架。
只要思想是 分組合并 思想
分組:比如 有一個大型數據,那么他就會將這個數據按照算法分成多份,每份存儲在 奴隸主機上,并且在奴隸主機上進行計算。
合并:將每個機器上的計算結果合并起來 再在一臺機器上計算,得到最終結果。
就是mapreduce 算法。

查看完整回答
反對 回復 2019-03-02
  • 2 回答
  • 0 關注
  • 1311 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號