亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

HDFS缺點

HDFS優點

DataNode

HDFS構架：

1）數據塊

2）NameNode

3)DataNode

HDFS基本架構：

1）數據塊

2)NameNode

3)DataNode

HDFS總結

1. 數據塊

2. NameNode：管理文件系統的命名空間，存放文件元數據；維護這文件系統的所有文件和目錄，文件和數據塊的映射；記錄每個文件中各個塊所在數據節點的信息

   ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

Hadoop 兩大核心

HDFS概念

Hadoop有兩個核心，一個是HDFS——分布式存儲，一個是MapReduce 分布式計算。

HDFS寫流程

客戶端向NameNode發起寫數據請求

分塊寫入DataNode節點，DataNode自動完成副本備份

DataNode向NameNode匯報儲存完成NameNode通知客戶端?

HDFS讀流程

1. 客戶端向NameNode發起讀數據請求；

2. NameNode找出距離最近的DataNode節點信息；

3. 客戶端從DataNode分塊下載文件；

MapReduce簡介

?

MapReduce是一種編程模型，是一種編程方法，是抽象的理論；

?

YARN（Haoop2之后的資源管理器）概念

? ? ? 1.ResourceManager：分配和調度資源；啟動并監控ApplicationMaster; 監控NodeManager

? ? ? 2.ApplicatonMaster：為MR類型的程序申請資源，并分配給內部任務；負責數據的切分；監控任務的執行及容錯；

? ? ? 3.NodeManager：管理單個節點的資源；處理來自ResourceManager的命令；處理來自ApplicationMaster的命令

?

MapReduce編程模型

? ? ? 輸入一個大文件，通過Split之后，將其分為多個分片；

每個文件分片由單獨的機器去處理，這就是Map方法? ；

將各個機器計算的結果進行匯總并得到最終的結果，這就是Reduce方法；?

HDFS特性

通過Shell命令對HDFS進行操作：與Linux操作文件類似

?

?

HDFS實戰

常用HDFS Shell命令：

類Linux系統：ls , cat , mkdir , rm , chmod , chown等

HDFS文件交互：copyFromLocal, copyToLocal , get , put ?

?

mk.txt 上傳到?hdfs系統

1.在?/home 目錄下?新建mk.txt :

touch(或vi) mk.txt

2.看一下hdfs根目錄下有什么:

?hdfs dfs -ls /

3.創建test目錄?：

hdfs dfs -mkdir /test

看一下?

hdfs dfs -ls /

4.mk.txt 上傳到?test 下?(copyFromLocal)

hdfs dfs -copyFromLocal /hmoe/mk.txt /test/

看一下

hdfs dfs -ls /test

5.查看mk.txt的內容

hdfs dfs -cat /test/mk.txt

6.mk.txt 上傳到本地目錄下改名為?mk2.txt(copyToLocal)

hdfs dfs -copyToLocal /test/mk.txt /home/mk2.txt

看一下本地

ls

7.更改test的權限: 讀4 寫2 執行1

hdfs dfs -chmod 777 /test/mk.txt

hdfs dfs -ls /test

8.幫助文檔

hdfs dfs -help?

HDFS寫流程

客戶端向NameNode發起寫數據請求

分塊寫入DataNode節點，DataNode自動完成副本備份

DataNode向NameNode匯報儲存完成NameNode通知客戶端?

HDFS讀流程

1. 客戶端向NameNode發起讀數據請求；

2. NameNode找出距離最近的DataNode節點信息；

3. 客戶端從DataNode分塊下載文件；

• Hadoop(分布式計算)

Hadoop是一個開源的大數據框架；

Hadoop是分布式計算的解決方案；

Hadoop = HDFS(分布式文件系統) （存儲）+ MapReduce(分布式計算)

• Hadoop核心:

HDFS分布式文件系統：儲存是大數據技術的基礎

MapReduce 編程模型：分布式計算是大數據應用的解決方案

?

• HDFS總結：

? ?普通的成百上千臺機器；

TB甚至PB為單位的大量的數據；

簡單便捷的文件獲??；

• Hadoop基礎架構

?

HDFS概念：

? ?1.數據塊?

? ? ? ? ? 數據塊是抽象塊，而非整個文件作為存儲單元；

默認大小為64M，一般設置128M，備份3個；

? ?2.NameNode(HDFS一個NameNode多個DataNode組成)

? ? ? ? ?管理文件系統的命名空間，存放文件元數據；

維護著文件系統的所有文件和目錄，文件與數據塊的映射；

記錄每個文件中各個塊所在數據節點的信息；

? ?3.DataNode

? ? ? ? 存儲并檢索數據塊；向NameNode更新所存儲塊的列表；

HDFS優點：

? ? ? 適合大文件存儲，支持TB、PB級別的數據存儲，并有副本策略；

可以構建在廉價的機器上，并有一定的容錯和恢復機制；

支持流式數據訪問，一次寫入，多次讀取最高效；

HDFS缺點：

? ? 不支持大量小文件的存儲；

不適合并發寫入，不支持文件隨機修改；

不支持隨機讀等低延時的訪問方式；