-
hdfs缺點
查看全部 -
HDFS分布式文件系統：存儲是大數據技術的基礎
MapReduce：分布式計算是大數據應用的解決方案
查看全部 -
YARN:
? ? ? ? ? ? ?負責整個集群的資源管理和調度
? ? ? ? ? ? ?支持多種計算框架：離線批處理，內存計算，迭代計算等等
YARN主從架構：
查看全部 -
Hadoop=HDFS（分布式文件系統）+MapReduce（分布式計算）
HDSF數據塊 64M-128M
NameNode:管理文件系統的命名空間，存放文件元數據
? ? ? ? ? ? ? ? ? ? 維護著文件系統的所有文件和目錄，文件與數據塊的映射
? ? ? ? ? ? ? ? ? ? ?記錄每個文件中各個塊所在節點的信息
DataNode :存儲并檢索數據庫塊
? ? ? ? ? ? ? ? ? ? 向NameNode更新所存儲塊的列表
HDFS優點：適合大文件存儲，支持TB，PB級別的數據存儲
? ? ? ? ? ? ? ? ? ?構建在廉價機器上，有副本，容錯和恢復機制
? ? ? ? ? ? ? ? ? ?支持流式數據的訪問，一次寫入，多次讀取最高效
HDFS缺點：不適合大量小文件存儲
? ? ? ? ? ? ? ? ? ? 不適合并發寫入，不支持文件隨機修改
? ? ? ? ? ? ? ? ? ? ?不支持隨機讀等低延遲的訪問
查看全部 -
大數據：大數據是一個概念也是一門技術，是在以Hadoop為代表的大數據平臺框架上進行各種數據分析的技術。
大數據包括了以Hadoop和Spark為代表的基礎大數據框架，還包括了實時數據處理，離線數據處理；數據分析，數據挖掘和用機器算法進行預測分析等技術。
查看全部 -
數據塊一般分為128M
namenode掛掉了怎么辦：現在集群里面有兩個namenode的節點，一臺為主節點，另一臺為備用節點，兩臺節點的數據始終保持一致，主節點出現問題時，備用節點自動切換
查看全部 -
Hadoop是一個開源的大數據框架，還是一個分布式計算的解決方案；
Hadoop=HDFS（分布式文件系統）+MapReduce（分布式計算）
????????????????核心：HDFS存儲是大數據技術的基礎
????????????????????????? ?MapReduce編程模式：分布式計算是大數據應用的解????????????????????????????????決方案
查看全部 -
應用知識：實戰一：HDFS實際操作（通過shell命令/Python程序）
?????????????? ?實戰二：MapReduce程序開發實例
課程預備知識：Linux的常用命令（懂一些就行）
????????????????????????有一定的Python或者Java的編程基礎
????????????????????????對Hadoop有一定的了解，可以搭建自己的測試環境
查看全部 -
hadoop查看全部
-
HDFS寫流程： 客戶端向NameNode發起寫數據請求，分塊寫入DataNode節點，DataNode自動完成副本備份.DataNode向NameNode匯報存儲完成，NameNode通知客戶端
HDFS讀流程： 客戶端向NameNode發起讀數據請求，NameNode找出最近的DataNode節點信息，客戶端從DataNode分塊下載文件。
查看全部 -
HDFS缺點
查看全部 -
HDFS優點
查看全部 -
HDFS實際操作（通過shell命令和python程序）
MapReduce程序開發實例
查看全部 -
HDFS讀流程
查看全部 -
HDFS的構成以及寫流程
查看全部
舉報