-
查看全部 -
HDFS寫流程
客戶端向NameNode發起寫數據請求；
NameNode將可以存儲數據的數據塊信息發送給客戶端；（DataNode節點數量應該跟設置的備份數量一致）
對數據進行分塊，然后寫入DataNode節點，DataNode自動完成副本備份；
DataNode向NameNode匯報存儲完成，NameNode通知客戶端；
查看全部 -
查看全部 -
Hadoop是一個開源的大數據框架；
Hadoop是分布式計算的解決方案；
Hadoop = HDFS(分布式文件系統) （存儲）+ MapReduce(分布式計算)
HDFS總結：
? ? ?普通的成百上千臺機器；TB甚至PB為單位的大量的數據；簡單便捷的文件獲?。?/p>
HDFS概念：
? ?1.數據塊?
? ? ? ? ?數據塊是抽象塊，而非整個文件作為存儲單元；默認大小為64M，一般設置128M，備份3個；
? ?2.NameNode
? ? ? ? ?管理文件系統的命名空間，存放文件元數據；維護著文件系統的所有文件和目錄，文件與數據塊的映射；記錄每個文件中各個塊所在數據節點的信息；
? ?3.DataNode
? ? ? ? 存儲并檢索數據塊；向NameNode更新所存儲塊的列表；
HDFS優點：
? ? ?適合大文件存儲，支持TB、PB級別的數據存儲，并有副本策略；可以構建在廉價的機器上，并有一定的容錯和恢復機制；支持流式數據訪問，一次寫入，多次讀取最高效；
HDFS缺點：
? ? 不支持大量小文件的存儲；不適合并發寫入，不支持文件隨機修改；不支持隨機讀等低延時的訪問方式；
查看全部 -
查看全部 -
大數據是一個概念也是一門技術，是在Hadoop為代表的大數據平臺框架上進行各種數據分析的技術；
大數據包括了以Hadoop和Spark為基礎的大數據框架；
查看全部 -
MapReduce編程模型
查看全部 -
NodeManager
查看全部 -
ApplicationMaster
查看全部 -
Yarn 的 ResourceManager作用
查看全部 -
HDFS常用命令
查看全部 -
HDFS讀流程
查看全部 -
HDFS寫流程
查看全部 -
HDFS優點
查看全部 -
hdfs缺點
查看全部
舉報