-
HDFS的特點
查看全部 -
Hadoop核心
查看全部 -
Hadoop是什么？
查看全部 -
課程大綱????
?????????????理論知識
查看全部 -
大數據方向好不好？
查看全部 -
什么是大數據？
????????大數據是一個概念也是一門技術，是在以Hadoop為代表的大數據平臺框架上盡心各種數據分析的技術。
???????? 大數據包括了以Hadoop和Spark為代表的基礎大數據框架
?????????還包括實時數據處理，離線數據處理；數據分析，數據挖掘和用機器算法進行預測分析等技術
查看全部 -
Hadoop基礎與演練
查看全部 -
進行數據分析技術查看全部
-
HBase是一個高可靠，高性能，面先烈，可伸縮，實時讀寫的分布式數據庫
用來存儲非結構化和半結構化數據
RowKey：數據唯一標識，按字典排序
Column Family：列族，多個列的集合，最多不要超過3個
TimeStamp時間戳：支持多版本數據同時存在
查看全部 -
HDFS寫流程：客戶端向NameNode發起寫數據請求，分塊寫入DataNode節點，DataNode自動完成副本備份，然后向NameNode匯報存儲完成，由NameNode通知客戶端
HDFS讀流程：客戶端向NameNode發起讀數據請求，NameNode找出距離最近的DataNode節點信息，客戶端從DataNode分塊下載文件
查看全部 -
HDFS概念
數據塊????????????數據塊是抽象塊而非整個文件作為存儲單元，一般設置為128M,備份*3
NameNode????主。管理文件系統的命名空間，存放文件元數據
????????????????????????維護著文件系統的所有文件和目錄，文件與數據塊的映射
????????????????????????記錄每個文件中各個塊所在數據節點的信息
DataNode????工作節點。存儲并檢索數據塊，向NameNode更新所存儲塊的列表
HDFS的優點：適合大文件存儲，并有副本策略；可以構建在廉價的機器上，并有一定的容錯和恢復機制；支持流式數據訪問，一次寫入，多次讀取最高效。
HDFS的缺點：不適合大量小文件存儲；不適合并發寫入，不支持文件的隨即修改，只能后期append添加；不支持隨機讀寫等低延時的訪問方式
查看全部 -
for?i?in?range(10**10): ????print('thank?you?very?much!!!')查看全部 -
常用的HDFS shell命令
類Linux系統：ls、cat、mkdir、rm、chomod、chown
HDFS文件交互：copyfromlocal、copytolocal/get、put
查看全部 -
HDFS的概念：
數據塊：
namenode:
datanode:
查看全部 -
Hadoop是一個開源的大數據框架
Hadoop是一個分布式計算的解決方案
Hadoop=HDFS（分布式文件系統）+MapReduce（分布式計算）
查看全部
舉報