課程
/云計算&大數據
/大數據
/認識Hadoop--基礎篇
老師,有一點說的很模糊,就是數據源的問題。 你說數據源來自HDFS,中間結果寫的硬盤,最后結果又輸出到HDFS中去?
謝謝。
2016-02-15
源自:認識Hadoop--基礎篇 4-2
正在回答
我認為是這樣的:就好比我們在客戶端執行寫入數據一樣,數據來源于hdfs,然后計算的結果會先保存在本地磁盤并且進行分塊操作,然后再根據namenode返回回來的映射關系,將本地的臨時數據寫入對應的datanode,而datanode就屬于hdfs的一部分;
不知對不對?
hdfs是存儲讀取的上層IO界面,它的底層介質肯定可以是硬盤,也可以flash,也可以是網絡存儲。
就是一個基于硬盤的存儲文件的文件系統
我覺得hdfs就是硬盤吧,,,硬盤本來是存儲的,,,hdfs就相當于是基于硬盤上的一個文件夾的東西,,,但不是文件夾哈
舉報
Hadoop入門視頻教程,大數據人才的入門首選
1 回答關于存儲數據塊的問題
2 回答老師,你的Partition好像只分了numPartitions-1個區?
3 回答學好大數據的基礎是什么
5 回答流式數據訪問,寫一次,讀多次,要改錯怎么辦呢?
1 回答hdfs的一些問題
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2020-03-14
我認為是這樣的:就好比我們在客戶端執行寫入數據一樣,數據來源于hdfs,然后計算的結果會先保存在本地磁盤并且進行分塊操作,然后再根據namenode返回回來的映射關系,將本地的臨時數據寫入對應的datanode,而datanode就屬于hdfs的一部分;
不知對不對?
2018-06-17
hdfs是存儲讀取的上層IO界面,它的底層介質肯定可以是硬盤,也可以flash,也可以是網絡存儲。
2016-02-15
就是一個基于硬盤的存儲文件的文件系統
2016-02-15
我覺得hdfs就是硬盤吧,,,硬盤本來是存儲的,,,hdfs就相當于是基于硬盤上的一個文件夾的東西,,,但不是文件夾哈