講師回答 / 徐老師
如果想要構造某種格式的大量數據,可以自己寫一個代碼循環進行迭代即可,在循環內部按照一定格式組裝數據,最后通過輸出日志或者直接寫文件的方式就可以得到對應的大量數據了。
2023-02-14
講師回答 / 徐老師
課程中需要用到的軟件安裝包、以及相關代碼都在網盤中了:鏈接:https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA?提取碼:1234?
2022-12-23
講師回答 / 徐老師
json數據的資料、sqoop相關的資料已經上傳到這個網盤鏈接中了鏈接:https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ?提取碼:dy6j
2022-12-12
講師回答 / 徐老師
Hadoop里面其實包含了HDFS集群和YARN集群。根據你的意思來看應該是說的HDFS的主節點NameNode把,如果NameNode節點對應的內存滿了,可以考慮使用federation聯邦機制(需要用到多個NameNode節點),這樣可以提高NameNode節點的存儲能力。此時每個NameNode負責維護一個命名空間,命名空間簡單理解就是一個HDFS目錄,這個HDFS目錄下文件的元數據信息就存儲在對應的這個NameNode內存中。其他的NameNode負責維護其他的命名空間,這樣整個HDFS集群的存儲...
2022-09-07
講師回答 / 徐老師
客戶端機器的配置和集群機器的配置保持完全一樣即可,唯一的區別是,客戶端節點上不需要啟動任何進程。其實最簡單的做法就是把集群中修改好配置的hadoop安裝包直接拷貝到客戶端節點即可
2021-05-10
講師回答 / 徐老師
空格和制表符直接看起來不好區分,在videoinfowritable的tostring方法中使用的制表符你要是想驗證的話,可以把tostring方法中的制表符改為逗號,再跑一下代碼就會發現結果中是用逗號分割的了
2020-12-29
講師回答 / 徐老師
你到8088界面中查看了嗎,能不能看到任務信息很奇怪,沒有任何輸出信息你這樣執行一下試試,使用hadoop內置的wordcount案例hadoop jar? ?hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar ? wordcount /input /output你可以加一下慕課的大數據學習qun? 938632081? 方便溝通
2020-12-12
講師回答 / 徐老師
是一樣的,hadoop fs這種用法是在hadoop1.x的時候提供的在hadoop2.x的時候提供了新的用法,hdfs dfs,同時也兼容了hadoop1.x中的寫法,所以兩個效果是一樣的。
2020-10-27