講師回答 / 徐老師
如果想要構造某種格式的大量數據，可以自己寫一個代碼循環進行迭代即可，在循環內部按照一定格式組裝數據，最后通過輸出日志或者直接寫文件的方式就可以得到對應的大量數據了。
2023-02-14
講師回答 / 徐老師
課程中需要用到的軟件安裝包、以及相關代碼都在網盤中了：鏈接：https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA?提取碼：1234?
2022-12-23
講師回答 / 徐老師
json數據的資料、sqoop相關的資料已經上傳到這個網盤鏈接中了鏈接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ?提取碼：dy6j
2022-12-12
講師回答 / 徐老師
Hadoop里面其實包含了HDFS集群和YARN集群。根據你的意思來看應該是說的HDFS的主節點NameNode把，如果NameNode節點對應的內存滿了，可以考慮使用federation聯邦機制（需要用到多個NameNode節點），這樣可以提高NameNode節點的存儲能力。此時每個NameNode負責維護一個命名空間，命名空間簡單理解就是一個HDFS目錄，這個HDFS目錄下文件的元數據信息就存儲在對應的這個NameNode內存中。其他的NameNode負責維護其他的命名空間，這樣整個HDFS集群的存儲...
2022-09-07
已采納回答 / 徐老師
sqoop底層會生成mapreduce任務，所以在控制臺看不到錯誤的具體信息，需要到YARN界面中查看任務的具體報錯信息。根據你這個業務來分析的話，是從hdfs中將數據導出到mysql中，大概率是由于hdfs中數據的mysql中表的字段個數、或者字段類型不匹配導致的問題，想要定位到具體問題，還是要到YARN上查看這個任務的具體錯誤日志才能真正定位
2022-02-07
已采納回答 / 徐老師
核心錯誤日志是這一句：Caused by: java.net.UnknownHostException: hadoop100表示不認識hadoop100這個主機名，需要配置hostname以及/etc/hosts
2021-10-24