課程
/云計算&大數據
/大數據
/快速入門Hadoop3.0大數據處理
不知道哪個地方有問題,我按照老師的模板寫的啊
2020-02-05
源自:快速入門Hadoop3.0大數據處理 7-2
正在回答
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)
根據這個錯誤提示,可以看出來是datacleanmap.java的第27行代碼出現了空指針異常,這個屬于原始數據有問題了,需要排查一下原始數據
還有就是通過System.out.println(id);能在日志中打印出來,說明代碼本身沒有問題,由于某些行的數據有問題導致在解析數據的時候失敗了,這里的數據是json格式的,要仔細看一下數據格式,可以把原始數據文件中的數據行數做一個刪減,只保留一兩行數據測試一下
為啥我編譯后的結果比元數據查詢的反而多了一個???檢查了“空格”也沒問題。
這個我已經解決了,是因為函數沒有對空行進行處理,導致報空指針異常??梢酝ㄟ^#grep "^$" video.log |wc -l,統計一下空行的行數,然后把空行刪掉就可以解決了?;蛘吣惆稍创a里面關于空行的處理進行一下改進。
求大神指點
現在把代碼按照老師講解重寫了一遍,但是運行的時候報獲取字段方法錯誤:
String?id?=?jsonObj.getString("uid");?但是通過System.out.println(id);能在日志中打印出來,真的不知道怎么辦了 2020-02-06?17:20:56,950?INFO?mapreduce.Job:?Task?Id?:?attempt_1580976866673_0005_m_000000_2,?Status?:?FAILEDError:?java.lang.NullPointerException at?com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27) at?com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:13) at?org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146) at?org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:799) at?org.apache.hadoop.mapred.MapTask.run(MapTask.java:347) at?org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174) at?java.security.AccessController.doPrivileged(Native?Method) at?javax.security.auth.Subject.doAs(Subject.java:422) at?org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1730) at?org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)
gongwanyi
qq_慕尼黑4012935
弄了兩天還是沒做出來,不知道哪的原因,一直顯示任務有問題,不確定是日志的合適錯誤還是代碼有問題,求大神幫忙看看
舉報
快速入門Hadoop3.0數據處理,輕松邁入大數據領域
2 回答運行啟動命令報錯
2 回答運行wordcount程序時一直處于job running狀態
4 回答部署hadoop
1 回答docker安裝hadoop
2 回答安裝Hadoop一定要安裝ssh-keygen嗎?
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2020-02-11
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)
根據這個錯誤提示,可以看出來是datacleanmap.java的第27行代碼出現了空指針異常,這個屬于原始數據有問題了,需要排查一下原始數據
還有就是通過System.out.println(id);能在日志中打印出來,說明代碼本身沒有問題,由于某些行的數據有問題導致在解析數據的時候失敗了,這里的數據是json格式的,要仔細看一下數據格式,可以把原始數據文件中的數據行數做一個刪減,只保留一兩行數據測試一下
2020-03-25
為啥我編譯后的結果比元數據查詢的反而多了一個???檢查了“空格”也沒問題。
2020-03-17
這個我已經解決了,是因為函數沒有對空行進行處理,導致報空指針異常??梢酝ㄟ^#grep "^$" video.log |wc -l,統計一下空行的行數,然后把空行刪掉就可以解決了?;蛘吣惆稍创a里面關于空行的處理進行一下改進。
2020-02-06
求大神指點
現在把代碼按照老師講解重寫了一遍,但是運行的時候報獲取字段方法錯誤:
2020-02-06
弄了兩天還是沒做出來,不知道哪的原因,一直顯示任務有問題,不確定是日志的合適錯誤還是代碼有問題,求大神幫忙看看
