在用Scala編寫spark程序使用到了sc.textFile(“file:///home/hadoop/2.txt”) 竟然報沒有找到文件,
最后我用spark-shell還是報這樣錯誤,開始我以為是我的路徑寫錯了,我就用cat命令 cat一下路徑試一試,結果是游結果輸出,說明路徑沒有寫錯,最后我把文件放在HDFS上竟然可以讀取到文件,求大神們解釋一下究竟是怎么回事?
最后我用spark-shell還是報這樣錯誤,開始我以為是我的路徑寫錯了,我就用cat命令 cat一下路徑試一試,結果是游結果輸出,說明路徑沒有寫錯,最后我把文件放在HDFS上竟然可以讀取到文件,求大神們解釋一下究竟是怎么回事?
2017-08-29
舉報
2017-09-01
用textFile加載本地文件時你試試這樣寫
sc.textFile("/home/hadoop/2.txt")
路徑前面就別加 " file:// " 試試,我寫的時候就沒加,可以讀取到本地文件