亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

java.io.IOException: No input paths specified in job

log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

log4j:WARN Please initialize the log4j system properly.

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

java.io.IOException: No input paths specified in job

step1運行失敗~~~

at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:239)

at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387)

at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301)

at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318)

at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Unknown Source)

at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1758)

at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)

請問一下各位大神,這個情況有遇到的嗎?百度了各種情況,都 沒有解決,

https://img1.sycdn.imooc.com//5cc161da0001916504000257.jpg

正在回答

5 回答

你的主機名是localhost找host文件的時候,轉為在你的運行電腦上,也就是本機,并不是虛擬機,所以就沒有那個文件,建議修改虛擬機主機名,或者修改hosts文件。

0 回復 有任何疑惑可以回復我~

沒有,它變成了另外一個錯誤,你要在編譯器中連接虛擬機,還要添加相關的矩陣文件

0 回復 有任何疑惑可以回復我~

好像不是這個原因


0 回復 有任何疑惑可以回復我~
#1

neocyl 提問者

解決了么?頭大~~~
2019-04-26 回復 有任何疑惑可以回復我~
#2

Blossom7 回復 neocyl 提問者

你解決了嗎
2019-05-05 回復 有任何疑惑可以回復我~

我也有這個問題,我在想是不是虛擬機連接問題

0 回復 有任何疑惑可以回復我~

package step1;


import java.io.IOException;


import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.Text;


import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;


public class MR1 {

? ? //輸入文件相對路徑

private static String inPath = "/matrix/step1_input/matrix_2.txt";

//輸出文件的相對路徑

private static String outPath = "/matrix/step1_output";

//hdfs的地址

private static String hdfs = "hdfs://localhost:9000";

public int run() {

try {

//創建job配置類

Configuration conf = new Configuration();

//設置hdfs的地址

conf.set("cf.defaultFS", hdfs);

//創建一個job實例

Job job = Job.getInstance(conf,"step1");

//設置job 的主類

job.setJarByClass(MR1.class);

//設置job 的mapper類及reducer類

job.setMapperClass(Mapper1.class);

job.setReducerClass(Reducer1.class);

//設置mapper輸出的類型

job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(Text.class);

//設置reducer輸出類型

job.setOutputKeyClass(Text.class);

job.setOutputValueClass(Text.class);

FileSystem fs =FileSystem.get(conf);

//設置輸入和輸出路徑

Path inputPath = new Path(inPath);

if(fs.exists(inputPath)) {

FileInputFormat.addInputPath(job, inputPath);

}

Path outputPath = new Path(outPath);

fs.delete(outputPath,true);

?

FileOutputFormat.setOutputPath(job, outputPath);

return job.waitForCompletion(true)?1:-1;

} catch (IOException | ClassNotFoundException | InterruptedException e) {

e.printStackTrace();

}

return -1;

}

public static void main(String[] args) {

int result = -1;

result =new MR1().run();

if(result == 1) {

System.out.println("step1運行成功~~~");

}else if(result == -1) {

System.out.println("step1運行失敗~~~");

}

}

}

貼上源碼

0 回復 有任何疑惑可以回復我~

舉報

0/150
提交
取消
Hadoop進階
  • 參與學習       24236    人
  • 解答問題       72    個

MapReduce原理,并實現簡單的推薦

進入課程

java.io.IOException: No input paths specified in job

我要回答 關注問題
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號