4 回答

TA貢獻2016條經驗 獲得超9個贊
1.多路徑輸入
1)FileInputFormat.addInputPath 多次調用加載不同路徑
12345678 | import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; String in0 = args[ 0 ]; String in1 = args[ 1 ]; String out = args[ 2 ]; FileInputFormat.addInputPath(job, new Path(in0)); FileInputFormat.addInputPath(job, new Path(in1)); FileOutputFormat.setOutputPath(job, new Path(out)); |
2)FileInputFormat.addInputPaths一次調用加載 多路徑字符串用逗號隔開
FileInputFormat.addInputPaths(job, "hdfs://RS5-112:9000/cs/path1,hdfs://RS5-112:9000/cs/path2");
2.多種輸入
MultipleInputs可以加載不同路徑的輸入文件,并且每個路徑可用不同的maper
MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1"), TextInputFormat.class,MultiTypeFileInput1Mapper.class);
MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path3"), TextInputFormat.class,MultiTypeFileInput3Mapper.class);

TA貢獻1911條經驗 獲得超7個贊
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
String in0 = args[0];
String in1 = args[1];
String out = args[2];
FileInputFormat.addInputPath(job,new Path(in0));
FileInputFormat.addInputPath(job,new Path(in1));
FileOutputFormat.setOutputPath(job,new Path(out));

TA貢獻1810條經驗 獲得超5個贊
1、運行mapred程序;
2、本次運行將生成一個Job,于是JobClient向JobTracker申請一個JobID以標識這個Job;
3、JobClient將Job所需要的資源提交到HDFS中一個以JobID命名的目錄中。這些資源包括JAR包、配置文件、InputSplit、等

TA貢獻1876條經驗 獲得超5個贊
可擴展性是HDFS的一個重要特性,首先在新加的節點上安裝hadoop,然后修改$HADOOP_HOME/conf/master文件,加入 NameNode主機名,然后在NameNode節點上修改$HADOOP_HOME/conf/slaves文件,加入新加節點主機名,再建立到新加節點無密碼的SSH連接!
- 4 回答
- 0 關注
- 1921 瀏覽
添加回答
舉報