4 回答
TA貢獻2016條經驗 獲得超9個贊
1.多路徑輸入
1)FileInputFormat.addInputPath 多次調用加載不同路徑
| 12345678 | import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;String in0 = args[0];String in1 = args[1];String out = args[2];FileInputFormat.addInputPath(job,new Path(in0));FileInputFormat.addInputPath(job,new Path(in1));FileOutputFormat.setOutputPath(job,new Path(out)); |
2)FileInputFormat.addInputPaths一次調用加載 多路徑字符串用逗號隔開
FileInputFormat.addInputPaths(job, "hdfs://RS5-112:9000/cs/path1,hdfs://RS5-112:9000/cs/path2");
2.多種輸入
MultipleInputs可以加載不同路徑的輸入文件,并且每個路徑可用不同的maper
MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1"), TextInputFormat.class,MultiTypeFileInput1Mapper.class);
MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path3"), TextInputFormat.class,MultiTypeFileInput3Mapper.class);
TA貢獻1911條經驗 獲得超7個贊
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
String in0 = args[0];
String in1 = args[1];
String out = args[2];
FileInputFormat.addInputPath(job,new Path(in0));
FileInputFormat.addInputPath(job,new Path(in1));
FileOutputFormat.setOutputPath(job,new Path(out));
TA貢獻1810條經驗 獲得超5個贊
1、運行mapred程序;
2、本次運行將生成一個Job,于是JobClient向JobTracker申請一個JobID以標識這個Job;
3、JobClient將Job所需要的資源提交到HDFS中一個以JobID命名的目錄中。這些資源包括JAR包、配置文件、InputSplit、等
TA貢獻1876條經驗 獲得超5個贊
可擴展性是HDFS的一個重要特性,首先在新加的節點上安裝hadoop,然后修改$HADOOP_HOME/conf/master文件,加入 NameNode主機名,然后在NameNode節點上修改$HADOOP_HOME/conf/slaves文件,加入新加節點主機名,再建立到新加節點無密碼的SSH連接!
- 4 回答
- 0 關注
- 1934 瀏覽
添加回答
舉報
