亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

請問一下Hadoop,怎么實現多個輸入路徑的輸入?

請問一下Hadoop,怎么實現多個輸入路徑的輸入?

侃侃爾雅 2019-09-09 13:09:36
Hadoop,怎么實現多個輸入路徑的輸入?
查看完整描述

4 回答

?
慕沐林林

TA貢獻2016條經驗 獲得超9個贊

1.多路徑輸入


1)FileInputFormat.addInputPath 多次調用加載不同路徑

12345678import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;String in0 = args[0];String in1 = args[1];String out = args[2];FileInputFormat.addInputPath(job,new Path(in0));FileInputFormat.addInputPath(job,new Path(in1));FileOutputFormat.setOutputPath(job,new Path(out));

2)FileInputFormat.addInputPaths一次調用加載 多路徑字符串用逗號隔開


FileInputFormat.addInputPaths(job, "hdfs://RS5-112:9000/cs/path1,hdfs://RS5-112:9000/cs/path2");

2.多種輸入


MultipleInputs可以加載不同路徑的輸入文件,并且每個路徑可用不同的maper

MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path1"), TextInputFormat.class,MultiTypeFileInput1Mapper.class);


MultipleInputs.addInputPath(job, new Path("hdfs://RS5-112:9000/cs/path3"), TextInputFormat.class,MultiTypeFileInput3Mapper.class);


查看完整回答
反對 回復 2019-09-14
?
Smart貓小萌

TA貢獻1911條經驗 獲得超7個贊

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
String in0 = args[0];
String in1 = args[1];
String out = args[2];
FileInputFormat.addInputPath(job,new Path(in0));
FileInputFormat.addInputPath(job,new Path(in1));
FileOutputFormat.setOutputPath(job,new Path(out));

查看完整回答
反對 回復 2019-09-14
?
森欄

TA貢獻1810條經驗 獲得超5個贊

1、運行mapred程序;
2、本次運行將生成一個Job,于是JobClient向JobTracker申請一個JobID以標識這個Job;
3、JobClient將Job所需要的資源提交到HDFS中一個以JobID命名的目錄中。這些資源包括JAR包、配置文件、InputSplit、等

查看完整回答
反對 回復 2019-09-14
?
慕運維8079593

TA貢獻1876條經驗 獲得超5個贊

可擴展性是HDFS的一個重要特性,首先在新加的節點上安裝hadoop,然后修改$HADOOP_HOME/conf/master文件,加入 NameNode主機名,然后在NameNode節點上修改$HADOOP_HOME/conf/slaves文件,加入新加節點主機名,再建立到新加節點無密碼的SSH連接!

查看完整回答
反對 回復 2019-09-14
  • 4 回答
  • 0 關注
  • 1921 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號