-
sqoop安裝配置
查看全部 -
資源管理器（Yarn）詳解
查看全部 -
資源管理器詳解
查看全部 -
資源管理器YARN
查看全部 -
Java序列化的不足
查看全部 -
Hadoop序列化機制的特點
查看全部 -
Hadoop序列化機制的作用
查看全部 -
啟動historyserver
查看全部 -
<property>?
<name>yarn.log-aggregation-enable</name>??
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop100:19888/jobhistory/logs/</value>
</property>
查看全部 -
MapReduce任務日志查看
查看全部 -
Shuffle過程
查看全部 -
多文件WordCount案列分析
查看全部 -
多文件WordCount案列分析
查看全部 -
3、框架調用Reduce類中的reduce方法，輸入<k2,{v2...}>,輸出<k3,v3>.一個<k2,{v2...}>調用一次reduce函數。
4、框架把reduce的輸出保存到HDFS中
reduce階段結束
查看全部 -
Reduce階段執行過程
1、框架對多個map任務的輸出，按照不停的分區，通過網絡copy到不同的reduce節點，這個過程稱作shuffle
2、框架對reduce端收到訂單相同分區的<k2,v2>數據進行合并、排序、分組。
查看全部
舉報
0/150
提交
取消