亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

Hadoop集群下線datanode

標簽:
Java

说明:最近需要把hadoop集群中的几台datanode拿出来另作它用,记录一下下线操作

datanode下线后可以直接关掉nodemanager进程,resourcemanager会将任务分配给其他节点


操作:

1.在hdfs-site.xml中增加以下参数:

<property>

    <name>dfs.hosts.exclude</name>

    <value>/hadoop/hadoop-2.6.0-cdh5.4.1/etc/hadoop/excludes</value>

<property>


2.在namenode节点对应路径下创建相关文件,并写入需要下线节点的IP地址

echo "192.168.127.3" >>  /hadoop/hadoop-2.6.0-cdh5.4.1/etc/hadoop/excludes


3.在namenode节点执行命令

hdfs dfsadmin -refreshNodes


4.查看下线情况

hdfs dfsadmin -report

Decomissioning标记的即为正在下线的datanode,hadoop集群会将下线的datanode数据块复制到其他节点

复制完成之后会变成Decommission Status : Decommissioned,此时可以下线此datanode

Decomission效率:5台服务器,每台大概7个T数据,用时大概16hour

平均5*7/16,约2.2T/hour



作者:invincine
链接:https://www.jianshu.com/p/c6bbcf422396


點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消