亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

Hadoop生產環境中擴容DataNode節點的過程梳理

在线上环境,经常需要根据业务发展对HDFS进行扩容,比如我们要添加一个新DataNode节点到集群中

        新节点主机名:node4.# IP地址:192.168.184.9

        节点上运行进程:datanode、nodemanager

步骤如下:

1、node4.#节点做以下配置

        (1)、配置/etc/hosts文件,添加node4.#(集群所有节点最好全部添加,并保持一致)

        (2)、初始化本地节点的HDFS存储磁盘,这里假定我用到两块磁盘(具体情况自己设定)

                新节点node4.#上添加2块磁盘并分别挂载到/data01、/data02

                        mkdir  /data01/block

                        mkdir  /data02/block

                        chown  -R  hdfs.hdfs  /data01/block

                        chown  -R  hdfs.hdfs  /data02/block

        (3)、从NameNode节点拷贝配置文件目录下所有文件到node4.#

                scp  /opt/hdfs/etc/hadoop/*   hdfs@node4.#:/opt/hdfs/etc/hadoop/

        (4)、hdfs-site.xml文件中的配置项修改

                dfs.data.dir 值为:/data01/block/data,/data02/block/data

2、NameNode节点配置

        (1)、hdfs-site.xml配置项dfs.hosts文件添加新节点主机

                dfs.hosts 文件路径:/opt/hdfs/etc/hadoop/whitehosts

                追加内容:node4.#

        (2)、slaves文件添加新节点主机

                vim  /opt/hdfs/etc/hadoop/slaves

                追加内容:node4.#,然后分发给其他所有主机(实际只需namenode节点保持更新即可,但为使得所有节点保持一致,还是分发给所有节点)

        (3)、刷新节点(NameNode节点执行)

                执行命令:hdfs  dfsadmin  -refreshNodes     # 刷新完通过50070Web界面可以看到新DataNode

                执行命令:yarn  rmadmin  -refreshNodes      # 刷新完通过8088Web界面可以看到新NodeManager

(4)、在node4.#上执行启动命令:

                hadoop-daemon.sh  start  datanode

                yarn-daemon.sh  start nodemanager

(5)、验证node4.#是否正常加入集群

                打开namenode的50070在浏览器查看,看是否新节点加入集群

                打开resourcemanager的8088在浏览器查看,看是否新节点加入集群

················································································································

欢迎关注课程:
企业级开源四层负载均衡解决方案--LVS


點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
全棧工程師
手記
粉絲
1.1萬
獲贊與收藏
117

關注作者,訂閱最新文章

閱讀免費教程

  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消