亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

關于hadoop 系統是怎樣增加節點的?

關于hadoop 系統是怎樣增加節點的?

慕桂英546537 2019-09-09 14:10:39
hadoop 系統是怎樣增加節點的
查看完整描述

3 回答

?
鳳凰求蠱

TA貢獻1825條經驗 獲得超4個贊

直接用機器搭建Hadoop集群是一個相當痛苦的過程,尤其對初學者來說。他們還沒開始跑wordcount,可能就被這個問題折騰的體無完膚了。而且也不是每個人都有好幾臺機器對吧。你可以嘗試用多個虛擬機搭建,前提是你有個性能杠杠的機器。

我的目標是將Hadoop集群運行在Docker容器中,使Hadoop開發者能夠快速便捷地在本機搭建多節點的Hadoop集群。其實這個想法已經有了不少實現,但是都不是很理想,他們或者鏡像太大,或者使用太慢,或者使用了第三方工具使得使用起來過于復雜。下表為一些已知的Hadoop on Docker項目以及其存在的問題。

項目 鏡像大小 問題
sequenceiq/hadoop-docker:latest 1.491GB 鏡像太大,只支持單個節點
sequenceiq/hadoop-docker:2.7.0 1.76 GB
sequenceiq/hadoop-docker:2.60 1.624GB

sequenceiq/ambari:latest 1.782GB 鏡像太大,使用太慢,使用復雜
sequenceiq/ambari:2.0.0 4.804GB
sequenceiq/ambari:latest:1.70 4.761GB

alvinhenrick/hadoop-mutinode 4.331GB 鏡像太大,構建太慢,增加節點麻煩,有bug

我的項目參考了alvinhenrick/hadoop-mutinode項目,不過我做了大量的優化和重構。

查看完整回答
反對 回復 2019-09-14
  • 3 回答
  • 0 關注
  • 1402 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號