3 回答

TA貢獻1825條經驗 獲得超4個贊
直接用機器搭建Hadoop集群是一個相當痛苦的過程,尤其對初學者來說。他們還沒開始跑wordcount,可能就被這個問題折騰的體無完膚了。而且也不是每個人都有好幾臺機器對吧。你可以嘗試用多個虛擬機搭建,前提是你有個性能杠杠的機器。
我的目標是將Hadoop集群運行在Docker容器中,使Hadoop開發者能夠快速便捷地在本機搭建多節點的Hadoop集群。其實這個想法已經有了不少實現,但是都不是很理想,他們或者鏡像太大,或者使用太慢,或者使用了第三方工具使得使用起來過于復雜。下表為一些已知的Hadoop on Docker項目以及其存在的問題。
項目 鏡像大小 問題
sequenceiq/hadoop-docker:latest 1.491GB 鏡像太大,只支持單個節點
sequenceiq/hadoop-docker:2.7.0 1.76 GB
sequenceiq/hadoop-docker:2.60 1.624GB
sequenceiq/ambari:latest 1.782GB 鏡像太大,使用太慢,使用復雜
sequenceiq/ambari:2.0.0 4.804GB
sequenceiq/ambari:latest:1.70 4.761GB
alvinhenrick/hadoop-mutinode 4.331GB 鏡像太大,構建太慢,增加節點麻煩,有bug
我的項目參考了alvinhenrick/hadoop-mutinode項目,不過我做了大量的優化和重構。
添加回答
舉報