亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

使用 spark-submit 部署應用程序:應用程序已添加到調度程序,但尚未激活

使用 spark-submit 部署應用程序:應用程序已添加到調度程序,但尚未激活

鳳凰求蠱 2021-06-18 14:50:22
我有帶有 Linux Centos 12G 內存的 VirtualBox。我需要將 2 個應用程序部署到以非分布式配置運行的 hadoop。這是我的 YARN 配置:<configuration><property>    <name>yarn.nodemanager.pmem-check-enabled</name>    <value>false</value></property><property>   <name>yarn.nodemanager.aux-services</name>   <value>mapreduce_shuffle</value></property><property>   <name>yarn.resourcemanager.address</name>   <value>0.0.0.0:8032</value></property><property>  <name>yarn.scheduler.maximum-allocation-vcores</name>  <value>130</value></property><property>   <name>yarn.nodemanager.vmem-check-enabled</name>   <value>false</value>   <description>Whether virtual memory limits will be enforced for containers</description></property><property>   <name>yarn.scheduler.maximum-allocation-mb</name>   <value>4048</value></property><property>   <name>yarn.nodemanager.vmem-pmem-ratio</name>   <value>1</value>   <description>Ratio between virtual memory to physical memory whensetting memory limits for containers</description></property><property>   <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>   <value>1</value></property></configuration>我部署了第一個應用程序,它運行正常:spark-submit --master yarn --deploy-mode 客戶端 --name OryxBatchLayer-ALSExample --class com.cloudera.oryx.batch.Main --files oryx.conf --driver-memory 500m --driver-java-options "-Dconfig.file=oryx.conf" --executor-memory 500m --executor-cores 1 --conf spark.executor.extraJavaOptions="-Dconfig.file=oryx.conf" --conf spark.ui.port= 4040 --conf spark.io.compression.codec=lzf --conf spark.logConf=true --conf spark.serializer=org.apache.spark.serializer.KryoSerializer --conf spark.speculation=true --conf spark. ui.showConsoleProgress=false --conf spark.dynamicAllocation.enabled=false --num-executors=1 oryx-batch-2.8.0-SNAPSHOT.jar8088 處的 YARN 管理器表示我正在使用 8 個 vcore 中的 2 個和 8g 內存中的 2 個:
查看完整描述

1 回答

?
慕尼黑的夜晚無繁華

TA貢獻1864條經驗 獲得超6個贊

修復是編輯


~/hadoop-3.1.0/etc/hadoop/capacity-scheduler.xml


并將 .1 更新為 1:


<property>

    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>

    <value>1</value>

    <description>

      Maximum percent of resources in the cluster which can be used to run

      application masters i.e. controls number of concurrent running

      applications.

    </description>

  </property>


查看完整回答
反對 回復 2021-06-30
  • 1 回答
  • 0 關注
  • 387 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號