亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

spark submit的時候怎么導入自己寫的依賴模塊?

spark submit的時候怎么導入自己寫的依賴模塊?

收到一只叮咚 2018-10-13 18:26:30
python代碼中的importfrom spark_learning.utils.default_utils import setDefaultEncoding,initSparkContext,ensureOffsetsubmit命令:bin/spark-submit --jars /home/jabo/software/spark-1.5.2-bin-hadoop2.6/lib/spark-streaming-kafka-assembly_2.10-1.5.2.jar\/home/jabo/spark-by-python/spark_learning/third_day/streaming_kafka_avg.py\ --py-files /home/jabo/spark-by-python/spark_learning/utils/default_utils.py官網解釋:For Python applications, simply pass a .py file in the place of <application-jar> instead of a JAR, andadd Python .zip, .egg or .py files to the search path with --py-files.但是會報錯,找不到import模塊:Traceback (most recent call last):  File "/home/jabo/spark-by-python/spark_learning/third_day/streaming_kafka_avg.py", line 10, in <module>    import spark_learning.utils.default_utils ImportError: No module named spark_learning.utils.default_utils如何解決??
查看完整描述

2 回答

?
烙印99

TA貢獻1829條經驗 獲得超13個贊

你可以試一下把--py-files 參數 放在你要運行腳本的前面哈!剛才我們也遇到這個問題 就是這樣解決的!

查看完整回答
反對 回復 2018-10-27
  • 2 回答
  • 0 關注
  • 1602 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號