課程
/云計算&大數據
/大數據
/Spark從零開始
老師視頻上說spark安裝后會自動配置環境變量,但是我重新開啟虛擬機后,spark-shell命令無效,我自己配置了環境變量才有效,這是為什么?
2018-12-07
源自:Spark從零開始 3-2
正在回答
spark如果你的提交作業的方式是local,是不需要配置任何東西的,視頻里面老師都是在spark-shell下進行操作的所以不需要配置任何東西,按照你的說法,spark-shell命令無效是因為沒有去到spark的bin目錄下執行命令,如果你往/etc/profile或者~/.bash_profile 下進行把spark的bin加入到PATH的的話就可以不用去到bin目錄下也可以執行spark-shell。如果你的spark作業是提交在yarn等外部框架上面則需要配置spark-env.sh文件。
舉報
本課程旨在讓同學們了解Spark基礎知識,掌握Spark基礎開發.
1 回答IDEA如何配置Spark環境
3 回答在IDEA中配置spark環境時usr/main中只有scala
1 回答這個是在什么環境下運行的?虛擬環境怎么配置?
1 回答啟動的時候報錯,有什么地方還需要配么?
2 回答到Spark的官網后遇到這種情況要怎么辦?要怎么下載?
Copyright ? 2025 imooc.com All Rights Reserved | 京ICP備12003892號-11 京公網安備11010802030151號
購課補貼聯系客服咨詢優惠詳情
慕課網APP您的移動學習伙伴
掃描二維碼關注慕課網微信公眾號
2018-12-15
spark如果你的提交作業的方式是local,是不需要配置任何東西的,視頻里面老師都是在spark-shell下進行操作的所以不需要配置任何東西,按照你的說法,spark-shell命令無效是因為沒有去到spark的bin目錄下執行命令,如果你往/etc/profile或者~/.bash_profile 下進行把spark的bin加入到PATH的的話就可以不用去到bin目錄下也可以執行spark-shell。如果你的spark作業是提交在yarn等外部框架上面則需要配置spark-env.sh文件。