亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

pycharm運行spark項目

標簽:
Spark

环境

centos

安装PyCharm和py4j

下载安装最新版本的PyCharm,官网地址: https://www.jetbrains.com/pycharm/download/
安装步骤:

  1. tar -xzvf  XXXX.tar.gz
    2.避免出现pycharm只读文件的情况
    进入到bin目录下
    sudo ./pycharm.sh 安装
    并且在最后一步安装界面的时候,要选择for all users
    3.安装pip (yum install pip)
    4.安装py4j:
    sudo pip install py4j

配置PyCharm

选择“Run” ->“Edit Configurations” ->“Environment variables”
增加SPARK_HOME目录与PYTHONPATH目录。 - SPARK_HOME:Spark安装目录 - PYTHONPATH:Spark安装目录下的Python目录
因为我的spark集群建立在hadoop上
我还添加了HADOOP_HOME、JAVA_HOME


webp

pycharm配置


问题
no ascii in /usr/bin/pythn2.7
解决
添加了两个/usr/bin/pythn2.7
未解决问题
kafka需要引入jar
pycharm 不知道如何引用



作者:玄月府的小妖在debug
链接:https://www.jianshu.com/p/ea3ac27bef79


點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消