如何在IPython Notebook中加載jar依賴項這個頁面鼓勵我嘗試使用spark-csv在PySpark中讀取.csv文件我發現了一些帖子，比如這個描述如何使用spark-csv但我無法通過在啟動時包含.jar文件或包擴展來初始化ipython實例，這可以通過spark-shell完成。也就是說，而不是ipython notebook --profile=pyspark我試過了ipython notebook --profile=pyspark --packages com.databricks:spark-csv_2.10:1.0.3但它不受支持。請指教。
3 回答
小怪獸愛吃肉
TA貢獻1852條經驗 獲得超1個贊
您可以簡單地將其傳遞給PYSPARK_SUBMIT_ARGS變量。例如：
export PACKAGES="com.databricks:spark-csv_2.11:1.3.0"export PYSPARK_SUBMIT_ARGS="--packages ${PACKAGES} pyspark-shell"在SparkContext/ SparkSession和相應的JVM啟動之前，還可以在代碼中動態設置這些屬性：
packages = "com.databricks:spark-csv_2.11:1.3.0"os.environ["PYSPARK_SUBMIT_ARGS"] = (
"--packages {0} pyspark-shell".format(packages))添加回答
舉報
0/150
提交
取消