這是我使用大量 StackOverflow 后的第一個問題,如果我提供的信息不準確或不完整,請糾正我直到本周,我按照我在整個互聯網上找到的眾多指南之一設置了一個 colab notebook 來與 pyspark 一起運行,但本周它開始出現一些不同的錯誤。使用的代碼幾乎就是這個:!apt-get install openjdk-8-jdk-headless -qq > /dev/null!wget -q https://downloads.apache.org/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz!tar -xvf spark-3.0.0-preview2-bin-hadoop2.7.tgz!pip install -q findsparkimport osos.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"os.environ["SPARK_HOME"] = "/content/spark-3.0.0-preview2-bin-hadoop2.7"import findsparkfindspark.init()我嘗試將 Java 版本從 8 更改為 11,并使用https://downloads.apache.org/spark/上所有可用的 Spark 構建并相應地更改 HOME 路徑。我按照pip freeze在一個指南中看到的那樣使用來檢查 colab 中使用的 Spark 版本,它說 pyspark 3.0.0 所以我嘗試了版本 3.0.0 上的所有版本,但我一直得到的是錯誤:Exception: Unable to find py4j, your SPARK_HOME may not be configured correctly我不太了解為此使用 Java 的必要性,但我也嘗試安裝 pyj4,!pip install py4j它說我安裝時它已經安裝了,我嘗試了互聯網上的每個不同指南,但我無法運行我的 Spark代碼了。有誰知道如何解決這一問題?我只將 colab 用于大學目的,因為我的 PC 已經過時而且我對此了解不多,但我真的需要讓這個筆記本可靠地運行,所以我怎么知道是時候更新導入的版本了?
添加回答
舉報
0/150
提交
取消