亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

在 Google Colab 中使用 pyspark

在 Google Colab 中使用 pyspark

慕沐林林 2023-05-09 10:04:24
這是我使用大量 StackOverflow 后的第一個問題,如果我提供的信息不準確或不完整,請糾正我直到本周,我按照我在整個互聯網上找到的眾多指南之一設置了一個 colab notebook 來與 pyspark 一起運行,但本周它開始出現一些不同的錯誤。使用的代碼幾乎就是這個:!apt-get install openjdk-8-jdk-headless -qq > /dev/null!wget -q https://downloads.apache.org/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz!tar -xvf spark-3.0.0-preview2-bin-hadoop2.7.tgz!pip install -q findsparkimport osos.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"os.environ["SPARK_HOME"] = "/content/spark-3.0.0-preview2-bin-hadoop2.7"import findsparkfindspark.init()我嘗試將 Java 版本從 8 更改為 11,并使用https://downloads.apache.org/spark/上所有可用的 Spark 構建并相應地更改 HOME 路徑。我按照pip freeze在一個指南中看到的那樣使用來檢查 colab 中使用的 Spark 版本,它說 pyspark 3.0.0 所以我嘗試了版本 3.0.0 上的所有版本,但我一直得到的是錯誤:Exception: Unable to find py4j, your SPARK_HOME may not be configured correctly我不太了解為此使用 Java 的必要性,但我也嘗試安裝 pyj4,!pip install py4j它說我安裝時它已經安裝了,我嘗試了互聯網上的每個不同指南,但我無法運行我的 Spark代碼了。有誰知道如何解決這一問題?我只將 colab 用于大學目的,因為我的 PC 已經過時而且我對此了解不多,但我真的需要讓這個筆記本可靠地運行,所以我怎么知道是時候更新導入的版本了?
查看完整描述

目前暫無任何回答

  • 0 回答
  • 0 關注
  • 139 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號