我正在嘗試從一個簡單的 Pandas DataFrame 構建一個 Spark DataFrame。這是我遵循的步驟。import pandas as pdpandas_df = pd.DataFrame({"Letters":["X", "Y", "Z"]})spark_df = sqlContext.createDataFrame(pandas_df)spark_df.printSchema()到目前為止，一切正常。輸出是：root|-- 字母：字符串（可為空 = 真）當我嘗試打印 DataFrame 時出現問題：spark_df.show()這是結果：調用 o158.collectToPython 時出錯。：org.apache.spark.SparkException：作業因階段失敗而中止：階段 5.0 中的任務 0 失敗 1 次，最近失?。弘A段 5.0 中丟失任務 0.0（TID 5、本地主機、執行程序驅動程序）：org.apache.spark .SparkException:Error from python worker:Error execution Jupyter command 'pyspark.daemon': [Errno 2] 沒有這樣的文件或目錄 PYTHONPATH 是：/home/roldanx/soft/spark-2.4.0-bin-hadoop2.7/python/lib/pyspark.zip:/home/roldanx/soft/spark-2.4.0-bin-hadoop2.7/python/lib/ py4j-0.10.7-src.zip:/home/roldanx/soft/spark-2.4.0-bin-hadoop2.7/jars/spark-core_2.11-2.4.0.jar:/home/roldanx/soft/ spark-2.4.0-bin-hadoop2.7/python/lib/py4j-0.10.7-src.zip:/home/roldanx/soft/spark-2.4.0-bin-hadoop2.7/python/: org. apache.spark.SparkException：pyspark.daemon 的標準輸出中沒有端口號這些是我的 Spark 規格：SparkSession - 蜂巢火花上下文星火用戶界面版本：v2.4.0大師：本地[*]應用名稱：PySparkShell這是我的 venv：導出 PYSPARK_PYTHON=jupyter導出 PYSPARK_DRIVER_PYTHON_OPTS='lab'事實：正如錯誤所提到的，它與從 Jupyter 運行 pyspark 有關。使用 'PYSPARK_PYTHON=python2.7' 和 'PYSPARK_PYTHON=python3.6' 運行它可以正常工作
1 回答
鴻蒙傳說
TA貢獻1865條經驗 獲得超7個贊
導入并初始化 findspark，創建一個 spark 會話，然后使用該對象將 pandas 數據幀轉換為 spark 數據幀。然后將新的 spark 數據框添加到目錄中。使用 python 3.6.6 在 Jupiter 5.7.2 和 Spyder 3.3.2 中測試并運行。
import findspark
findspark.init()
import pyspark
from pyspark.sql import SparkSession
import pandas as pd
# Create a spark session
spark = SparkSession.builder.getOrCreate()
# Create pandas data frame and convert it to a spark data frame
pandas_df = pd.DataFrame({"Letters":["X", "Y", "Z"]})
spark_df = spark.createDataFrame(pandas_df)
# Add the spark data frame to the catalog
spark_df.createOrReplaceTempView('spark_df')
spark_df.show()
+-------+
|Letters|
+-------+
| X|
| Y|
| Z|
+-------+
spark.catalog.listTables()
Out[18]: [Table(name='spark_df', database=None, description=None, tableType='TEMPORARY', isTemporary=True)]
添加回答
舉報
0/150
提交
取消