我有一個在 Jupyter notebook 中運行的本地 Python 腳本,它在我的機器上運行的本地 Spark 集群上運行作業:sc = pyspark.SparkContext(appName="test")
sqlCtx = pyspark.SQLContext(sc)如何將其更改為連接字符串以在 AWS 中的 EMR Spark 集群上運行作業?這是可能的還是我必須spark-submit在 SSH 進入遠程集群時使用該功能?
如何在遠程 Spark 集群上運行本地 Python 腳本?
慕尼黑5688855
2021-08-05 18:00:26