我有一個 sparksession，我目前是這樣創建的：spark = SparkSession.builder.master("local").appName("myapp").getOrCreate()我想設置 spark master 的工作目錄。它目前正在使用 /tmp，我想使用其他東西。我注意到有一個 config(..) 選項，我可以做類似的事情嗎：spark = SparkSession.builder.master("local").appName("myapp").config("option", "value").getOrCreate()是否有某處可用的選項列表？應該以不同的方式完成嗎？
2 回答
犯罪嫌疑人X
TA貢獻2080條經驗 獲得超4個贊
您可以設置spark.local.dir為自定義文件夾或設置環境變量SPARK_LOCAL_DIRS。默認情況下，它使用/tmp
更多細節在這里https://spark.apache.org/docs/2.1.0/configuration.html#application-properties
添加回答
舉報
0/150
提交
取消