我在嘗試使用databricks-connect并依賴于 Maven 安裝的擴展在 Databricks 上運行一些 Python 代碼時遇到問題（在本例中com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.17可以在 Databricks 官方文檔中找到有關與 Azure EventHub 集成的信息）關于與 的連接databricks-connect，一切都已設置良好（通過 獲得“所有測試已通過” databricks-connect test）。Maven 包com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.17似乎已“安裝”在我的集群的“庫”部分中）。有問題的代碼是這樣一個簡單的代碼：encrypted_string = sc._jvm.org.apache.spark.eventhubs.EventHubsUtils.encrypt(to_be_encrypted_string)我是否遺漏了一些關于 Maven 包安裝的明顯內容？將其與 Python 一起使用是否需要額外的步驟？感謝您的幫助 ！
1 回答
縹緲止盈
TA貢獻2041條經驗 獲得超4個贊
功能有一些限制：
不支持以下 Databricks 功能和第三方平臺：
以下 Databricks 實用程序：憑據、庫、筆記本工作流程和小部件。
結構化流（包括 Azure 事件中心）
在遠程集群上運行不屬于 Spark 作業一部分的任意代碼。
用于 Delta 表操作的本機 Scala、Python 和 R API（例如 DeltaTable.forPath）。但是，支持 Delta Lake 操作的 SQL API (spark.sql(...)) 和 Delta 表上的常規 Spark API（例如，spark.read.load）。
此外，使用 Databricks Connect，您還必須將所有庫都放在本地類路徑中。典型場景是所有非 Spark 依賴項都打包到 jar-with-dependencies 中。
添加回答
舉報
0/150
提交
取消