亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

將 Scala 連接到 Azure DW 轉換為 PySpark

將 Scala 連接到 Azure DW 轉換為 PySpark

慕少森 2021-12-17 10:33:37
我正在嘗試在 ADW 更新表,但到目前為止我找到的唯一途徑是通過 scala,我不太熟悉它,我希望與 PySpark 具有相同的功能。這是 Scala 代碼,但我被困在試圖翻譯它import java.util.Propertiesimport java.sql.DriverManagerval jdbcUsername = "xxxxx"val jdbcPassword = "xxxxx"val driverClass = "com.microsoft.sqlserver.jdbc.SQLServerDriver"val jdbcUrl = s"xxxx"val connectionProperties = new Properties()connectionProperties.put("user", s"${jdbcUsername}")connectionProperties.put("password", s"${jdbcPassword}")connectionProperties.setProperty("Driver", driverClass)val connection = DriverManager.getConnection(jdbcUrl, jdbcUsername, jdbcPassword)val stmt = connection.createStatement()val sql = "delete from table where condition"stmt.execute(sql)connection.close()我認為必須有一種使用 PySpark 在 Azure SQL 上執行命令的通用方法,但我還沒有找到。
查看完整描述

1 回答

?
偶然的你

TA貢獻1841條經驗 獲得超3個贊

聽起來你想直接對Azure Databricks的Python中的Azure SQL數據庫表進行刪除操作,但我試圖意識到它失敗了,因為沒有辦法為pyodbc和安裝linux odbc驅動程序pymssql

這是有關我的測試的一些屏幕截圖。

圖 1. 成功安裝pymssql,pypyodbc在集群上,但失敗pyodbc

http://img1.sycdn.imooc.com//61bbf73800012ec407690332.jpg

圖 2. 嘗試連接我的 Azure SQL 數據庫時遇到有關缺少 linux odbc 驅動程序的問題


http://img1.sycdn.imooc.com//61bbf7440001595f15590478.jpg

所以除了使用官方教程介紹的Scala/Java之外Use HDInsight Spark cluster to read and write data to Azure SQL database,使用Python的唯一變通方法是調用一個webhook url來實現其他Azure服務的功能,比如Python中的Azure Function。


查看完整回答
反對 回復 2021-12-17
  • 1 回答
  • 0 關注
  • 205 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號