我正在嘗試使用 Spark 讀取 sqlite db 文件，但出現以下錯誤：Py4JJavaError Traceback (most recent call last)<ipython-input-101-b7f53ac120a0> in <module>()----> 1 sqlContext.read.jdbc(url = jdbcUrl, table='the_table', properties=connectionProperties)/opt/spark/2.4.4/python/pyspark/sql/readwriter.py in jdbc(self, url, table, column, lowerBound, upperBound, numPartitions, predicates, properties) 557 gateway = self._spark._sc._gateway 558 jpredicates = utils.toJArray(gateway, gateway.jvm.java.lang.String, predicates)--> 559 return self._df(self._jreader.jdbc(url, table, jpredicates, jprop)) 560 return self._df(self._jreader.jdbc(url, table, jprop)) 561 /opt/spark/2.4.4/python/lib/py4j-src.zip/py4j/java_gateway.py in __call__(self, *args) 1255 answer = self.gateway_client.send_command(command) 1256 return_value = get_return_value(-> 1257 answer, self.gateway_client, self.target_id, self.name) 1258 1259 for temp_arg in temp_args:/opt/spark/2.4.4/python/pyspark/sql/utils.py in deco(*a, **kw) 61 def deco(*a, **kw): 62 try:---> 63 return f(*a, **kw) 64 except py4j.protocol.Py4JJavaError as e: 65 s = e.java_exception.toString()/opt/spark/2.4.4/python/lib/py4j-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name) 326 raise Py4JJavaError( 327 "An error occurred while calling {0}{1}{2}.\n".--> 328 format(target_id, ".", name), value) 329 else: 330 raise Py4JError(Py4JJavaError: An error occurred while calling o1744.jdbc.: java.sql.SQLException: Unsupported type NULL at 我認為問題是: java.sql.SQLException: Unsupported type NULL我正在讀取的數據有空值并且不受支持，或者什么 - 但問題是數據有零空值并且它仍然不會讀取表。運行我得到上面的錯誤顯示。而且我也收到相同的錯誤消息。我顯然在這里遺漏了一些東西，我能找到的所有線程都是 java 或 scala，雖然我已經嘗試了其中建議的各種其他東西，但它似乎沒有用。
1 回答
揚帆大魚
TA貢獻1799條經驗 獲得超9個贊
您正在嘗試使用 spark 從 SQLite 表導入數據。實際上，在 spark 中，JDBCDialect forSQLite是不存在的。因此，SQLite 類型未按預期匹配，因此出現此異常。
要解決這個問題，您需要通過擴展 Spark 抽象JdbcDialect類來編寫 jdbc 方言，如下所示 -
object SQLiteDialect extends JdbcDialect {
...
}
在這里，您可以從其他可用的方言（例如PostgressDialect ）中獲得幫助
現在按照下面提到的步驟進行測試 -
SQLiteDialect將編譯后的類和伴生對象打包到一個 JAR 中將 JAR 復制到 Spark 二進制安裝中的 jars 文件夾（可選，可能可以在額外的 --jars 參數中設置路徑）
然后在創建 SQLite 表和示例數據后在 spark-shell 中運行以下測試：
org.apache.spark.sql.jdbc.JdbcDialects.registerDialect(org.apache.spark.sql.jdbc.SQLiteDialect)
val jdbcDF = sqlContext.read.format('jdbc').options(url='jdbc:sqlite:/path/to/sqlitedb/test.db',
dbtable = 'the_table',
driver = 'org.sqlite.JDBC').load()
jdbcDF.show()
JdbcDialects.unregisterDialect(org.apache.spark.sql.jdbc.SQLiteDialect)
參考這個線程
貌似有中型博客講SQLite方言，有很好的解釋，請參考。
添加回答
舉報
0/150
提交
取消