亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

ClassNotFoundException:找不到數據源:bigquery

ClassNotFoundException:找不到數據源:bigquery

慕運維8079593 2024-01-25 21:29:53
我正在嘗試將數據從 Google BigQuery 加載到在 Google Dataproc 上運行的 Spark(我正在使用 Java)。我嘗試按照此處的說明進行操作:https ://cloud.google.com/dataproc/docs/tutorials/bigquery-connector-spark-example我收到錯誤:“ ClassNotFoundException: Failed to find data source: bigquery。”我的 pom.xml 如下所示:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">    <modelVersion>4.0.0</modelVersion>    <groupId>com.virtualpairprogrammers</groupId>    <artifactId>learningSpark</artifactId>    <version>0.0.3-SNAPSHOT</version>    <packaging>jar</packaging>    <properties>        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>        <java.version>1.8</java.version>    </properties>    <dependencies>        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-core_2.11</artifactId>            <version>2.3.2</version>        </dependency>        <dependency>            <groupId>org.apache.spark</groupId>            <artifactId>spark-sql_2.11</artifactId>            <version>2.3.2</version>        </dependency>        <dependency>            <groupId>org.apache.hadoop</groupId>            <artifactId>hadoop-hdfs</artifactId>            <version>2.2.0</version>        </dependency>        <dependency>            <groupId>com.google.cloud.spark</groupId>            <artifactId>spark-bigquery_2.11</artifactId>            <version>0.9.1-beta</version>            <classifier>shaded</classifier>        </dependency>    </dependencies>將依賴項添加到我的 pom.xml 后,它會下載大量內容來構建 .jar,所以我認為我應該擁有正確的依賴項?然而,Eclipse 還警告我“從未使用過 import com.google.cloud.spark.bigquery”。
查看完整描述

3 回答

?
MM們

TA貢獻1886條經驗 獲得超2個贊

我認為您只添加了 BQ 連接器作為編譯時依賴項,但在運行時缺少它。您需要制作一個 uber jar,其中包含作業 jar 中的連接器(需要更新文檔),或者在提交作業時包含它gcloud dataproc jobs submit spark --properties spark.jars.packages=com.google.cloud.spark:spark-bigquery_2.11:0.9.1-beta。



查看完整回答
反對 回復 2024-01-25
?
牧羊人nacy

TA貢獻1862條經驗 獲得超7個贊

我遇到了同樣的問題,并將格式從“bigquery”更新為“com.google.cloud.spark.bigquery”,這對我有用。



查看完整回答
反對 回復 2024-01-25
?
慕森王

TA貢獻1777條經驗 獲得超3個贊

在 build.sbt 中指定依賴項并按照 Peter 建議的格式使用“com.google.cloud.spark.bigquery”為我解決了這個問題。



查看完整回答
反對 回復 2024-01-25
  • 3 回答
  • 0 關注
  • 163 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號