亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定
已解決430363個問題,去搜搜看,總會有你想問的

Spark with Hive:找不到表或視圖

Spark with Hive:找不到表或視圖

慕尼黑5688855 2021-09-29 17:26:02
ApplicationMaster:用戶類拋出異常:org.apache.spark.sql.AnalysisException:找不到表或視圖:“DB_X”.“table_Y”火花會話:  SparkSession    .builder()              .appName(appName)    .config("spark.sql.warehouse.dir", "/apps/hive/warehouse")    .enableHiveSupport()    .getOrCreate();hive-site.xml 中的 Hive 倉庫目錄:/apps/hive/warehouse/hadoop fs -ls /apps/hive/warehouse/drwxrwxrwx   - root hadoop          0 2018-09-03 11:22 /apps/hive/warehouse/DB_X.dbhadoop fs -ls /apps/hive/warehouse/DB_X.dbnone錯誤在這里拋出:spark   .read()   .table("DB_X.table_Y");在 Java 中:spark.sql("show databases").show()default在 spark-shell 交互中:spark.sql("show databases").show()defaultDB_X顯示創建表 table_Y :CREATE EXTERNAL TABLE `table_Y`(...PARTITIONED BY (  `partition` string COMMENT '')...    location '/data/kafka-connect/topics/table_Y'hadoop文件:hadoop fs -ls /data/kafka-connect/topics/table_Ydrwxr-xr-x   - kafka hdfs          0 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0drwxr-xr-x   - kafka hdfs          0 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=1hadoop fs -ls data/kafka-connect/topics/table_Y/partition=0-rw-r--r--   3 kafka hdfs     102388 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0/table_Y+0+0001823382+0001824381.avro-rw-r--r--   3 kafka hdfs     102147 2018-09-11 17:24 /data/kafka-connect/topics/table_Y/partition=0/table_Y+0+0001824382+0001825381.avro...在 spark-shell 或 hive-shell 中一切正常hive conf 中的 hive-site.xml 被復制到 spark2/conf使用 HDP 2.6.4.0-91 和 spark 2.2有什么幫助嗎?
查看完整描述

1 回答

?
慕運維8079593

TA貢獻1876條經驗 獲得超5個贊

使用 HA 名稱重新定位表可以解決問題。


查看完整回答
反對 回復 2021-09-29
  • 1 回答
  • 0 關注
  • 546 瀏覽
慕課專欄
更多

添加回答

舉報

0/150
提交
取消
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號