我正在用 Java 在 IntelliJ 上運行 Spark 應用程序。我在 pom.xml 中添加了 spark、Hadoop 和 AWS 依賴項，但不知何故沒有加載 AWS 憑證。我得到的確切錯誤是 Caused by: com.amazonaws.AmazonClientException: No AWS Credentials provided by BasicAWSCredentialsProvider EnvironmentVariableCredentialsProvider InstanceProfileCredentialsProvider : com.amazonaws.SdkClientException: Unable to load credentials from service endpoint下面是我的 .java 和 pom.xml 文件。SparkSession spark = SparkSession .builder() .master("local") .config("spark.hadoop.fs.s3a.impl","org.apache.hadoop.fs.s3a.S3AFileSystem") .config("spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version", "2") .config("spark.hadoop.fs.s3a.awsAccessKeyId", AWS_KEY) .config("spark.hadoop.fs.s3a.awsSecretAccessKey", AWS_SECRET_KEY) .getOrCreate(); JavaSparkContext sc = new JavaSparkContext(spark.sparkContext()); Dataset<Row> dF = spark.read().load("s3a://bucket/abc.parquet");這是我的 pom.xml<dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.3.2</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>2.3.2</version> </dependency> <dependency> <groupId>com.amazonaws</groupId> <artifactId>aws-java-sdk</artifactId> <version>1.11.417</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-aws</artifactId> <version>3.1.1</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>3.1.1</version> </dependency>我被困在這里一段時間并嘗試了所有可用的解決方案。我在我的環境中添加了導出 AWS 密鑰?？紤]到沒有像 python 或 Scala 這樣的 java spark shell 并且 pom.xml 是唯一的方法，你有沒有其他方法可以為 java 指定 jars 或鍵？
2 回答
ABOUTYOU
TA貢獻1812條經驗 獲得超5個贊
發現您只需要在 SparkContext 中添加 AWS 憑證，而不必在 SparkSession 中添加。
JavaSparkContext sc = new JavaSparkContext(spark.sparkContext());
sc.hadoopConfiguration().set("fs.s3a.access.key", AWS_KEY);
sc.hadoopConfiguration().set("fs.s3a.secret.key", AWS_SECRET_KEY);
添加回答
舉報
0/150
提交
取消