亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

如何在EMR鏡像中下載Hudi的JAR文件 (AWS: EKS上的EMR)

Hudi JARs 包含在 AWS EMR 图像中。如有需要,可以下载。

AWS: 如何在EMR上从EKS下载Hudi JARs

一个介绍

AWS EMR 镜像包含了 Apache Hudi JAR 文件。如有必要,这些 Apache Hudi JAR 文件可以从 AWS EMR 镜像中下载。

这里有一些步骤,你可以按照它们来实现它。

第一步:拉取EMR的图像

首先,找到你想要下载Apache Hudi的JAR文件的AWS EMR映像。

以下链接列出了 AWS EMR Image 包含的应用程序版本。

参考一下,AWS EMR 图像版本文档在 EMR on EKS 中仅描述了 EMR on EKS 特定的内容。Amazon Web Services Elastic MapReduce(Amazon EMR)专业术语在此首次出现时应加以说明。

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-components.html

更多详情请参阅:

    docker pull public.ecr.aws/emr-on-eks/spark/emr-6.15.0:latest

执行上述命令以从公共 Amazon ECR 仓库拉取最新的 EMR on EKS Spark 版本。

获取AWS EMR图像

步骤 2:确认 Hudi JAR 文件的位置在 EMR 图像中。

在 AWS EMR 镜像中,库文件夹位于路径 /usr/lib 下。Apache Hudi 的 JAR 文件可以在 /usr/lib/hudi 下找到。

执行以下命令来启动Docker容器,该容器包含了最新的EMR 6.15.0 Spark版本。

docker run -it public.ecr.aws/emr-on-eks/spark/emr-6.15.0:latest /bin/bash
路径
  • 根目录路径: /usr/lib/
  • Hudi JAR文件路径: /usr/lib/hudi/
  • Spark文件路径: /usr/lib/spark/jars/

确认EMR映像中的Hudi JAR文件的路径

步骤 3:从 EMR 镜像中把 Hudi JAR 复制到主机上

检查完Apache Hudi JARs的路径之后,可以使用以下命令下载。


    docker cp <container_id>:/usr/lib/hudi/hudi-spark3-bundle_2.12-0.14.0-amzn-0.jar .  
    docker cp <container_id>:/usr/lib/hudi/hudi-utilities-bundle_2.12-0.14.0-amzn-0.jar .  

    ==  

    # 在我的情况下,容器ID 是 `e8686bdc772e`.  
    docker cp e8686bdc772e:/usr/lib/hudi/hudi-spark3-bundle_2.12-0.14.0-amzn-0.jar .  
    docker cp e8686bdc772e:/usr/lib/hudi/hudi-utilities-bundle_2.12-0.14.0-amzn-0.jar .

将 Hudi JARs 从 EMR 镜像复制到主机

點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消