亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

Livy 安裝和配置

標簽:
大數據

一个基于Spark的开源REST服务,它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。它提供了以下这些基本功能:

  • 提交Scala、Python或是R代码片段到远端的Spark集群上执行;

  • 提交Java、Scala、Python所编写的Spark作业到远端的Spark集群上执行;

  • 提交批处理应用在集群中运行。
    从Livy所提供的基本功能可以看到Livy涵盖了原生Spark所提供的两种处理交互方式。与原生Spark不同的是,所有操作都是通过REST的方式提交到Livy服务端上,再由Livy服务端发送到不同的Spark集群上去执行。


安装启动

  1. 安装maven

  2. 下载livy

$ git clone [email protected]:cloudera/livy.git
$ export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m -XX:MaxPermSize=512M"$ mvn -Dmaven.test.skip clean package
  1. 修改配置文件
    注释spark.master

vim conf/spark-blacklist.conf# spark.master
  1. 启动

./bin/livy-server

pyspark测试

查看当前存在的会话

$ curl localhost:8998/sessions
> {"from":0,"total":0,"sessions":[]}

创建pyspark会话

$ curl -X POST --data '{"kind": "pyspark"}' -H "Content-Type:application/json" localhost:8998/sessions
> {"id":0,"owner":null,"proxyUser":null,"state":"starting","kind":"pyspark","log":[]}

$ curl localhost:8998/sessions
> {"from":0,"total":1,"sessions":[{"id":0,"owner":null,"proxyUser":null,"state":"idle","kind":"pyspark","log":[]}]}

查看当前会话状态

$ curl localhost:8998/sessions/0 | python -m json.tool
> {    "id": 0,    "kind": "pyspark",    "log": [],    "owner": null,    "proxyUser": null,    "state": "idle"}

state为idle表示该会话存活,已经准备就绪,可以向该会话提交任务了。
| python -m json.tool 这是管道命令,把返回的结果格式化显示

提交任务

$ curl localhost:8998/sessions/0/statements -X POST -H 'Content-Type: application/json' -d '{"code":"1 + 1"}'> {"id":0,"state":"running","output":null}

查看任务结果

$ curl localhost:8998/sessions/0/statements/0> {"id":0,"state":"available","output":{"status":"ok","execution_count":0,"data":{"text/plain":"2"}}}

如果返回异常,可能是json4s版本兼容问题导致的
修改:$SPARK_HOME目录下的pom.xml文件

<groupId>org.json4s</groupId><artifactId>json4s-jackson_${scala.binary.version}</artifactId><version>3.2.10</version>

将该jar包的版本更改为3.2.10

查看任务结果

$ curl localhost:8998/sessions/0/statements/{id}
$ curl localhost:8998/sessions/0/statements

删除会话

$ curl localhost:8998/sessions/0 -X DELETE
> {"msg":"deleted"}



作者:Alex90
链接:https://www.jianshu.com/p/50009addce3f


點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
數據庫工程師
手記
粉絲
42
獲贊與收藏
204

關注作者,訂閱最新文章

閱讀免費教程

  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消