亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

Spark RPC 到底是個什么鬼?

標簽:
Spark

本文会为大家介绍Spark中的RPC通信机制,详细阐述“Spark RPC到底是个什么鬼?”,闲话少叙,让我们来进入Spark RPC的世界!

Spark RPC三剑客

Spark RPC中最为重要的三个抽象(“三剑客”)为:RpcEnv、RpcEndpoint、RpcEndpointRef,这样做的好处有:

  • 对上层的API来说,屏蔽了底层的具体实现,使用方便

  • 可以通过不同的实现来完成指定的功能,方便扩展

  • 促进了底层实现层的良性竞争,Spark 1.6.3中默认使用了Netty作为底层的实现,但Akka的依赖依然存在;而Spark 2.1.0中的底层实现只有Netty,这样用户可以方便的使用不同版本的Akka或者将来某种更好的底层实现

下面我们就结合Netty和“三剑客”来具体分析他们是如何来协同工作的。

Send a message locally

我们通过Spark源码中的一个Test(

为了方便理解,先把流程图贴出来,然后详细进行阐述:

webp

下面我们来详细阐述上例的具体过程:

首先是RpcEndpoint创建并注册的流程:(图中的蓝色线条部分)

下面就是通过RpcEndpointRef向其代表的RpcEndpoint发送消息的具体流程:(图中的红色线条部分)

nettyEnv.send(RequestMessage(nettyEnv.address, this, message))

至此,一个简单的发送本地消息的流程执行完成。

什么,上面的图太复杂了?我也觉得,下面给出一张简洁的图:

webp

我们通过NettyRpcEndpointRef来发出一个消息,消息经过NettyRpcEnv、Dispatcher、Inbox的共同处理最终将消息发送到NettyRpcEndpoint,NettyRpcEndpoint收到消息后进行处理(一般是通过模式匹配的方式进行不同的处理)

如果进一步的进行抽象就得到了我们刚开始所讲的“三剑客”:RpcEnv、RpcEndpoint、RpcEndpointRef

webp

RpcEndpointRef发送消息给RpcEnv,RpcEnv查询注册信息将消息路由到指定的RpcEndpoint,RpcEndpoint接收到消息后进行处理(模式匹配的方式)

RpcEndpoint的声明周期:constructor -> onStart -> receive* -> onStop

其中receive*包括receive和receiveAndReply

本文我们只是通过一个简单的测试程序分析了Spark Rpc底层的实现,集群中的其它通信(比如Master和Woker的通信)的原理和这个测试类似,只不过具体的发送方式有所不同(包括ask、askWithRetry等),而且远程发消息的时候使用了OutBox和NIO等相关的内容,感兴趣的朋友可以对源码进行详细的阅读,本文不一一说明,目的就是通过简单的测试理解大致流程,不再为“Spark Rpc到底是什么”而纠结,一句话总结:Spark Rpc就是Spark中对分布式消息通信系统的高度抽象。

本文为原创,欢迎转载,转载请注明出处、作者,谢谢!



作者:sun4lower
链接:https://www.jianshu.com/p/228b274faa51


點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消