Hadoop RPC

时间：2016-06-13 00:54:58 阅读：253 评论：0 收藏：0 [点我收藏+]

第一部分：什么是RPC

RPC (Remote Procedure Call Protocol) – 远程过程协议调用。通过 RPC 我们可以从网络上的计算机请求服务，而不需要了解底层网络协议。 Hadoop 底层的交互都是通过 rpc 进行的。例如： datanode 和 namenode 、 tasktracker 和 jobtracker 、 secondary namenode 和 namenode 之间的通信都是通过 rpc 实现的。

RPC 模式

RPC 采用客户机 / 服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。

工作原理

运行时 , 一次客户机对服务器的 RPC 调用 , 其内部操作大致有如下十步：

1. 调用客户端句柄；执行传送参数

2. 调用本地系统内核发送网络消息

3. 消息传送到远程主机

4. 服务器句柄得到消息并取得参数

5. 执行远程过程

6. 执行的过程将结果返回服务器句柄

7. 服务器句柄返回结果，调用远程系统内核

8. 消息传回本地主机

9. 客户句柄由内核接收消息

10. 客户接收句柄返回的数据

第二部分：Hadoop的RPC机制

Hadoop PRC

•Hadoop RPC在整个Hadoop中应用非常广泛，Client、DataNode、NameNode之间的通讯全靠它了。

举个例子，我们平时操作HDFS的时候，使用的是FileSystem类，它的内部有个DFSClient对象，这个对象负责与NameNode打交道。在运行时，DFSClient在本地创建一个NameNode的代理，然后就操作这个代理，这个代理就会通过网络，远程调用到NameNode的方法，也能返回值。

•Hadoop RPC 位于org.apache.hadoop.ipc

•Hadoop RPC = 动态代理 + 定制好的二进制流

•分为Server与Clinet端

服务端流程

•Listener线程监视RPC Client发送过来的数据。

•当有数据可以接收时，调用Connection的readAndProcess方法。

• Connection边接收边对数据进行处理，如果接收到一个完整的Call包，则构建一个Call对象。PUSH到Call队列中，由Handler线程来处理Call队列中的所有Call。

•Handler线程监听Call队列，如果Call队列非空，按FIFO规则从Call队列取出Call。

•将Call交给RPC.Server处理。

•借助JDK提供的Method，完成对目标方法的调用，目标方法由具体的业务逻辑实现。

•返回响应。Server.Handler按照异步非阻塞的方式向RPC Client发送响应，如果有未发送出的数据，则交由Server.Responder来完成。

Hadoop RPC

原文：http://www.cnblogs.com/xubiao/p/5579114.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)