RabbitMQ官方教程6--RPC

说明

      在第二个教程中学习了如何使用工作队列在多个工作者之间分配耗时的任务。但是如果我们需要在远程计算机运行一个功能并且要等待他的结果该怎么办?显然这是一个不同的故事。这种模式通常被称为远程过程调用(Remote Procedure Call )或RPC。在本教程中我们将学习如何使用RabbitMQ构建一个RPC系统:一个客户端和一个可伸缩的RPC服务器。由于我们没有任何值得分发的耗时任务,所以我们通过返回菲波那切数列来创建一个虚拟的RPC服务。

客户端接口

      为了演示如何使用RPC服务,我们将创建一个简单的客户端类。它将公开一个名为call的方法,该方法发送RPC请求并阻塞,直到接收到答案:

FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
String result = fibonacciRpc.call("4");
System.out.println( "fib(4) is " + result);

有关RPC的说明

      尽管RPC是计算中非常常见的模式,但它经常受到批评。问题出现在程序员不知道一个函数调用是本地的还是缓慢的RPC时。这样的混淆会导致系统的不可预知,并给调试增加不必要的复杂性。误用RPC非但不能简化软件,反而会导致难以维护的复杂代码。

铭记以上这些,并考虑以下的建议:

  • 确保可以明确区分哪个方法是本地的,哪个方法是远程调用的。
  • 详细记录,明确组件之间的依赖关系。
  • 错误处理,比如当RPC服务器长时间关闭后客户端该如何反应?

如有疑问请避免使用RPC。如果可能的话,可以使用异步管道(asynchronous pipeline ),而不是类似RPC的阻塞,异步管道会将结果异步推送到下一个计算阶段。

回调队列

      通常情况下通过RabbitMQ调用RPC很容易。客户端发送一个请求信息,服务端回复一个响应信息。为了接收响应我们需要在发送请求时携带一个回调队列的地址。

import com.rabbitmq.client.AMQP.BasicProperties;

callbackQueueName = channel.queueDeclare().getQueue();

BasicProperties props = new BasicProperties
                            .Builder()
                            .replyTo(callbackQueueName)
                            .build();

channel.basicPublish("", "rpc_queue", props, message.getBytes());

// ... then code to read a response message from the callback_queue ...

消息属性--Message Properties

  AMQP 0-9-1协议为消息预定义了14个属性集,除了以下属性外大多数很少使用:

  • deliveryMode:标记一个消息是持久的(值为2)还是临时的(其他值)。
  • contentType:用于描述编码的mime类型(比如常用的JSON类型的值为:application/json)。
  • replyTo:通常用于命名回调队列。
  • correlationId:用于将RPC响应与请求关联起来。

Correlation Id

      在上面介绍的方法中我们建议为每个RPC请求创建一个回调队列,但是那是相当低效的,一个更好的方法是为每个客户端创建一个单例的回调队列。这样就会导致一个新的问题,在该队列接收到响应后尚不清楚这个响应属于哪个请求,这时correlationId就派上了用场。我们会为每一个请求设置一个唯一的correlationId,当在回调队列中接收到消息时会查看该属性,并基于该属性将响应与请求匹配起来。如果看到了一个未知的correlationId的值就可以放心的丢弃掉该消息,因为那并不属于我们的请求。
      你可能会疑惑为什么我们应该忽略回调队列中的未知消息,而不是通过error来失败。这是由于在服务器端可能存在竞争条件。虽然RPC服务器有可能在向我们发送答案之后,而在发送请求的确认消息之前就挂掉了的可能性不大,但是如果发生这种情况,重新启动的RPC服务器将再次处理请求。这就是为什么在客户端我们必须优雅地处理重复的响应,RPC理想情况下应该是幂等的。

小结

RPC会像这样工作:

  • 对于RPC请求,客户端发送消息时会携带两个属性:replyTo被设置为只为请求创建一个匿名独家队列; correlationId被设置为为每个请求都设置一个唯一值。
  • 请求被发送到 rpc_queue队列。
  • RPC工作程序(服务端)正在等待该队列上的请求。当请求出现时,它就会开始工作并使用replyTo字段中的队列将结果发送回客户端。
  • 客户端等待回调队列中的数据。当消息出现时会检查correlationId属性,如果它与请求中的值匹配则会将响应返回给应用程序。

完整的代码

RPC服务端代码:https://github.com/rabbitmq/rabbitmq-tutorials/blob/master/java/RPCServer.java

import com.rabbitmq.client.*;

public class RPCServer {

    private static final String RPC_QUEUE_NAME = "rpc_queue";

    // 斐波那契函数
    private static int fib(int n) {
        if (n == 0) return 0;
        if (n == 1) return 1;
        return fib(n - 1) + fib(n - 2);
    }

    public static void main(String[] argv) throws Exception {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");

        // 建立连接并声明队列
        try (Connection connection = factory.newConnection();
            Channel channel = connection.createChannel()) {
            channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
            channel.queuePurge(RPC_QUEUE_NAME);

            // 由于我们可能要运行多个服务端进程,为了将负载平均分配到多个服务器,需要设置prefetchCount
            channel.basicQos(1);

            System.out.println(" [x] Awaiting RPC requests");

            Object monitor = new Object();
            // 回调队列
            DeliverCallback deliverCallback = (consumerTag, delivery) -> {
                AMQP.BasicProperties replyProps = new AMQP.BasicProperties
                        .Builder()
                        .correlationId(delivery.getProperties().getCorrelationId())
                        .build();

                String response = "";

                try {
                    String message = new String(delivery.getBody(), "UTF-8");
                    int n = Integer.parseInt(message);

                    System.out.println(" [.] fib(" + message + ")");
                    response += fib(n);
                } catch (RuntimeException e) {
                    System.out.println(" [.] " + e.toString());
                } finally {
                    channel.basicPublish("", delivery.getProperties().getReplyTo(), replyProps, response.getBytes("UTF-8"));
                    channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
                    // RabbitMq consumer worker thread notifies the RPC server owner thread
                    synchronized (monitor) {
                        monitor.notify();
                    }
                }
            };

            // 使用basicConsume访问队列
            channel.basicConsume(RPC_QUEUE_NAME, false, deliverCallback, (consumerTag -> { }));
            // Wait and be prepared to consume the message from RPC client.
            while (true) {
                synchronized (monitor) {
                    try {
                        monitor.wait();
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
            }
        }
    }
}

RPC客户端代码:https://github.com/rabbitmq/rabbitmq-tutorials/blob/master/java/RPCClient.java

import com.rabbitmq.client.AMQP;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.Connection;
import com.rabbitmq.client.ConnectionFactory;

import java.io.IOException;
import java.util.UUID;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.TimeoutException;

public class RPCClient implements AutoCloseable {

    private Connection connection;
    private Channel channel;
    private String requestQueueName = "rpc_queue";

    // 建立连接和通道
    public RPCClient() throws IOException, TimeoutException {
        ConnectionFactory factory = new ConnectionFactory();
        factory.setHost("localhost");

        connection = factory.newConnection();
        channel = connection.createChannel();
    }

    public static void main(String[] argv) {
        // 循环发送客户端请求
        try (RPCClient fibonacciRpc = new RPCClient()) {
            for (int i = 0; i < 32; i++) {
                String i_str = Integer.toString(i);
                System.out.println(" [x] Requesting fib(" + i_str + ")");
                String response = fibonacciRpc.call(i_str);
                System.out.println(" [.] Got '" + response + "'");
            }
        } catch (IOException | TimeoutException | InterruptedException e) {
            e.printStackTrace();
        }
    }

    // 该方法发出实际的RPC请求
    public String call(String message) throws IOException, InterruptedException {
        // 唯一标识--接收回调消息时使用该值进行匹配
        final String corrId = UUID.randomUUID().toString();

        // 创建一个专用的排他队列并订阅它
        String replyQueueName = channel.queueDeclare().getQueue();
        AMQP.BasicProperties props = new AMQP.BasicProperties
                .Builder()
                .correlationId(corrId)
                .replyTo(replyQueueName)
                .build();

        // 发布具有两个属性(correlationId和replyTo)的请求消息
        channel.basicPublish("", requestQueueName, props, message.getBytes("UTF-8"));

        // 因为我们的消费者交付处理是在一个单独的线程中进行的,所以我们需要在响应到达之前挂起主线程(main)。
        // 使用BlockingQueue是一种可能的解决方案。这里我们创建的ArrayBlockingQueue的容量设置为1,因为我们只需要等待一个响应。
        final BlockingQueue<String> response = new ArrayBlockingQueue<>(1);

        // 消费者的工作很简单,对于每一个响应消息,它都会检查correlationId 是否为我们要寻找的消息。
        // 如果是就将响应放入BlockingQueue
        String ctag = channel.basicConsume(replyQueueName, true, (consumerTag, delivery) -> {
            if (delivery.getProperties().getCorrelationId().equals(corrId)) {
                response.offer(new String(delivery.getBody(), "UTF-8"));
            }
        }, consumerTag -> {
        });

        String result = response.take();
        channel.basicCancel(ctag);
        return result;
    }

    public void close() throws IOException {
        connection.close();
    }
}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,734评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,931评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,133评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,532评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,585评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,462评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,262评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,153评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,587评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,792评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,919评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,635评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,237评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,855评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,983评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,048评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,864评论 2 354