RocketMQ:消息发送与消费

在此之前,我们已经介绍过《RocketMQ:快速入门》《RocketMQ:搭建集群》
。现在我们已经准备好RocketMQ的环境了,接下来就是通过实战去演示RocketMQ中各种消息类型的生产和消费了。

1. 开发环境

(1)引入RocketMQ客户端依赖

<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.4.0</version>
</dependency>

(2)生产和消费步骤分析

  • 消息生产者
1.创建消息生产者producer,并指定生产者组名
2.指定Nameserver地址
3.启动producer
4.创建消息对象,指定主题Topic、Tag和消息体
5.发送消息
6.关闭生产者producer
  • 消息消费者
1.创建消费者Consumer,制定消费者组名
2.指定Nameserver地址
3.订阅主题Topic和Tag
4.设置回调函数,处理消息
5.启动消费者consumer

2. 基本样例

2.2 消息发送

2.2.1 发送同步消息

这种可靠性同步地发送方式使用的比较广泛,比如:重要的消息通知,短信通知。

public class SyncProducer {

    public static void main(String[] args) throws Exception {
        // 1.创建消息生产者producer,并指定生产者组名
        DefaultMQProducer producer = new DefaultMQProducer("base-sync-producer");
        // 2.指定NameServer地址
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.启动producer
        producer.start();
        // 4.创建消息对象,指定topic、tag和消息体
        Message message = new Message("TestTopic", "TagA", "Hello World!".getBytes());
        // 5.发送消息
        SendResult sendResult = producer.send(message);
        System.out.printf("%s%n", sendResult);
        // 6.关闭生产者
        producer.shutdown();
    }
}

2.2.2 发送异步消息

异步消息通常用在对响应时间敏感的业务场景,即发送端不能容忍长时间地等待Broker的响应。

public class AsyncProducer {

    public static void main(String[] args) throws Exception {
        // 1.实例化消息生产者Producer
        DefaultMQProducer producer = new DefaultMQProducer("base-async-producer");
        // 2.设置NameServer的地址
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.启动Producer实例
        producer.start();
        // 异步发送失败时,重试次数。默认为2
        producer.setRetryTimesWhenSendAsyncFailed(0);
        for (int i = 0; i < 10; i++) {
            final int index = i;
            // 4.创建消息,并指定Topic,Tag和消息体
            Message msg = new Message("TestTopic",
                    "TagA",
                    "OrderID188",
                    "Hello World!".getBytes(RemotingHelper.DEFAULT_CHARSET));
            // 5.SendCallback接收异步返回结果的回调
            producer.send(msg, new SendCallback() {
                @Override
                public void onSuccess(SendResult sendResult) {
                    System.out.printf("%-10d OK %s %n", index,
                            sendResult.getMsgId());
                }

                @Override
                public void onException(Throwable e) {
                    System.out.printf("%-10d Exception %s %n", index, e);
                    e.printStackTrace();
                }
            });
        }
        // 休眠一分钟,否则当producer关闭时,无法接收mq的异步回调结果
        TimeUnit.MINUTES.sleep(1);
        // 6.如果不再发送消息,关闭Producer实例。
        producer.shutdown();
    }
}

2.2.3 发送单向消息

这种方式主要用在不特别关心发送结果的场景,例如日志发送。

public class OnewayProducer {

    public static void main(String[] args) throws Exception {
        // 1.实例化消息生产者Producer
        DefaultMQProducer producer = new DefaultMQProducer("base-oneway-producer");
        // 2.设置NameServer的地址
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.启动Producer实例
        producer.start();
        for (int i = 0; i < 5; i++) {
            // 4.创建消息,并指定Topic,Tag和消息体
            Message msg = new Message("TestTopic",
                    "TagA",
                    ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET) 
            );
            // 5.发送单向消息,没有任何返回结果
            producer.sendOneway(msg);
        }
        // 6.如果不再发送消息,关闭Producer实例。
        producer.shutdown();
    }
}

2.2 消费消息

2.2.1 负载均衡模式

消费者采用负载均衡方式消费消息,多个消费者共同消费队列消息,每个消费者处理的消息不同。

public class Consumer {

    public static void main(String[] args) throws Exception {
        // 1.实例化消息生产者,指定组名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
        // 2.指定NameServer地址信息.
        consumer.setNamesrvAddr("192.168.1.17:9876");
        // 3.订阅Topic
        consumer.subscribe("TestTopic", "*");
        // 4.负载均衡模式消费(默认就是负载均衡模式)
        consumer.setMessageModel(MessageModel.CLUSTERING);
        // 5.注册回调函数,处理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                            ConsumeConcurrentlyContext context) {
                System.out.printf("%s Receive New Messages: %s %n",
                        Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        // 6.启动消息者
        consumer.start();
    }
}

2.2.2 广播模式

消费者采用广播的方式消费消息,每个消费者消费的消息都是相同的。

public class Consumer {

    public static void main(String[] args) throws Exception {
        // 1.实例化消息生产者,指定组名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
        // 2.指定NameServer地址信息.
        consumer.setNamesrvAddr("192.168.1.17:9876");
        // 3.订阅Topic
        consumer.subscribe("TestTopic", "*");
        // 4.广播模式消费(默认负载均衡模式)
        consumer.setMessageModel(MessageModel.BROADCASTING);
        // 5.注册回调函数,处理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                            ConsumeConcurrentlyContext context) {
                System.out.printf("%s Receive New Messages: %s %n",
                        Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        // 6.启动消息者
        consumer.start();
    }
}

注意:以下只会将关键的代码附上,大家阅读过程中知道以下几个对象名称就知道怎么使用了。比如:producer:表示生产者;consumer:表示消费者;message:表示消息。

3. 顺序消息

消息有序指的是可以按照消息的发送顺序来消费(FIFO)。RocketMQ可以严格的保证消息有序,可以分为分区有序或者全局有序。

顺序消费的原理解析:在默认的情况下消息发送会采取Round Robin轮询方式把消息发送到不同的queue(分区队列),而消费消息的时候从多个queue上拉取消息,这种情况发送和消费是不能保证顺序。但是如果控制发送的顺序消息只依次发送到同一个queue中,消费的时候只从这个queue上依次拉取,则就保证了顺序。当发送和消费参与的queue只有一个,则是全局有序;如果多个queue参与,则为分区有序,即相对每个queue,消息都是有序的。

3.1 发送顺序消息

下面演示消息入队列的片段代码:

/**
 * 参数一:消息对象
 * 参数二:消息队列选择器
 * 参数三:选择队列的业务标识
 */
SendResult sendResult = producer.send(message, new MessageQueueSelector() {
    /**
     * 消息队列选择回调方法
     * @param mqs 消息队列集合
     * @param msg 消息
     * @param arg 业务标识,也就是order.getId()
     * @return
     */
    @Override
    public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
        Long id = (Long) arg;  //根据订单id选择发送queue
        long index = id % mqs.size();
        return mqs.get((int) index);
    }
}, order.getId());

3.2 消费顺序消息

消费顺序消息,RocketMQ会保证每个队列只有唯一一个consumer线程来消费,这样就保证了消息的分区有序。

consumer.registerMessageListener(new MessageListenerOrderly() {
    @Override
    public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
        context.setAutoCommit(true);
        for (MessageExt msg : msgs) {
            // 可以看到每个queue有唯一的consume线程来消费, 订单对每个queue(分区)有序
            System.out.println("consumeThread=" + Thread.currentThread().getName() + ",queueId=" + msg.getQueueId() + ", content:" + new String(msg.getBody()));
        }
        return ConsumeOrderlyStatus.SUCCESS;
    }
});

4. 延时消息

延时消息通常用于在某个时间段后去投递并消费消息。比如我们平时买火车票,提交订单后有半小时的支付时间,此时在提交订单时就有一条延时消息,半小时后去检查这个订单的状态,如果还是未付款就取消订单。

4.1 发送延时消息

发送延时消息很简单,只需要设置消息对象的延迟级别,比如:

// 设置消息延迟级别为3,即延迟10s
message.setDelayTimeLevel(3);

默认的延迟级别:1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h,共18个级别。

4.2 消费延时消息

消费端不需要做任何的特殊处理,比如:

consumer.registerMessageListener(new MessageListenerConcurrently() {
    @Override
    public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                    ConsumeConcurrentlyContext context) {
        System.out.printf("%s Receive New Messages: %s %n",
                          Thread.currentThread().getName(), msgs);
        return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
    }
});

5. 批量消息

批量发送消息能显著提高传递小消息的性能。限制是这些批量消息应该有相同的topic,相同的waitStoreMsgOK,而且不能是延时消息。此外,默认情况下这一批消息的总大小不应超过4MB。

5.1 发送批量消息

如果我们每次只发送不超过4MB的消息,则很容易使用批处理,样例如下:

// 创建消息对象,指定topic、tag和消息体
List<Message> messages = new ArrayList<>();
messages.add(new Message(topic, "TagA", "Hello World 0".getBytes()));
messages.add(new Message(topic, "TagB", "Hello World 1".getBytes()));
messages.add(new Message(topic, "TagC", "Hello World 2".getBytes()));
// 发送消息
SendResult sendResult = producer.send(messages);
System.out.printf("%s%n", sendResult);

如果消息的总大小可能大于4MB时,最好把消息进行分割:

public class ListSplitter implements Iterator<List<Message>> {
    private final int SIZE_LIMIT = 1024 * 1024 * 4;
    private final List<Message> messages;
    private int currIndex;

    public ListSplitter(List<Message> messages) {
        this.messages = messages;
    }

    @Override
    public boolean hasNext() {
        return currIndex < messages.size();
    }

    @Override
    public List<Message> next() {
        int nextIndex = currIndex;
        int totalSize = 0;
        for (; nextIndex < messages.size(); nextIndex++) {
            Message message = messages.get(nextIndex);
            int tmpSize = message.getTopic().length() + message.getBody().length;
            Map<String, String> properties = message.getProperties();
            for (Map.Entry<String, String> entry : properties.entrySet()) {
                tmpSize += entry.getKey().length() + entry.getValue().length();
            }
            tmpSize = tmpSize + 20; // 增加日志的开销20字节
            if (tmpSize > SIZE_LIMIT) {
                //单个消息超过了最大的限制
                //忽略,否则会阻塞分裂的进程
                if (nextIndex - currIndex == 0) {
                    //假如下一个子列表没有元素,则添加这个子列表然后退出循环,否则只是退出循环
                    nextIndex++;
                }
                break;
            }
            if (tmpSize + totalSize > SIZE_LIMIT) {
                break;
            } else {
                totalSize += tmpSize;
            }

        }
        List<Message> subList = messages.subList(currIndex, nextIndex);
        currIndex = nextIndex;
        return subList;
    }
}

使用:

//把大的消息分裂成若干个小的消息
ListSplitter splitter = new ListSplitter(messages);
while (splitter.hasNext()) {
  try {
      List<Message>  listItem = splitter.next();
      producer.send(listItem);
  } catch (Exception e) {
      e.printStackTrace();
      //处理error
  }
}

6. 过滤消息

在大多数情况下,TAG是一个简单而有用的设计,其可以来选择您想要的消息。例如:

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampeConsumerGroup");
consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");

消费者将接收包含TAGA或TAGB或TAGC的消息。但是限制是一个消息只能有一个标签,这对于复杂的场景可能不起作用。在这种情况下,可以使用SQL表达式筛选消息。SQL特性可以通过发送消息时的属性来进行计算。在RocketMQ定义的语法下,可以实现一些简单的逻辑。下面是一个例子:

------------
| message  |
|----------|  a > 5 AND b = 'abc'
| a = 10   |  --------------------> Gotten
| b = 'abc'|
| c = true |
------------
------------
| message  |
|----------|   a > 5 AND b = 'abc'
| a = 1    |  --------------------> Missed
| b = 'abc'|
| c = true |
------------

6.1 SQL基本语法

RocketMQ只定义了一些基本语法来支持这个特性。你也可以很容易地扩展它。

  • 数值比较,比如:>,>=,<,<=,BETWEEN,=;
  • 字符比较,比如:=,<>,IN;
  • IS NULL 或者 IS NOT NULL;
  • 逻辑符号 AND,OR,NOT;

常量支持类型为:

  • 数值,比如:123,3.1415;
  • 字符,比如:'abc',必须用单引号包裹起来;
  • NULL,特殊的常量
  • 布尔值,TRUEFALSE

只有使用push模式的消费者才能用使用SQL92标准的sql语句,接口如下:

public void subscribe(finalString topic, final MessageSelector messageSelector)

6.1 消息生产者

发送消息时,我们可以通过putUserProperty来设置消息的属性。

for (int i = 0; i < 10; i++) {
    // 创建消息对象,指定topic、tag和消息体
    Message messages = new Message("TestTopic", ("Hello, this is filter msg body! My index is :" + i).getBytes());
    messages.putUserProperty("index", String.valueOf(i));
    // 发送消息
    SendResult sendResult = producer.send(messages);
    System.out.printf("%s%n", sendResult);
}

6.2 消息消费者

MessageSelector.bySql来使用sql筛选消息。

// 订阅Topic,且只有订阅的消息有这个index属性, index >=0 and index <= 3
consumer.subscribe("TestTopic", MessageSelector.bySql("index between 0 and 3"));

需要注意的是,使用MessageSelector.bySql时,需要在broker.conf中配置enablePropertyFilter=true,否则会报如下错误:

# org.apache.rocketmq.broker.processor.ClientManageProcessor.checkClientConfig()
The broker does not support consumer to filter message by SQL92

7. 事务消息

7.1 流程分析

事务消息的大致方案,其中分为两个流程:正常事务消息的发送及提交、事务消息的补偿流程。

7.1.1 事务消息发送及提交

(1) 发送消息(half消息)。

(2) 服务端响应消息写入结果。

(3) 根据发送结果执行本地事务(如果写入失败,此时half消息对业务不可见,本地逻辑不执行)。

(4) 根据本地事务状态执行Commit或者Rollback(Commit操作生成消息索引,消息对消费者可见)。

7.1.2 事务补偿

(1) 对没有Commit/Rollback的事务消息(pending状态的消息),从服务端发起一次“回查”。

(2) Producer收到回查消息,检查回查消息对应的本地事务的状态。

(3) 根据本地事务状态,重新Commit或者Rollback。

其中,补偿阶段用于解决消息Commit或者Rollback发生超时或者失败的情况。

7.1.3 事务消息状态

事务消息共有三种状态,提交状态、回滚状态、中间状态:

  • TransactionStatus.CommitTransaction: 提交事务,它允许消费者消费此消息。
  • TransactionStatus.RollbackTransaction: 回滚事务,它代表该消息将被删除,不允许被消费。
  • TransactionStatus.Unknown: 中间状态,它代表需要检查消息队列来确定状态。

7.2 发送事务消息

7.2.1 创建事务性生产者

使用 TransactionMQProducer类创建生产者,并指定唯一的 ProducerGroup,就可以设置自定义线程池来处理这些检查请求。执行本地事务后、需要根据执行结果对消息队列进行回复。

public class TransactionMsgProducer {

    public static void main(String[] args) throws MQClientException, InterruptedException {
        // 1.创建事务监听器
        TransactionListener transactionListener = new TransactionListenerImpl();
        // 2.创建消息生产者
        TransactionMQProducer producer = new TransactionMQProducer("ExampleProducerGroup");
        producer.setNamesrvAddr("192.168.1.17:9876");
        // 3.设置事务监听器
        producer.setTransactionListener(transactionListener);
        // 4.启动消息生产者
        producer.start();
        String[] tags = new String[]{"TagA", "TagB", "TagC"};
        for (int i = 0; i < 3; i++) {
            try {
                Message msg = new Message("TransactionTopic", tags[i % tags.length], "KEY" + i,
                        ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
                SendResult sendResult = producer.sendMessageInTransaction(msg, null);
                System.out.printf("%s%n", sendResult);
                TimeUnit.SECONDS.sleep(1);
            } catch (MQClientException | UnsupportedEncodingException e) {
                e.printStackTrace();
            }
        }
        // 5.关闭
        producer.shutdown();
    }
}

7.2.2 实现事务的监听接口

当发送半消息成功时,我们使用 executeLocalTransaction 方法来执行本地事务。它返回前一节中提到的三个事务状态之一。checkLocalTranscation 方法用于检查本地事务状态,并回应消息队列的检查请求。它也是返回前一节中提到的三个事务状态之一。

public class TransactionListenerImpl implements TransactionListener {

    @Override
    public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
        System.out.println("执行本地事务");
        if (StringUtils.equals("TagA", msg.getTags())) {
            return LocalTransactionState.COMMIT_MESSAGE;
        } else if (StringUtils.equals("TagB", msg.getTags())) {
            return LocalTransactionState.ROLLBACK_MESSAGE;
        } else {
            return LocalTransactionState.UNKNOW;
        }

    }

    @Override
    public LocalTransactionState checkLocalTransaction(MessageExt msg) {
        System.out.println("MQ检查消息Tag【" + msg.getTags() + "】的本地事务执行结果");
        return LocalTransactionState.COMMIT_MESSAGE;
    }
}

7.2.3 使用限制

  1. 事务消息不支持延时消息和批量消息。
  2. 为了避免单个消息被检查太多次而导致半队列消息累积,我们默认将单个消息的检查次数限制为 15 次,但是用户可以通过 Broker 配置文件的 transactionCheckMax参数来修改此限制。如果已经检查某条消息超过 N 次的话( N = transactionCheckMax ) 则 Broker 将丢弃此消息,并在默认情况下同时打印错误日志。用户可以通过重写 AbstractTransactionCheckListener 类来修改这个行为。
  3. 事务消息将在 Broker 配置文件中的参数 transactionMsgTimeout 这样的特定时间长度之后被检查。当发送事务消息时,用户还可以通过设置用户属性 CHECK_IMMUNITY_TIME_IN_SECONDS 来改变这个限制,该参数优先于 transactionMsgTimeout 参数。
  4. 事务性消息可能不止一次被检查或消费。
  5. 提交给用户的目标主题消息可能会失败,目前这依日志的记录而定。它的高可用性通过 RocketMQ 本身的高可用性机制来保证,如果希望确保事务消息不丢失、并且事务完整性得到保证,建议使用同步的双重写入机制。
  6. 事务消息的生产者 ID 不能与其他类型消息的生产者 ID 共享。与其他类型的消息不同,事务消息允许反向查询、MQ服务器能通过它们的生产者 ID 查询到消费者。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345