RabbitMQ——如何保证消息发送的可靠性

[TOC]

一、RabbitMQ消息发送机制

消息由生产者生产,首先并发送到交换机(Exchange),然后由交换机根据指定的路由规则将消息路由到不同的队列(Queue)中。最后由不同的消费者去消费处理。

RabbitMQ

根据RabbitMQ的机制分析,想要确保消息发送的可靠性,需要保证两个方面:

  • 确认消息到达交换机,publish
  • 确认消息到达队列,routes

这两步如果全成功了,说明消息已经成功发送;任何一步出现问题,消息就没发送成功。

二、方案1: 开启事务机制

在SpringBoot项目中可以通过开启RabbitMQ事务机制的方式解决,具体操作如下。

  1. 提供一个事物管理器

    @Bean
    RabbitTransactionManager transactionManager(ConnectionFactory connectionFactory) {
        return new RabbitTransactionManager(connectionFactory);
    }
    
  2. 生产者上添加事务注解并设置通信信道为事务模式

    @Service
    public class MsgService {
        @Autowired
        RabbitTemplate rabbitTemplate;
    
        // 添加事务注解
        @Transactional
        public void send() {
            // 开启事务模式
            rabbitTemplate.setChannelTransacted(true);
            rabbitTemplate.convertAndSend("ecchange", "queue", "Hello World!");
            throw new RuntimeException();
        }
    }
    

开启事务模式以后,RabbitMQ生产者发送消息要经过如下4步:

  1. 客户端请求,将信道设置为事务模式;
  2. 服务端响应,设置完成;
  3. 客户端发送消息;
  4. 客户端提交事务;
  5. 服务端响应,确认事务提交。

正常情况我们发送消息只需要第三步,可以看出上面的步骤比较复杂,所以事务模式效率不是很高。

三、方案2: 发送方确认

添加配置,启用发送方确认。注意,发送方确认和事务不能同时存在,会报错。

spring:
  rabbitmq:
    # 消息到达交换器确认回调
    publisher-confirm-type: correlated
    # 消息到达队列回调
    publisher-returns: true

publisher-confirm-type枚举如下:

public enum ConfirmType {

  /**
    * Use {@code RabbitTemplate#waitForConfirms()} (or {@code waitForConfirmsOrDie()}
    * within scoped operations.
    */
    SIMPLE,

    /**
  * Use with {@code CorrelationData} to correlate confirmations with sent
  * messsages.
  */
    CORRELATED,

  /**
    * Publisher confirms are disabled (default).
    */
    NONE

}

配置监听,实现回调

@Slf4j
@Configuration
public class RabbitConfig implements RabbitTemplate.ConfirmCallback, RabbitTemplate.ReturnCallback {
    public static final String EXCHANGE_NAME = "exchange_name";
    public static final String QUEUE_NAME = "queue.name";
    @Autowired
    RabbitTemplate rabbitTemplate;

    @Bean
    Queue queue() {
        return new Queue(QUEUE_NAME);
    }

    @Bean
    DirectExchange directExchange() {
        return new DirectExchange(EXCHANGE_NAME);
    }

    @Bean
    Binding binding() {
        return BindingBuilder.bind(queue()).to(directExchange()).with(QUEUE_NAME);
    }

    @PostConstruct
    public void initRabbitTemplate() {
        rabbitTemplate.setConfirmCallback(this);
        rabbitTemplate.setReturnCallback(this);
    }

    /**
     * Confirmation callback.
     *
     * @param correlationData correlation data for the callback.
     * @param ack             true for ack, false for nack
     * @param cause           An optional cause, for nack, when available, otherwise null.
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        if (ack) {
            log.info("{}:消息成功到达交换器", correlationData.getId());
        } else {
            log.error("{}:消息发送失败", correlationData.getId());
        }
    }


    /**
     * Returned message callback.
     *
     * @param message    the returned message.
     * @param replyCode  the reply code.
     * @param replyText  the reply text.
     * @param exchange   the exchange.
     * @param routingKey the routing key.
     */
    @Override
    public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
        log.error("{}:消息未成功路由到队列", message.getMessageProperties().getMessageId());

    }
}

三、方案3: 失败重试

失败重试分两种情况,没链接上mq的链接重试和链接上了发送失败的发送重试。

1. 链接重试

利用Spring Boot自带的重试机制,直接通过配置开启即可:

spring:
  rabbitmq:
    template:
      retry:
        enabled: true #开启重试机制
        initial-interval: 1000ms #重试起始时间间隔
        max-attempts: 10 #最大重试次数
        max-interval: 10000ms #最大重试时间间隔
        multiplier: 2 #时间间隔系数

配置完以后,当MQ链接断开后,Spring会进行retry连接。retry时间间隔为起始时间间隔*系数

2. 发送重试

发送重试主要针对的是消息没有到达交换器。总体思路就是:利用消息确认机制,当消息没有到达交换器时,就会走失败回调,在回调方法中进行相应的业务补偿处理即可。

利用数据库存储发送的消息记录,创建数据表,大致字段内容如下:

字段名 字段类型 字段是否为空 默认值 备注
id bigint(20) unsigned N 主键,消息id
content text N 消息内容
state tinyint(1) N 状态:0-发送中,1-成功,2-失败
route_key varchar(255) N 路由key
exchange varcher(255) N 交换机
count tinyint N 重试次数
try_time datetime N 重试时间
create_time datetime N CURRENT_TIMESTAMP 创建时间
update_time datetime N CURRENT_TIMESTAMP 更新时间
del_flag tinyint(1) N 逻辑删除

操作步骤如下:

  1. 消息发送前,向表中插入消息发送记录,状态为0,try_time根据实际情况设置即可。
  2. 在confirm回调方法中,收到发送成功的回调,则将该消息的状态修改为1。
  3. 通过定时job扫描发送记录,筛选出状态为0,并且过了重试时间的消息,重新发送。重试次数根据实际情况判断。

注意,在发送的时候会出现重复发送的情况,所以在消费的时候需要做好幂等。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,194评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,058评论 2 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,780评论 0 346
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,388评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,430评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,764评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,907评论 3 406
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,679评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,122评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,459评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,605评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,270评论 4 329
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,867评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,734评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,961评论 1 265
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,297评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,472评论 2 348

推荐阅读更多精彩内容