springboot集成rabbitmq商品秒杀业务实战(流量削峰)

消息队列如何实现流量削峰?

要对流量进行削峰,最容易想到的解决方案就是用消息队列来缓冲瞬时流量,把同步的直接调用转换成异步的间接推送,中间通过一个队列在一端承接瞬时的流量洪峰,在另一端平滑地将消息推送出去。

image

这里就不讲springbootrabbitmq如何集成了,参考文章https://www.cnblogs.com/fantongxue/p/12493497.html

一,准备工作:

数据库有一张商品表,库存量是100。现在有1000个消费者准备开抢这100个库存。
t_product表维护商品编号与商品库存剩余数量。编号No123321的这种商品的库存量有100个。

image

t_product_record维护抢到商品的用户ID。理论上t_product表开抢后的 记录数量应该是100条(共有100个人抢到了商品)。

image

我们使用压力测试工具jweter对其进行并发性测试。

二,springboot开始集成rabbitmq

1,加入amqp的依赖

        <dependency>
            <groupId>org.springframework.amqp</groupId>
            <artifactId>spring-rabbit</artifactId>
        </dependency>

2,配置application.yml配置文件

spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf-8&useSSL=true&serverTimezone=UTC
    username: root
    password: 1234

  rabbitmq:
    host: 101.201.101.206
    username: guest
    password: guest
    publisher-confirms: true  # 开启Rabbitmq发送消息确认机制,发送消息到队列并触发回调方法
    publisher-returns: true
    listener:
      simple:
        concurrency: 10 #消费者数量
        max-concurrency: 10 #最大消费者数量
        prefetch: 1 #限流(消费者每次从队列获取的消息数量)
        auto-startup: true  #启动时自动启动容器
        acknowledge-mode: manual #开启ACK手动确认模式

3,RabbitConfig配置类

1, 定义消息转换实例 ,转化成 JSON传输
2 , 配置启用rabbitmq事务

package com.aaa.springredis.controller;

import org.springframework.amqp.rabbit.connection.CachingConnectionFactory;
import org.springframework.amqp.rabbit.transaction.RabbitTransactionManager;
import org.springframework.amqp.support.converter.Jackson2JsonMessageConverter;
import org.springframework.amqp.support.converter.MessageConverter;
import org.springframework.context.annotation.Bean;
import org.springframework.stereotype.Component;

@Component
public class RabbitConfig {

    /**
     * 定义消息转换实例 ,转化成 JSON传输
     *
     * @return Jackson2JsonMessageConverter
     */
    @Bean
    public MessageConverter integrationEventMessageConverter() {
        return new Jackson2JsonMessageConverter();
    }

    /**
     * 配置启用rabbitmq事务
     *
     * @param connectionFactory connectionFactory
     * @return RabbitTransactionManager
     */
    @Bean
    public RabbitTransactionManager rabbitTransactionManager(CachingConnectionFactory connectionFactory) {
        return new RabbitTransactionManager(connectionFactory);
    }
}

4,初始化rabbitmq的回调函数

说明:被@PostConstruct修饰的方法会在服务器加载Servlet的时候运行,并且只会被服务器执行一次。如果想在生成对象时完成某些初始化操作,而偏偏这些初始化操作又依赖于依赖注入,那么久无法在构造函数中实现。为此,可以使用@PostConstruct注解一个方法来完成初始化,@PostConstruct注解的方法将会在依赖注入完成后被自动调用。</font>

回调函数的使用前提是配置文件中开启了rabitmq消息确认机制

image

Constructor >> @Autowired >> @PostConstruct

      @Autowired
        RabbitTemplate rabbitTemplate;

    private static final Logger LOGGER = LoggerFactory.getLogger(RabbitController.class);

    @PostConstruct
    private void init(){
        /**
         * 消息发送到交换器Exchange后触发回调。
         * 使用该功能需要开启确认,spring-boot中配置如下:
         * spring.rabbitmq.publisher-confirms = true
         */
    rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
        @Override
        public void confirm(CorrelationData correlationData, boolean b, String s) {
            if (b) {
                System.out.println("消息已确认 cause:{"+s+"} - {"+correlationData+"}");
            } else {
                System.out.println("消息未确认 cause:{"+s+"} - {"+correlationData+"}");
            }
        }
    });
        /**
         * 通过实现ReturnCallback接口,
         * 如果消息从交换器发送到对应队列失败时触发
         * 比如根据发送消息时指定的routingKey找不到队列时会触发
         * 使用该功能需要开启确认,spring-boot中配置如下:
         * spring.rabbitmq.publisher-returns = true
         */
        rabbitTemplate.setReturnCallback(new RabbitTemplate.ReturnCallback() {
            @Override
            public void returnedMessage(Message message, int replyCode, String replyText, String exchange, String routingKey) {
                LOGGER.error("消息被退回:{}", message);
                LOGGER.error("消息使用的交换机:{}", exchange);
                LOGGER.error("消息使用的路由键:{}", routingKey);
                LOGGER.error("描述:{}", replyText);
            }
        });
    }

三,开始测试

1,写抢单测试类

写抢单测试类,我们使用jweter压力测试工具开启1000个线程进行测试(开启多线程并发测试),所以为了区别每一个模拟的用户,使用userId累加的方式进行区分。

        private int userId=0;
        //开始抢单
        @RequestMapping("/begin")
        @ResponseBody
        public void begin(){
           userId++;
           this.send(userId);
        }

而上面的send方法就是把接收到的用户请求发送到rabbitmq消息中间件中。

        @RequestMapping("/send")
        @ResponseBody
        public String send(Integer messge){
                //第一个参数:交换机名字  第二个参数:Routing Key的值  第三个参数:传递的消息对象
                rabbitTemplate.convertAndSend("test.direct","test",messge);
                return "发送消息成功";
        }

2,配置rabbitmq监听方法

rabbitmq监听上篇文章也说过了,作用就是监听指定队列中收到来自交换机的消息,来一条收一条,收完为止!
通过ACK 确认是否被正确接收,每个Message都要被确认,可以手动去 ACK或自动ACK,如果信息消费失败的话会拒绝当前消息,并把消息返回原队列。

从队列中收到用户的userId,然后进行购买商品模拟操作(减少一个库存,新增一条购买记录)

    @Autowired
    RabbitController controller;

    /**
     * @RabbitListener 可以标注在类上面,需配合 @RabbitHandler 注解一起使用
     * @RabbitListener 标注在类上面表示当有收到消息的时候,就交给 @RabbitHandler 的方法处理,具体使用哪个方法处理,
     * 根据 MessageConverter 转换后的参数类型
     *
     * 使用 @Payload 和 @Headers 注解可以消息中的 body 与 headers 信息
     *
     * 通过 ACK 确认是否被正确接收,每个 Message 都要被确认(acknowledged),可以手动去 ACK 或自动 ACK
     */
    @RabbitListener(queues = "test") //指定监听的队列名
    public void receiver(@Payload Integer userId, @Headers Channel channel, Message message) throws IOException {
        LOGGER.info("用户{}开始抢单", userId);
        try {
            //处理消息
            controller.robbingProduct(userId);
//             确认消息已经消费成功
            channel.basicAck(message.getMessageProperties().getDeliveryTag(), false);
        } catch (Exception e) {
            LOGGER.error("消费处理异常:{} - {}", userId, e);
//             拒绝当前消息,并把消息返回原队列
            channel.basicNack(message.getMessageProperties().getDeliveryTag(), false, true);
        }
    }

购买商品的方法

 public void robbingProduct(Integer userId){
                Product product = testDao.selectProductByNo("No123321");
                if (product != null && product.getTotal() > 0) {
                    //更新库存表,库存量减少1。返回1说明更新成功。返回0说明库存已经为0
                    int i = testDao.updateProduct("No123321");
                    if(i>0){
                        //插入记录
                        testDao.insertProductRecord(new ProductRecord("No123321", userId));
                        //发送短信
                        LOGGER.info("用户{}抢单成功", userId);
                    }else {
                        LOGGER.error("用户{}抢单失败", userId);
                    }
                } else {
                    LOGGER.error("用户{}抢单失败", userId);
                }

        }

3,jweter工具测试并发

jweter压力测试工具如何使用百度吧,这里忽略!
控制台打印

image
image

而数据库中的库存变成了0

image

购买记录中存放了抢单成功的用户id(100条记录)

image

当然,剩下的900个用户都抢单失败了!

rabbitmq队列是先进先出的顺序,先来后到,1000个请求你也得给我排队,前100个请求抢单成功之后就注定了后900个请求是抢单失败的!</font>

使用RabbitMQ的最主要变化就是:以前抢单操作请求直接由我们抢单应用程序执行,现在请求被转移到了RabbitMQ服务器中。RabbitMQ服务器把接收到的抢单请求进行排队,最后由RabbitMQ服务器把抢单请求转发到我们的抢单应用程序,这样的好处就是避免我们的抢单应用程序短时间直接处理大量请求。RabbitMQ服务器主要作用是减缓抢单应用程序的并发压力,相当于在我们的抢单程序之前加了一道请求缓冲区。</font>

实战结束!
工程地址:https://github.com/fantongxue666/rabbitmq-seckill

作者:本少爷来了
链接://www.greatytc.com/p/f5e28df429b8
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,525评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,203评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,862评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,728评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,743评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,590评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,330评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,244评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,693评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,885评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,001评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,723评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,343评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,919评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,042评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,191评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,955评论 2 355

推荐阅读更多精彩内容