动态数据源配置

解决思路:使用spring提供的AbstractRoutingDataSource结合AOP进行动态配置,ThreadLocal进行动态数据存储。


实现步骤:

  • 枚举类 DataSourceType:
    枚举多种数据源,与自定义注解配合使用
  • 自定义注解 DataSource:
    注解,配合AOP可进行无侵入的多数据源切换
  • 数据源切换处理 DynamicDataSourceContextHolder:
    维护了ThreadLocal对象,用于处理数据源切换
  • 多数据源配置 DynamicDataSource(核心):
    继承AbstractRoutingDataSource,Spring实现,详见解析
  • AOP切面 DataSourceAspect:
    配合注解实现无侵入的动态数据源切换
  • 多数据源配置 DruidConfiguration
    注入多数据源配置对象

ps:详见源码


使用方式

//在需要更改数据源的方法上加
@DataSource(value = DataSourceType.Slave)

运行原理

  • 多数据源初始化

    • application.yml中配置多数据源
    spring:
        datasource:
            type: com.zaxxer.hikari.HikariDataSource
            driver-class-name: com.mysql.cj.jdbc.Driver
            master:
                username: root
                password: 150512
                jdbc-url: jdbc:mysql://localhost:3306/cy?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true
                hikari:
                    minimum-idle: 5
                    maximum-pool-size: 15
                    auto-commit: true
                    idle-timeout: 30000
                    max-lifetime: 1800000
                    connection-timeout: 30000
            slave:
                enabled: true
                username: root
                password: 150512
                jdbc-url: jdbc:mysql://localhost:3306/yc?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true
                hikari:
                    minimum-idle: 5
                    maximum-pool-size: 15
                    auto-commit: true
                    idle-timeout: 30000
                    max-lifetime: 1800000
                connection-timeout: 30000
    
    • 将数据源配置从配置文件中读出,放入targetDataSources这个map中,注入ioc容器
    @Bean(name = "dynamicDataSource")
    @Primary
    public DynamicDataSource dataSource(){
    
        Map<Object, Object> targetDataSources = new HashMap<>();
    
        targetDataSources.put(DataSourceType.MASTER.name(), masterDataSource());
        targetDataSources.put(DataSourceType.SLAVE.name(), slaveDataSource());
    
        return new DynamicDataSource(masterDataSource(), targetDataSources);
    }
    
    • 初始化动态数据源
    public DynamicDataSource(DataSource defaultTargetDataSource, Map<Object, Object> targetDataSources){
    
        super.setDefaultTargetDataSource(defaultTargetDataSource);
    
        super.setTargetDataSources(targetDataSources);
    
        super.afterPropertiesSet();
    }
    
  • 在需要切换数据源的方法上添加注解

    @GetMapping("/testDs")
    @SwitchDataSource(value = DataSourceType.SLAVE)
    public Object testDs(){
    
        String sql="select id,username from user where id=?";
    
        RowMapper<User> rowMapper=new BeanPropertyRowMapper<>(User.class);
    
        User user = jdbcTemplate.queryForObject(sql, rowMapper,52);
    
        return user;
    }
    
  • 系统检测到注解,执行AOP方法,切换数据源

    @Pointcut(value = "@annotation(com.cy.freesql.datasource.SwitchDataSource)")
    public void dsPointCut(){}
    
    • 通过连接点获取注解
    @Around("dsPointCut()")
    public Object around(ProceedingJoinPoint point) throws Throwable{
    
        MethodSignature signature = (MethodSignature) point.getSignature();
    
        Method method = signature.getMethod();
    
        SwitchDataSource switchDataSource = method.getAnnotation(SwitchDataSource.class);
    
        if (null != switchDataSource) {
    
            DynamicDataSourceContextHolder.setDateSourceType(switchDataSource.value().name());
        }
    
        try {
            return point.proceed();
        }finally {
            //销毁数据源,在执行方法之后
            DynamicDataSourceContextHolder.clearDataSourceType();
        }
    }
    
    • 将ThreadLocal设为当前注解中枚举类的取值
    /*
    * 使用ThreadLocal维护变量,ThreadLocal为每个使用变量的线程提供独立的副本
    * 所以每个线程都可以独立的改变自己的副本,而不会影响其他线程所对应的副本
    * */
    private static final ThreadLocal<String> CONTEXT_HOLDER = new ThreadLocal<>();
    
    //设置数据源
    public static void setDateSourceType(String dsType){
    
        log.info("切换到{}数据源", dsType);
    
        CONTEXT_HOLDER.set(dsType);
    }
    
    • determineCurrentLookupKey()返回该值
    /*
    * 该方法返回需要使用的DataSource的key值
    * 然后根据这个key从resolveDataSource这个map里取出对应的DataSource
    * 若找不到,则用默认的resolvedDefaultDataSource
    * */
    @Override
    protected Object determineCurrentLookupKey() {
    
        return DynamicDataSourceContextHolder.getDataSourceType();
    }
    
    • Spring以该值为key,切换到对应的数据源
  • 在方法执行后,销毁数据源(切换回默认数据源)


Druid与Hikari

  • 连接池为Druid时,实现多数据源配置
    注意:注入数据源的过程中,DruidDataSourceBuilder只需要指定在bean上@ConfigurationProperties("spring.datasource.druid.master")即可从配置文件中装配
  • 连接池为Hikari时,实现多数据源配置
    (spring-boot-starter-jdbc默认使用)
    注意:Hikara并不能autoconfigure,显式的开启@ConfigurationProperties支持,需要在启动类上加@EnableConfigurationProperties(DataSourceProperties.class)注解

测试


注解

  1. @ConfigurationProperties注解:
    使用@EnableConfigurationProperties开启@ConfigurantionProperties注解的支持。使用该注解的bean可以通过标准方式注册到容器。
    @EnableConfigurationProperties只定义了一个value属性,用于设置一组使用了注解的@ConfigurationProperties的类,可以作为bean定义注册到容器中。
  2. @ConditionOnProperty注解:
    控制某个Configuration是否生效,通过name以及havingValue实现,其中name用来从application.yml中读取某个属性,若值为空,则返回false,若值不为空,则将该值与havingValue指定的值进行比较,如果一样返回true,否则返回false,若返回false,则该configuration不生效,true则生效

AbstractRoutingDataSource
Spring提供的动态数据源配置类,充当了DataSource的路由中介,能在运行时,根据某种key值动态切换到真正的DataSource上.

构造函数

    public DynamicDataSource(DataSource defaultTargetDataSource, Map<Object, Object> targetDataSources){

            super.setDefaultTargetDataSource(defaultTargetDataSource);

            super.setTargetDataSources(targetDataSources);

            super.afterPropertiesSet();
        }

targetDataSources目标数据源,存放多数据源

defaultTargetDataSource默认数据源,初始化、通过key未寻找到数据源、使用切换后数据源方法结束时会使用该数据源

在DataSourceConfiguration中,调用该构造方法,初始化DynamicDataSource后注入IOC容器

数据源解析

    @Override
    public void afterPropertiesSet() {

        if (this.targetDataSources == null) {
            throw new IllegalArgumentException("Property 'targetDataSources' is required");
        }

        this.resolvedDataSources = new HashMap<>(this.targetDataSources.size());

        this.targetDataSources.forEach((key, value) -> {
            Object lookupKey = resolveSpecifiedLookupKey(key);
            DataSource dataSource = resolveSpecifiedDataSource(value);
            this.resolvedDataSources.put(lookupKey, dataSource);
        });

        if (this.defaultTargetDataSource != null) {
            this.resolvedDefaultDataSource = resolveSpecifiedDataSource(this.defaultTargetDataSource);
        }
    }

将构造函数传入数据源解析后分别存为resolvedDataSources和defaultTargetDataSource

工作机制

  •   @Override
      public Connection getConnection() throws SQLException {
          return determineTargetDataSource().getConnection();
      }
    

    从determineTargetDataSource()中获取连接

  •   protected DataSource determineTargetDataSource() {
          
          Assert.notNull(this.resolvedDataSources, "DataSource router not initialized");
    
          Object lookupKey = determineCurrentLookupKey()
          DataSource dataSource = this.resolvedDataSources.get(lookupKey);
    
          if (dataSource == null && (this.lenientFallback || lookupKey == null)) {
              dataSource = this.resolvedDefaultDataSource;
          }
          if (dataSource == null) {
              throw new IllegalStateException("Cannot determine target DataSource for lookup key [" + lookupKey + "]");
          }
          return dataSource;
      }
    

    从determineCurrentLookupKey()中获取lookupKey,再去resolvedDataSources中根据lookupKey获取dataSource

    lenientFallback控制在通过lookupKey无法获取到dataSource时,是否使用默认数据源

  •   @Nullable
      protected abstract Object determineCurrentLookupKey();
    

    抽象方法,由实现类返回一个key

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,126评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,254评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 152,445评论 0 341
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,185评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,178评论 5 371
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,970评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,276评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,927评论 0 259
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,400评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,883评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,997评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,646评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,213评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,204评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,423评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,423评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,722评论 2 345

推荐阅读更多精彩内容