SpringBoot多資料來源的兩種實現方式範例

2022-04-18 13:01:17

前言

公司專案有連線多個不同資料庫的需求，特研究了一下，根據網上的資料，造了一個基於AOP方式的資料來源切換輪子，但繼續探索，突然發現有開源的多資料來源管理啟動器。不過，本篇兩種方式都會介紹。

基於dynamic-datasource實現多資料來源

dynamic-datasource介紹

dynamic-datasource-spring-boot-starter 是一個基於springboot的快速整合多資料來源的啟動器。

其支援 Jdk 1.7+, SpringBoot 1.4.x 1.5.x 2.x.x

dynamic-datasource特性

支援資料來源分組，適用於多種場景純粹多庫讀寫分離一主多從混合模式。
支援資料庫敏感設定資訊加密 ENC()。
支援每個資料庫獨立初始化表結構schema和資料庫database。
支援無資料來源啟動，支援懶載入資料來源（需要的時候再建立連線）。
支援自定義註解，需繼承DS(3.2.0+)。
提供並簡化對Druid，HikariCp，BeeCp，Dbcp2的快速整合。
提供對Mybatis-Plus，Quartz，ShardingJdbc，P6sy，Jndi等元件的整合方案。
提供自定義資料來源來源方案（如全從資料庫載入）。
提供專案啟動後動態增加移除資料來源方案。
提供Mybatis環境下的純讀寫分離方案。
提供使用 spel動態引數解析資料來源方案。內建spel，session，header，支援自定義。
支援多層資料來源巢狀切換。（ServiceA >>> ServiceB >>> ServiceC）。
提供基於seata的分散式事務方案。
提供本地多資料來源事務方案。附：不能和原生spring事務混用。

我們目前只探討使用dynamic-datasource進行資料來源切換，其他請自行搜尋

dynamic-datasource的相關約定

dynamic-datasource只做切換資料來源這件核心的事情，並不限制你的具體操作，切換了資料來源可以做任何CRUD。
組態檔所有以下劃線 _ 分割的資料來源首部即為組的名稱，相同組名稱的資料來源會放在一個組下。
切換資料來源可以是組名，也可以是具體資料來源名稱。組名則切換時採用負載均衡演演算法切換。
預設的資料來源名稱為 master ，你可以通過 spring.datasource.dynamic.primary 修改。
方法上的註解優先於類上註解。
DS支援繼承抽象類上的DS，暫不支援繼承介面上的DS。

引入dynamic-datasource依賴

<dependency>
  <groupId>com.baomidou</groupId>
  <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
  <version>${version}</version>
</dependency>

設定資料來源

spring:
  datasource:
    dynamic:
      primary: mysql #設定預設的資料來源或者資料來源組,預設值即為master
      strict: false #嚴格匹配資料來源,預設false. true未匹配到指定資料來源時拋異常,false使用預設資料來源
      datasource:
        mysql:
          url: jdbc:mysql://xx.xx.xx.xx:3306/dynamic
          username: root
          password: 123456
          driver-class-name: com.mysql.jdbc.Driver # 3.2.0開始支援SPI可省略此設定
        pgsql:
          url: ENC(xxxxx) # 內建加密
          username: ENC(xxxxx)
          password: ENC(xxxxx)
          driver-class-name: org.postgresql.Driver

使用 @DS 切換資料來源

@DS 可以註解在方法上或類上，同時存在就近原則方法上註解優先於類上註解。

註解	結果
不使用@DS註解	預設資料來源，即primary: mysql
@DS(“dsName”)	dsName可以為組名也可以為具體某個庫的名稱

@DS使用範例

@Service
@DS("mysql")
public class UserServiceImpl implements UserService {

  @Autowired
  private JdbcTemplate jdbcTemplate;

  // 不使用@DS註解則代表使用預設資料來源
  // 如果類上存在，則使用類上標註的資料來源
  public List selectAll() {
    return  jdbcTemplate.queryForList("select * from user");
  }
  
  @Override
  @DS("pgsql")
  // 方法上註解 優先於 類上註解，即使類上標註也優先採用方法上的標註
  public List selectByCondition() {
    return  jdbcTemplate.queryForList("select * from user where age >10");
  }
}

基於AOP手動實現多資料來源

本次程式碼參考 https://github.com/mianshenglee/my-example/tree/master/multi-datasource/dynamic-datasource ，因原始碼不滿足的需求，因此我在此基礎做了修改。

專案工程結構

專案依賴

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.2.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>me.mason.demo</groupId>
    <artifactId>dynamic-datasource</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>dynamic-datasource</name>
    <description>Demo project for dynamic datasource</description>

    <properties>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <!--spring boot-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
        </dependency>
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.1.9</version>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-jdbc</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-aop</artifactId>
        </dependency>
        <!--mysql 驅動-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>
        <!--mybatis-plus-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.3.0</version>
        </dependency>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>

    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>

</project>

組態檔

server.port=8080
server.servlet.context-path=/dd

logging.level.root=INFO
logging.level.me.mason.demo.dynamicdatasource.mapper=DEBUG

# mybatis-plus
mybatis-plus.type-aliases-package=me.mason.demo.dynamicdatasource.entity
# 預設位置，可不設定
#mybatis-plus.mapper-locations=classpath*:/mapper/*.xml
mybatis.mapper-locations=classpath*:/mapper/*.xml
# 使用資料庫自增ID
mybatis-plus.global-config.db-config.id-type=auto

# master
spring.datasource.master.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.master.url=jdbc:mysql://10.0.1.243:3306/scheduling?useSSL=false&serverTimezone=GMT%2B8&characterEncoding=UTF-8
spring.datasource.master.username=root
spring.datasource.master.password=123456

# slave
spring.datasource.slave.driver-class-name=com.mysql.cj.jdbc.Driver
spring.datasource.slave.url=jdbc:mysql://10.0.1.243:3306/scheduling1?useSSL=false&serverTimezone=GMT%2B8&characterEncoding=UTF-8
spring.datasource.slave.username=root
spring.datasource.slave.password=123456

自定義註解

// 標記註解可使用在方法與類上
@Target({ElementType.METHOD,ElementType.TYPE})
@Retention(RetentionPolicy.RUNTIME)
public @interface DS {
	// 預設值為MASTER
    String value() default DataSourceConstants.DS_KEY_MASTER;
}

編寫DataSourceConstants

/**
 * 資料來源常數
 **/
public class DataSourceConstants {
    /**
     * master資料來源
     */
    public static final String DS_KEY_MASTER = "master";
    /**
     * slave資料來源
     */
    public static final String DS_KEY_SLAVE = "slave";
}

動態資料來源名稱上下文處理

/**
 * 動態資料來源名稱上下文處理
 **/
public class DynamicDataSourceContextHolder {

    /**
     * 動態資料來源名稱上下文
     */
    private static final ThreadLocal<String> DATASOURCE_CONTEXT_KEY_HOLDER = new ThreadLocal<>();

    /**
     * 設定資料來源
     * @param key
     */
    public static void setContextKey(String key){
        DATASOURCE_CONTEXT_KEY_HOLDER.set(key);
    }

    /**
     * 獲取資料來源名稱
     * @return
     */
    public static String getContextKey(){
        String key = DATASOURCE_CONTEXT_KEY_HOLDER.get();
        return key == null?DataSourceConstants.DS_KEY_MASTER:key;
    }

    /**
     * 刪除當前資料來源名稱
     */
    public static void removeContextKey(){
        DATASOURCE_CONTEXT_KEY_HOLDER.remove();
    }
}

獲取當前動態資料來源方法

/**
 * 動態資料來源
 **/
public class DynamicDataSource extends AbstractRoutingDataSource {

    @Override
    protected Object determineCurrentLookupKey() {
        return DynamicDataSourceContextHolder.getContextKey();
    }
}

動態資料來源設定

/**
 * 動態資料來源設定
 **/
@EnableAutoConfiguration(exclude = { DataSourceAutoConfiguration.class })
@Configuration
// 此處我們
//@PropertySource("classpath:config/jdbc.properties")
@MapperScan(basePackages = "me.mason.demo.dynamicdatasource.mapper")
public class DynamicDataSourceConfig {
    @Bean(DataSourceConstants.DS_KEY_MASTER)
    // 需要與組態檔中對應
    @ConfigurationProperties(prefix = "spring.datasource.master")
    public DruidDataSource masterDataSource() {
        return DruidDataSourceBuilder.create().build();
    }

    @Bean(DataSourceConstants.DS_KEY_SLAVE)
    @ConfigurationProperties(prefix = "spring.datasource.slave")
    public DruidDataSource slaveDataSource() {
        return DruidDataSourceBuilder.create().build();
    }

    @Bean
    @Primary
    public DynamicDataSource dynamicDataSource() {
        Map<Object, Object> dataSourceMap = new HashMap<>(2);
        dataSourceMap.put(DataSourceConstants.DS_KEY_MASTER, masterDataSource());
        dataSourceMap.put(DataSourceConstants.DS_KEY_SLAVE, slaveDataSource());
        //設定動態資料來源
        DynamicDataSource dynamicDataSource = new DynamicDataSource();
        dynamicDataSource.setTargetDataSources(dataSourceMap);
        dynamicDataSource.setDefaultTargetDataSource(masterDataSource());
        return dynamicDataSource;
    }

}

AOP切面

/**
 * 切面
 */
@Aspect
@Component
//@Order(-10)
public class DynamicDataSourceAspect {
	// 以在類上使用了@Service作為切入點
    @Pointcut("@within(org.springframework.stereotype.Service)")
    public void dataSourcePointCut() {
    }

    @Around("dataSourcePointCut()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {
        MethodSignature signature = (MethodSignature) joinPoint.getSignature();
        Class<?> aClass = Class.forName(signature.getDeclaringType().getName());
        // 方法優先，如果方法上存在註解，則優先使用方法上的註解
        if (signature.getMethod().isAnnotationPresent(DS.class)) { DynamicDataSourceContextHolder.setContextKey(signature.getMethod().getAnnotation(DS.class).value());
            // 其次類優先，如果類上存在註解，則使用類上的註解
        }else  if (aClass.isAnnotationPresent(DS.class)) { DynamicDataSourceContextHolder.setContextKey(aClass.getAnnotation(DS.class).value());
            // 如果都不存在，則使用預設
        }   else {
 DynamicDataSourceContextHolder.setContextKey(DataSourceConstants.DS_KEY_MASTER);
        }
        try {
            return joinPoint.proceed();
        } finally {
            DynamicDataSourceContextHolder.removeContextKey();
        }
    }
}

編寫TestUser實體

@Data
@TableName("test_user")
public class TestUser implements Serializable {
    private static final long serialVersionUID = 1L;
    /** id */
    private Long id;
    /** 姓名 */
    private String name;
    /** 手機號 */
    private String phone;
    /** 職稱職別 */
    private String title;
    /** 郵箱 */
    private String email;
    /** 性別 */
    private String gender;
    /** 出生時間 */
    private Date dateOfBirth;
    /** 1:已刪除,0:未刪除 */
    private Integer deleted;
    /** 建立時間 */
    private Date sysCreateTime;
    /** 建立人 */
    private String sysCreateUser;
    /** 更新時間 */
    private Date sysUpdateTime;
    /** 更新人 */
    private String sysUpdateUser;
    /** 版本號 */
    private Long recordVersion;

    public TestUser() {
    }
}

TestUserMapper

@Service
//@DS(DataSourceConstants.DS_KEY_SLAVE)
public class TestUserService {
    @Autowired
    private TestUserMapper testUserMapper;

    /**
     * 查詢master庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getMasterUser(){
        QueryWrapper<TestUser> queryWrapper = new QueryWrapper<>();
        return testUserMapper.selectAll(queryWrapper.isNotNull("name"));
    }

    /**
     * 查詢slave庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getSlaveUser(){
        return testUserMapper.selectList(null);
    }
}

TestUserService

@Service
//@DS(DataSourceConstants.DS_KEY_SLAVE)
public class TestUserService {
    @Autowired
    private TestUserMapper testUserMapper;

    /**
     * 查詢master庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getMasterUser(){
        QueryWrapper<TestUser> queryWrapper = new QueryWrapper<>();
        return testUserMapper.selectAll(queryWrapper.isNotNull("name"));
    }

    /**
     * 查詢slave庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getSlaveUser(){
        return testUserMapper.selectList(null);
    }
}

TestUserController

@RestController
@RequestMapping("/user")
public class TestUserController {
    @Autowired
    private TestUserService testUserService;
    /**
     * 查詢全部
     */
    @GetMapping("/listall")
    public Object listAll() {
        int initSize = 2;
        Map<String, Object> result = new HashMap<>(initSize);
        List<TestUser> masterUser = testUserService.getMasterUser();
        result.put("masterUser", masterUser);
        List<TestUser> slaveUser = testUserService.getSlaveUser();
        result.put("getSlaveUser", slaveUser);
        return ResponseResult.success(result);
    }

}

MapperXml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="me.mason.demo.dynamicdatasource.mapper.TestUserMapper">
    <select id="selectAll" resultType="me.mason.demo.dynamicdatasource.entity.TestUser">
        select * from test_user
        <if test="ew!=null">
          ${ew.customSqlSegment}
        </if>
    </select>
</mapper>

啟動測試

不使用註解

@Service
//@DS(DataSourceConstants.DS_KEY_SLAVE)
public class TestUserService {
    @Autowired
    private TestUserMapper testUserMapper;


    /**
     * 查詢master庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getMasterUser(){
        QueryWrapper<TestUser> queryWrapper = new QueryWrapper<>();
        return testUserMapper.selectAll(queryWrapper.isNotNull("name"));
    }

    /**
     * 查詢slave庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getSlaveUser(){
        return testUserMapper.selectList(null);
    }

}

效果

該程式碼優先順序與使用框架效果一致，即不使用註解將預設使用MASTER資料庫，方法上存在註解優先使用方法上標註的註解。

已知MASTER 6條資料， SLAVE4條資料

存取 http://127.0.0.1:8080/dd/user/listall 檢視效果

類上使用註解

@Service
@DS(DataSourceConstants.DS_KEY_SLAVE)
public class TestUserService {
    @Autowired
    private TestUserMapper testUserMapper;


    /**
     * 查詢master庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getMasterUser(){
        QueryWrapper<TestUser> queryWrapper = new QueryWrapper<>();
        return testUserMapper.selectAll(queryWrapper.isNotNull("name"));
    }

    /**
     * 查詢slave庫User
     * @return
     */
//    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getSlaveUser(){
        return testUserMapper.selectList(null);
    }
}

效果

方法上使用註解

@Service
@DS(DataSourceConstants.DS_KEY_SLAVE)
public class TestUserService {
    @Autowired
    private TestUserMapper testUserMapper;
    /**
     * 查詢master庫User
     * @return
     */
    @DS(DataSourceConstants.DS_KEY_SLAVE)
    public List<TestUser> getMasterUser(){
        QueryWrapper<TestUser> queryWrapper = new QueryWrapper<>();
        return testUserMapper.selectAll(queryWrapper.isNotNull("name"));
    }
    /**
     * 查詢slave庫User
     * @return
     */
    @DS(DataSourceConstants.DS_KEY_MASTER)
    public List<TestUser> getSlaveUser(){
        return testUserMapper.selectList(null);
    }
}

效果