ShardingSphere jdbc實現分庫分表核心概念詳解

2022-12-13 14:00:02

ShardingSphere

ShardingSphere是一套開源的分散式資料庫中介軟體解決方案組成的生態圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（計劃中）這3款相互獨立的產品組成。他們均提供標準化的資料分片、分散式事務和資料庫治理功能。

Sharding-JDBC

定位為輕量級Java框架，在Java的JDBC層提供的額外服務。它使用使用者端直連資料庫，以jar包形式提供服務，無需額外部署和依賴，可理解為增強版的JDBC驅動，完全相容JDBC和各種ORM框架。

1）適用於任何基於Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。

2）基於任何第三方的資料庫連線池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。

3）支援任意實現JDBC規範的資料庫。目前支援MySQL，Oracle，SQLServer和PostgreSQL。

Sharding-JDBC包含的一些核心概念

1）邏輯表-LogicTable

資料分片的邏輯表，對於水平拆分的資料庫(表)，同一類表的總稱。例：訂單資料根據主鍵尾數拆分為10張表,分別是t_order_0到t_order_9，他們的邏輯表名為t_order。

2）實際表-ActualTable

在分片的資料庫中真實存在的物理表。即上個範例中的t_order_0到t_order_9。

3）資料節點-DataNode

資料分片的最小單元。由資料來源名稱和資料表組成，例：ds_1.t_order_0。設定時預設各個分片資料庫的表結構均相同，直接設定邏輯表和真實表對應關係即可。如果各資料庫的表結果不同，可使用ds.actual_table設定。

4）動態表-DynamicTable

邏輯表和真實表不一定需要在設定規則中靜態設定。比如按照日期分片的場景，真實表的名稱隨著時間的推移會產生變化。此類需求Sharding-JDBC是支援的，不過目前設定並不友好，會在新版本中提升。

5）繫結表-BindingTable

指在任何場景下分片規則均一致的主表和子表。例：訂單表和訂單項表，均按照訂單ID分片，則此兩張表互為BindingTable關係。BindingTable關係的多表關聯查詢不會出現笛卡爾積關聯，關聯查詢效率將大大提升。

6）分片鍵-ShardingColumn

分片欄位。用於將資料庫(表)水平拆分的關鍵欄位。例：訂單表訂單ID分片尾數取模分片，則訂單ID為分片欄位。SQL中如果無分片欄位，將執行全路由，效能較差。Sharding-JDBC支援多分片欄位。

7）分片演演算法-ShardingAlgorithm

分片演演算法。Sharding-JDBC通過分片演演算法將資料分片，支援通過等號、BETWEEN和IN分片。分片演演算法目前需要業務方開發者自行實現，可實現的靈活度非常高。未來Sharding-JDBC也將會實現常用分片演演算法，如range，hash和tag等。

8）SQL Hint

對於分片欄位非SQL決定，而由其他外接條件決定的場景，可使用SQL Hint靈活的注入分片欄位。例：內部系統，按照員工登入ID分庫，而資料庫中並無此欄位。SQL Hint支援通過ThreadLocal和SQL註釋(待實現)兩種方式使用。

9）廣播表broadcastTable

所有的分⽚資料來源中都存在的表，表結構和表中的資料在每個資料庫中均完全⼀致，例如：資料字典表，公共設定表。

10）分散式主鍵生成策略

Sharding-JDBC 內部支援UUID和Snowflake生成分散式主鍵。

分片策略演演算法

ShardingSphere-JDBC在分片策略上分別引入了分片演演算法、分片策略兩個概念，當然在分片的過程中分片鍵也是一個核心的概念；在此可以簡單的理解分片策略 = 分片演演算法 + 分片鍵

分片演演算法

提供了抽象分片演演算法類：ShardingAlgorithm，根據型別又分為：精確分片演演算法、區間分片演演算法、複合分片演演算法以及Hint分片演演算法；

精確分片演演算法：對應PreciseShardingAlgorithm類，主要用於處理 = 和 IN的分片；

public class PreciseDBShardingAlgorithm implements PreciseShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

區間分片演演算法：對應RangeShardingAlgorithm類，主要用於處理 BETWEEN AND, >, <, >=, <= 分片；

public class RangeShardingDBAlgorithm implements RangeShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

複合分片演演算法：對應ComplexKeysShardingAlgorithm類，用於處理使用多鍵作為分片鍵進行分片的場景；

public class ComplexKeysShardingDBAlgorithm implements ComplexKeysShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

Hint分片演演算法：對應HintShardingAlgorithm類，用於處理使用 Hint 行分片的場景；

public class HintShardingDBAlgorithm implements HintShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Long> shardingValue) {
        //todo
    }
}

以上所有的演演算法類都是介面類，具體實現交給開發者自己。

分片策略

分片策略基本和上面的分片演演算法對應，包括：標準分片策略、複合分片策略、Hint分片策略、內聯分片策略、不分片策略；

標準分片策略：對應StandardShardingStrategy類，提供PreciseShardingAlgorithm和RangeShardingAlgorithm兩個分片演演算法，PreciseShardingAlgorithm是必須的，RangeShardingAlgorithm可選的；

public final class StandardShardingStrategy implements ShardingStrategy {
    private final String shardingColumn;
    private final PreciseShardingAlgorithm preciseShardingAlgorithm;
    private final RangeShardingAlgorithm rangeShardingAlgorithm;
}

複合分片策略：對應ComplexShardingStrategy類，提供ComplexKeysShardingAlgorithm分片演演算法；可以發現支援多個分片鍵；

public final class ComplexShardingStrategy implements ShardingStrategy {
    @Getter
    private final Collection<String> shardingColumns;
    private final ComplexKeysShardingAlgorithm shardingAlgorithm;
}

Hint分片策略：對應HintShardingStrategy類，通過 Hint 指定分片值而非從 SQL 中提取分片值的方式進行分片的策略；提供HintShardingAlgorithm分片演演算法；

public final class HintShardingStrategy implements ShardingStrategy {
    @Getter
    private final Collection<String> shardingColumns;
    private final HintShardingAlgorithm shardingAlgorithm;
}