springboot+mybatis攔截器方法實現水平分表操作

2022-08-10 18:03:54

1.前言

業務飛速發展導致了資料規模的急速膨脹，單機資料庫已經無法適應網際網路業務的發展。由於MySQL採用 B+樹索引，資料量超過閾值時，索引深度的增加也將使得磁碟存取的 IO 次數增加，進而導致查詢效能的下降；高並行存取請求也使得集中式資料庫成為系統的最大瓶頸。我們團隊結合公司業務背景商議最終選定一份表的形式進行解決這一瓶頸問題，由我作為主要開發主導完成，故寫篇部落格記錄沉澱。

2.MyBatis 允許使用外掛來攔截的方法

Executor (update, query, flushStatements, commit, rollback, getTransaction, close, isClosed)
ParameterHandler (getParameterObject, setParameters)
ResultSetHandler (handleResultSets, handleOutputParameters)
StatementHandler (prepare, parameterize, batch, update, query)

總體概括為：

攔截執行器的方法
攔截引數的處理
攔截結果集的處理
攔截Sql語法構建的處理

這4各方法在MyBatis的一個操作(新增，刪除，修改，查詢)中都會被執行到，執行的先後順序是Executor，ParameterHandler，ResultSetHandler，StatementHandler。

3、Interceptor介面

package org.apache.ibatis.plugin;
import java.util.Properties;
public interface Interceptor {
//intercept方法就是要進行攔截的時候要執行的方法。
  Object intercept(Invocation invocation) throws Throwable;
//plugin方法是攔截器用於封裝目標物件的，通過該方法我們可以返回目標物件本身，也可以返回一個它的代理。當返回的是代理的時候我們可以對其中的方法進行攔截來呼叫intercept方法，當然也可以呼叫其他方法。
  Object plugin(Object target);
//setProperties方法是用於在Mybatis組態檔中指定一些屬性的。
  void setProperties(Properties properties);

}

4分表實現

4.1、大體思路

分表的表結構已經預設完畢，所以現在我們只需要在進行增刪改查的時候直接一次鎖定目標表，然後替換目標sql。

4.2、逐步實現

4.2.1 Mybatis如何找到我們新增的攔截服務

對於攔截器Mybatis為我們提供了一個Interceptor介面，前面有提到，通過實現該介面就可以定義我們自己的攔截器。自定義的攔截器需要交給Mybatis管理，這樣才能使得Mybatis的執行與攔截器的執行結合在一起，即，利用springboot把自定義攔截器注入。

package com.shinemo.insurance.common.config;
 
import org.apache.ibatis.plugin.Interceptor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
 
@Configuration
public class TableShardConfig {

    /**
     * 註冊外掛
     */
    @Bean
    public Interceptor tableShardInterceptor() {
        return new TableShardInterceptor();
    }

}

4.2.2 應該攔截什麼樣的物件

因為攔截器是全域性攔截的，我們只需要攔截我們需要攔截的mapper，故需要用註解進行標識

package com.shinemo.insurance.common.annotation;

import java.lang.annotation.ElementType;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;

@Target(value = { ElementType.TYPE, ElementType.METHOD })
@Retention(RetentionPolicy.RUNTIME)
public @interface TableShard {

    // 表字首名
    String tableNamePrefix();

    // 值
    String value() default "";

    // 是否是欄位名，如果是需要解析請求引數改欄位名的值（預設否）
    boolean fieldFlag() default false;

}

我們只需要把這個註解標識在我們要攔截的mapper上

@Mapper
@TableShard(tableNamePrefix = "t_insurance_video_people_", value = "deviceId", fieldFlag = true)
public interface InsuranceVideoPeopleMapper {
 
//VideoPeople物件中包含deviceId欄位
  int insert(VideoPeople videoPeople);
}

4.2.3 實現自定義攔截器

package com.shinemo.insurance.common.config;

import java.lang.reflect.Field;
import java.lang.reflect.Method;
import java.sql.Connection;
import java.util.Map;

import com.shinemo.insurance.common.annotation.TableShard;
import com.shinemo.insurance.common.util.HashUtil;

import org.apache.ibatis.binding.MapperMethod;
import org.apache.ibatis.executor.statement.StatementHandler;
import org.apache.ibatis.mapping.BoundSql;
import org.apache.ibatis.mapping.MappedStatement;
import org.apache.ibatis.plugin.Interceptor;
import org.apache.ibatis.plugin.Intercepts;
import org.apache.ibatis.plugin.Invocation;
import org.apache.ibatis.plugin.Plugin;
import org.apache.ibatis.plugin.Signature;
import org.apache.ibatis.reflection.DefaultReflectorFactory;
import org.apache.ibatis.reflection.MetaObject;
import org.apache.ibatis.reflection.ReflectorFactory;
import org.apache.ibatis.reflection.SystemMetaObject;
@Intercepts({ @Signature(type = StatementHandler.class, method = "prepare", args = { Connection.class,
                                                                                    Integer.class }) })
public class TableShardInterceptor implements Interceptor {
    private static final ReflectorFactory DEFAULT_REFLECTOR_FACTORY = new DefaultReflectorFactory();
    @Override
    public Object intercept(Invocation invocation) throws Throwable {

        // MetaObject是mybatis裡面提供的一個工具類，類似反射的效果
        MetaObject metaObject = getMetaObject(invocation);
        BoundSql boundSql = (BoundSql) metaObject.getValue("delegate.boundSql");
        MappedStatement mappedStatement = (MappedStatement) metaObject
            .getValue("delegate.mappedStatement");

        // 獲取Mapper執行方法
        Method method = invocation.getMethod();

        // 獲取分表註解
        TableShard tableShard = getTableShard(method, mappedStatement);

        // 如果method與class都沒有TableShard註解或執行方法不存在，執行下一個外掛邏輯
        if (tableShard == null) {
            return invocation.proceed();
        }

        //獲取值，此值就是拿的註解上value值，註解上value設定的值，並在傳入物件中獲取，根據業務可以選擇適當的值即可，我選取此值的目的是同一臺裝置的值存入一張表中，有hash衝突的值也存在一張表中
        String value = tableShard.value();
        //value是否欄位名，如果是，需要解析請求引數欄位名的值
        boolean fieldFlag = tableShard.fieldFlag();

        if (fieldFlag) {
            //獲取請求引數
            Object parameterObject = boundSql.getParameterObject();

            if (parameterObject instanceof MapperMethod.ParamMap) {
                // ParamMap型別邏輯處理
                MapperMethod.ParamMap parameterMap = (MapperMethod.ParamMap) parameterObject;
                // 根據欄位名獲取引數值
                Object valueObject = parameterMap.get(value);
                if (valueObject == null) {
                    throw new RuntimeException(String.format("入參欄位%s無匹配", value));
                }
                //替換sql
                replaceSql(tableShard, valueObject, metaObject, boundSql);

            } else {
                // 單引數邏輯

                //如果是基礎型別丟擲異常
                if (isBaseType(parameterObject)) {
                    throw new RuntimeException("單引數非法，請使用@Param註解");
                }

                if (parameterObject instanceof Map) {
                    Map<String, Object> parameterMap = (Map<String, Object>) parameterObject;
                    Object valueObject = parameterMap.get(value);
                    //替換sql
                    replaceSql(tableShard, valueObject, metaObject, boundSql);
                } else {
                    //非基礎型別物件
                    Class<?> parameterObjectClass = parameterObject.getClass();
                    Field declaredField = parameterObjectClass.getDeclaredField(value);
                    declaredField.setAccessible(true);
                    Object valueObject = declaredField.get(parameterObject);
                    //替換sql
                    replaceSql(tableShard, valueObject, metaObject, boundSql);
                }
            }

        } else {//無需處理parameterField
            //替換sql
            replaceSql(tableShard, value, metaObject, boundSql);
        }
        //把原有的簡單查詢語句替換為分表查詢語句了，現在是時候將程式的控制權交還給Mybatis下一個攔截器處理
        return invocation.proceed();
    }

    /**
     * @description:
     * @param target
     * @return: Object
     */
    @Override
    public Object plugin(Object target) {
        // 當目標類是StatementHandler型別時，才包裝目標類，否者直接返回目標本身, 減少目標被代理的次數
        if (target instanceof StatementHandler) {
            return Plugin.wrap(target, this);
        } else {
            return target;
        }
    }

    /**
     * @description: 基本資料型別驗證，true是，false否
     * @param object
     * @return: boolean
     */
    private boolean isBaseType(Object object) {
        if (object.getClass().isPrimitive() || object instanceof String || object instanceof Integer
            || object instanceof Double || object instanceof Float || object instanceof Long
            || object instanceof Boolean || object instanceof Byte || object instanceof Short) {
            return true;
        } else {
            return false;
        }
    }
    /**
     * @description: 替換sql
     * @param tableShard 分表註解
     * @param value      值
     * @param metaObject mybatis反射物件
     * @param boundSql   sql資訊物件
     * @return: void
     */
    private void replaceSql(TableShard tableShard, Object value, MetaObject metaObject,
                            BoundSql boundSql) {
        String tableNamePrefix = tableShard.tableNamePrefix();
        //        // 獲取策略class
        //        Class<? extends ITableShardStrategy> strategyClazz = tableShard.shardStrategy();
        //        // 從spring ioc容器獲取策略類
        //        ITableShardStrategy tableShardStrategy = SpringBeanUtil.getBean(strategyClazz);
        // 生成分表名
        String shardTableName = generateTableName(tableNamePrefix, (String) value);
        // 獲取sql
        String sql = boundSql.getSql();
        // 完成表名替換
        metaObject.setValue("delegate.boundSql.sql",
            sql.replaceAll(tableNamePrefix, shardTableName));
    }

    /**
     * 生成表名
     *
     * @param tableNamePrefix 表名字首
     * @param value           價值
     * @return {@link String}
     */
    private String generateTableName(String tableNamePrefix, String value) {

//我們分了1024張表
        int prime = 1024;
//hash取模運算過後，鎖定目標表
        int rotatingHash = HashUtil.rotatingHash(value, prime);
        return tableNamePrefix + rotatingHash;
    }
    /**
     * @description: 獲取MetaObject物件-mybatis裡面提供的一個工具類，類似反射的效果
     * @param invocation
     * @return: MetaObject
     */
    private MetaObject getMetaObject(Invocation invocation) {
        StatementHandler statementHandler = (StatementHandler) invocation.getTarget();
        // MetaObject是mybatis裡面提供的一個工具類，類似反射的效果
        MetaObject metaObject = MetaObject.forObject(statementHandler,
            SystemMetaObject.DEFAULT_OBJECT_FACTORY,
            SystemMetaObject.DEFAULT_OBJECT_WRAPPER_FACTORY, DEFAULT_REFLECTOR_FACTORY);

        return metaObject;
    }
    /**
     * @description: 獲取分表註解
     * @param method
     * @param mappedStatement
     * @return: TableShard
     */
    private TableShard getTableShard(Method method,
                                     MappedStatement mappedStatement) throws ClassNotFoundException {
        String id = mappedStatement.getId();
        // 獲取Class
        final String className = id.substring(0, id.lastIndexOf("."));
        // 分表註解
        TableShard tableShard = null;
        // 獲取Mapper執行方法的TableShard註解
        tableShard = method.getAnnotation(TableShard.class);
        // 如果方法沒有設定註解，從Mapper介面上面獲取TableShard註解
        if (tableShard == null) {
            // 獲取TableShard註解
            tableShard = Class.forName(className).getAnnotation(TableShard.class);
        }
        return tableShard;
    }
}

到此這篇關於springboot+mybatis攔截器方法實現水平分表操作的文章就介紹到這了,更多相關springboot mybatis水平分表操作內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！