SpringBoot專案中如何實現MySQL讀寫分離詳解

2022-07-10 10:00:55

1、MySQL主從複製

但我們仔細觀察我們會發現，當我們的專案都是用的單體資料庫時，那麼就可能會存在如下問題：

讀和寫所有壓力都由一臺資料庫承擔， 壓力大
資料庫伺服器磁碟損壞則 資料丟失 ，單點故障

為了解決上述提到的兩個問題，我們可以準備兩 (多) 臺MySQL，一臺主( Master )伺服器，一臺從( Slave )伺服器，主庫的 資料變更 (寫、更新、刪除這些操作) ，需要同步到從庫中 (主從複製) 。而使用者在存取我們專案時，如果是 寫操作 (insert、update、delete)，則直接操作主庫；如果是 讀操作 (select) ，則直接操作從庫，這種結構就是 讀寫分離 啦。

在這種讀寫分離的結構中，從庫是可以有多個的

1.1、介紹

MySQL主從複製是一個 非同步 的複製過程，底層是基於Mysql資料庫自帶的 二進位制紀錄檔 功能。就是一臺或多臺MySQL資料庫（slave，即從庫）從另一臺MySQL資料庫（master，即主庫）進行紀錄檔的複製，然後再解析紀錄檔並應用到自身，最終實現從庫的資料和主庫的資料保持一致。MySQL主從複製是 MySQL資料庫自帶功能，無需藉助第三方工具。

二進位制紀錄檔：

二進位制紀錄檔（BINLOG）記錄了所有的 DDL（資料定義語言）語句和 DML（資料操縱語言）語句，但是不包括資料查詢語句。此紀錄檔對於災難時的資料恢復起著極其重要的作用，MySQL的主從複製，就是通過該binlog實現的。預設MySQL是未開啟該紀錄檔的。

MySQL複製過程分成三步：

MySQL master 將資料變更寫入二進位制紀錄檔( binary log )
slave將master的binary log拷貝到它的中繼紀錄檔（ relay log ）
slave重做中繼紀錄檔中的事件，將資料變更反映它自己的資料

1.2、主從庫搭建

在環境搭建之前，我們需要準備好兩臺伺服器，如果生活富裕使用的是兩臺雲伺服器的時候記得要開放安全組，即防火牆；如果是比狗子我生活好點但也是用的虛擬機器器的話，記得別分這麼多記憶體啟動藍屏了（別問怎麼知道的）

這裡就不給大家展示資料庫的安裝和防火牆的操作了，這個我感覺網上好多資源都能夠滿足遇到的問題，在搭建主從庫的時候有在網上見到過說MySQL版本要一致的，我也沒太留意直接就在之前的MySQL上操作了，大家可以自己去驗證一下。

1.2.1、主庫設定

伺服器：192.168.150.100（別試了黑不了的，這是虛擬機器器的ip）

1、修改Mysql資料庫的組態檔 vim /etc/my.cnf

在開啟的檔案中加入下面兩行，其中的server-id不一定是100，確保唯一即可
log-bin=mysql-bin   #[必須]啟用二進位制紀錄檔
server-id=100       #[必須]伺服器唯一ID

2、重啟Mysql服務

這裡有三個方法都能重啟MySQL，最簡單的無疑就是一關一開：

net stop mysql;net start mysql;
systemctl restart mysqld
service mysqld restart

3、建立資料同步的使用者並授權

登入進去MySQL之後才能夠執行下面的命令，因為這是SQL命令，Linux不認識這玩意是啥。

GRANT REPLICATION SLAVE ON *.* to '使用者名稱'@'開放的地址' identified by '密碼';
eg: GRANT REPLICATION SLAVE ON *.* to 'masterDb'@'%' identified by 'Master@123456';
記得刷一下許可權
FLUSH PRIVILEGES;

4、檢視master同步狀態

這個時候還 不用退出MySQL ，因為下面的命令還是SQL命令，執行下面的SQL，可以拿到我們後面需要的兩個重要引數。

show master status;

執行完這一句SQL之後，==不要再操作主庫！不要再操作主庫！不要再操作主庫！==重要的事情說三遍，因為再操作主庫之後可能會導致紅框中的 兩個屬性值會發生變化 ，後面如果發生了錯誤可能就和這裡有那麼兩毛錢關係了。

1.2.2、從庫設定

伺服器：192.168.150.101（別試了黑不了的，這也是虛擬機器器的ip）

1、修改Mysql資料庫的組態檔 vim /etc/my.cnf

這裡要注意server-id和主庫以及其他從庫都不能相同，否則後面將會設定不成功。

2、重啟Mysql服務

這裡有三個方法都能重啟MySQL，最簡單的無疑就是一關一開：

net stop mysql;net start mysql;
systemctl restart mysqld
service mysqld restart

3、設定主庫地址及同步位置

登入進去MySQL之後才能夠執行下面的命令，因為這是SQL命令

設定主庫地址和同步位置
change master to master_host='192.168.150.100',master_user='masterDb',master_password='Master@123456',master_log_file='mysql-bin.000010',master_log_pos=68479;
記得記得開啟從庫設定
start slave;

引數說明：

master_host: 主庫的 IP地址
master_user: 存取主庫進行主從複製的 使用者名稱 ( 上面在主庫建立的 )
master_password: 存取主庫進行主從複製的使用者名稱對應的密碼
master_log_file: 從哪個 紀錄檔檔案 開始同步 ( 即1.2.1中第4步獲取的 File )
master_log_pos: 從指定紀錄檔檔案的哪個位置開始同步 ( 即1.2.1中第4步獲取的 Position )

4、檢視從資料庫的狀態

這個時候還 不用退出MySQL ，因為下面的命令還是SQL命令，執行下面的SQL，可以看到從庫的狀態資訊。通過狀態資訊中的 Slave_IO_running 和 Slave_SQL_running 可以看出主從同步是否就緒，如果這兩個引數全為 Yes ，表示主從同步已經設定完成。

show slave statusG;

1.3、坑位介紹

1.3.1、UUID報錯

這可能是由於linux 是複製出來的，MySQL中還有一個 server_uuid 是一樣的，我們也需要修改。 vim /var/lib/mysql/auto.cnf

1.3.2、server_id報錯

這應該就是各位大牛設定server_id的時候不小心設定相同的id了，修改過來就行，步驟在上面的設定中。

1.3.3、同步異常解決

這是狗子在操作過程中搞出來的一個錯誤……

出錯的原因是在主庫中刪除了使用者資訊，但是在從庫中同步的時候失敗導致同步停止，下面記錄自己的操作（是在進入MySQL的操作且是從庫）。

MASTER_LOG_POS

STOP SLAVE;
SET GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
START SLAVE;
SHOW SLAVE STATUSG;

在資料庫中操作時，一定要注意當前所在的資料庫是哪個，作為一個良好的實踐：在SQL語句前加 USE dbname 。

操作不規範，親人兩行淚……

2、專案中實現

2.1、ShardingJDBC

Sharding-JDBC定位為 輕量級Java框架 ，在Java的JDBC層提供的額外服務。它使用使用者端直連資料庫，以 jar包 形式提供服務，無需額外部署和依賴，可理解為增強版的JDBC驅動， 完全相容JDBC和各種ORM框架 。

使用Sharding-JDBC可以在程式中輕鬆的實現資料庫 讀寫分離 。

Sharding-JDBC具有以下幾個特點：

適用於任何基於JDBC的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
支援任何第三方的資料庫連線池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。
支援任意實現JDBC規範的資料庫。目前支援MySQL，Oracle，SQLServer，PostgreSQL以及任何遵循SQL92標準的資料庫。

下面我們將用ShardingJDBC在專案中實現MySQL的讀寫分離。

2.2、依賴匯入

在pom.xml檔案中匯入ShardingJDBC的依賴座標

<!--sharding-jdbc-->
<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
    <version>4.0.0-RC1</version>
</dependency>

2.3、組態檔

在application.yml中增加資料來源的設定

spring:
  shardingsphere:
    datasource:
      names:
        master,slave
      # 主資料來源
      master:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.150.100:3306/db_test?useUnicode=true&characterEncoding=utf-8&useSSL=false
        username: root
        password: 123456
      # 從資料來源
      slave:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://192.168.150.101:3306/db_test?useUnicode=true&characterEncoding=utf-8&useSSL=false
        username: root
        password: 123456
    masterslave:
      # 讀寫分離設定，設定負載均衡的模式為輪詢
      load-balance-algorithm-type: round_robin
      # 最終的資料來源名稱
      name: dataSource
      # 主庫資料來源名稱
      master-data-source-name: master
      # 從庫資料來源名稱列表，多個逗號分隔
      slave-data-source-names: slave
    props:
      sql:
        show: true #開啟SQL顯示，預設false
  # 覆蓋註冊bean，後面建立資料來源會覆蓋前面建立的資料來源
  main:
    allow-bean-definition-overriding: true