redis-shake同步redis資料的實現方法

2022-04-21 13:01:34

前言

和很多同步工具一樣，redis shake為同步redis資料而存在。在很多場景下，如果不使用同步工具，如果需要同步redis資料是一件相對繁瑣的事情，可能需要編寫程式碼，專門來做同步這件事，這就對開發提出了較高的要求，需要考慮到各種場景，

有了redis shake 之後，同步redis資料庫資料變得容易了很多，其實我們可以猜想，它應該利用瞭解析redis的rdb或aof的檔案來達到資料同步的目的，事實上也差不多，有了之前的canal的使用經驗，其同步思想也如出一轍；

redis shake 簡介

git地址：redis shake 官方地址

redis-shake是阿里雲Redis&MongoDB團隊開源的用於redis資料同步的工具

基本功能

redis-shake是我們基於redis-port基礎上進行改進的一款產品。它支援解析、恢復、備份、同步四個功能。以下主要介紹同步sync；

恢復restore：將RDB檔案恢復到目的redis資料庫；
備份dump：將源redis的全量資料通過RDB檔案備份起來；
解析decode：對RDB檔案進行讀取，並以json格式解析儲存；
同步sync：支援源redis和目的redis的資料同步，支援全量和增量資料的遷移，支援從雲下到阿里云云上的同步，也支援雲下到雲下不同環境的同步，支援單節點、主從版、叢集版之間的互相同步。需要注意的是，如果源端是叢集版，可以啟動一個RedisShake，從不同的db結點進行拉取，同時源端不能開啟move slot功能；對於目的端，如果是叢集版，寫入可以是1個或者多個db結點；
同步rump：支援源redis和目的redis的資料同步，僅支援全量的遷移。採用scan和restore命令進行遷移，支援不同雲廠商不同redis版本的遷移；

基本原理

edis-shake的基本原理就是模擬一個從節點加入源redis叢集，首先進行全量拉取並回放，然後進行增量的拉取（通過psync命令）。如下圖所示：

如果源端是叢集模式，只需要啟動一個redis-shake進行拉取，同時不能開啟源端的move slot操作。如果目的端是叢集模式，可以寫入到一個結點，然後再進行slot的遷移，當然也可以多對多寫入；

目前，redis-shake到目的端採用單鏈路實現，對於正常情況下，這不會成為瓶頸，但對於極端情況，qps比較大的時候，此部分效能可能成為瓶頸，後續我們可能會計劃對此進行優化。另外，redis-shake到目的端的資料同步採用非同步的方式，讀寫分離在2個執行緒操作，降低因為網路時延帶來的同步效能下降；

更多內容請參閱官方說明

下面演示下，基於單節點模式下，使用redis shake完成redis兩個節點資料庫的完整過程；

環境準備

1、兩個伺服器（虛擬機器器或雲伺服器）；

2、redis 的llinux版安裝包；

下載地址：https://redis.io/download

wget https://download.redis.io/releases/redis-6.0.15.tar.gz

3、提前下載好 redis shake 安裝包；

一、安裝redis

在翻閱資料時，發現網上很多參考資料直接從redis shake開始，跳過了redis服務搭建步驟，為了方便學習和後續查閱，這裡我們先快速搭建起redis服務，以便後面的演示；

1、更新機器的gcc相關依賴（本例redis為6.X版本，建議升級下gcc）

依次執行下面的命令

yum install centos-release-scl scl-utils-build #安裝scl源

yum install -y devtoolset-9-toolchain  #安裝9版本的gcc、gcc-c++、gdb工具鏈

scl enable devtoolset-9 bash         #設定版本生效，並再次檢視版本（gcc -v）

注意：scl命令啟用只是臨時的，退出shell或重啟就會恢復原系統gcc版本；

設定版本長期生效： echo “source /opt/rh/devtoolset-9/enable” >>/etc/profile

2、安裝redis

tar -xzf redis-6.0.15.tar.gz

cd redis-6.0.15

make

3、進入redis主目錄，修改redis.conf檔案

以下列舉出主要修改的設定項，其他設定保持預設就好

bind 0.0.0.0  #測試使用的時候，可以使用4個0，生產環境下建議繫結本機IP

protected-mode no #是否開啟保護模式，測試使用時候可以使用no

port 6379 #對外暴露的埠

requirepass 123456  #是否設定使用者端連線密碼【測試時候嫌麻煩可以註釋掉】

daemonize no  #是否使用守護行程方式啟動服務【測試使用時，可以使用no，即啟動時候圖形化展示】

4、進入src目錄，啟動redis服務

./redis-server …/redis.conf

5、進入src目錄，啟動使用者端驗證下

./redis-cli 或 ./redis-cli -p 3306

通過以上步驟，redis服務就搭建完畢，使用同樣的方法在另一個機器上也把redis服務搭建起來吧；

二、redis shake使用步驟

1、下載redis shake安裝包（上文已說明）；

2、解壓安裝包;

tar -zxvf redis…
mv redis-shake-v2.0.3 redis-shake

3、進入主目錄，修改 redis-shake.conf 檔案

其實使用redis-shake 和其他同步工具類似，主要是修改組態檔，根據自身的實際情況做調整，比如有的是主從模式，有的是哨兵模式，還有的是單機模式等，不同的模式，組態檔中的相關引數也需要做適當的調整；

如下列舉出核心的需要修改的設定，結合了本例的實際情況，

# source redis configuration.
# used in `dump`, `sync` and `rump`.
# source redis type, e.g. "standalone" (default), "sentinel" or "cluster".
#   1. "standalone": standalone db mode.
#   2. "sentinel": the redis address is read from sentinel.
#   3. "cluster": the source redis has several db.
#   4. "proxy": the proxy address, currently, only used in "rump" mode.
# 源端redis的型別，支援standalone，sentinel，cluster和proxy四種模式，注意：目前proxy只用於rump模式。
source.type = standalone  #【單機模式下直接使用standalone 即可】

# 源redis地址
source.address = 127.0.0.1:6379  #【本例從本機同步到遠端的redis上】

# password.
source.password_raw = 123456 #【如果沒有設定密碼，可以不用填】

# auth type, don't modify it
source.auth_type = auth


# target redis configuration. used in `restore`, `sync` and `rump`.
# the type of target redis can be "standalone", "proxy" or "cluster".
#   1. "standalone": standalone db mode.
#   2. "sentinel": the redis address is read from sentinel.
#   3. "cluster": open source cluster (not supported currently).
#   4. "proxy": proxy layer ahead redis. Data will be inserted in a round-robin way if more than 1 proxy given.
# 目的redis的型別，支援standalone，sentinel，cluster和proxy四種模式。
target.type = standalone  #【單機模式下直接使用standalone 即可】

# 目的redis地址
target.address = 目的地IP:6379

# password.
target.password_raw = 123456 #【如果沒有設定密碼，可以不用填】

# auth type, don't modify it
target.auth_type = auth
# version number, default is 6 (6 for Redis Version <= 3.0.7, 7 for >=3.2.0)

target.version = 6
# all the data will come into this db. < 0 means disable.
# used in `restore` and `sync`.
target.db = -1

# 當源目的有重複key，是否進行覆寫
rewrite = true

其他的設定可以保持預設即可，在正式同步之前，我們先在本機上做幾條測試資料