Redis6 主從複製及哨兵機制的實現

2022-07-26 14:03:32

Redis 主從複製

什麼是主從複製

如果單機情況下，機器重啟，記憶體資料丟失，如何保證資料的高可用呢？持久化方案
如果機器硬碟壞掉，如何保證資料的高可用呢？主從複製
Redis的主從機制：主負責讀寫，從一般唯讀不能寫（使用者端）。

持久化保證了即使 Redis 服務重啟也不會丟失資料，因為 Redis 服務重啟後會將硬碟上持久化的資料恢復到記憶體中，但是當 Redis 伺服器的硬碟損壞了可能會導致資料丟失，不過通過 Redis 的主從複製
機制就可以避免這種單點故障，如下圖：

說明：

主 Redis 中的資料有兩個副本（ replication ）即從 redis1 和從 redis2 ，即使一臺 Redis 伺服器宕機其它兩臺 Redis 服務也可以繼續提供服務。
主 Redis 中的資料和從 Redis 上的資料保持實時同步，當主 Redis 寫入資料時通過主從複製機制會複製到兩個從 Redis 服務上。
只有一個主 Redis ，可以有多個從 Redis 。
主從複製不會阻塞 master ，在同步資料時， master 可以繼續處理 client 請求。
一個 Redis 可以即是主又是從，如下圖：

主從設定

主Redis設定

無需特殊設定

從Redis設定

修改從伺服器上的 redis.conf 檔案：

# slaveof <masterip> <masterport> 
# 表示當前【從伺服器】對應的【主伺服器】的IP是192.168.10.135，埠是6379。 
slaveof 192.168.10.135 6379 
replicaof 192.168.19.135 6379

實現原理

Redis 的主從同步，分為全量同步和增量同步。
只有從機第一次連線上主機是全量同步。
斷線重連有可能觸發全量同步也有可能是增量同步（ master 判斷 runid 是否一致）。
除此之外的情況都是增量同步。

全量同步

Redis 的全量同步過程主要分三個階段：

同步快照階段： Master 建立並行送快照給 Slave ， Slave 載入並解析快照。 Master 同時將此階段所產生的新的寫命令儲存到緩衝區。
同步寫緩衝階段： Master 向 Slave 同步儲存在緩衝區的寫操作命令。
同步增量階段： Master 向 Slave 同步寫操作命令。

增量同步

Redis 增量同步主要指 Slave 完成初始化後開始正常工作時， Master 發生的寫操作同步到 Slave 的過程。
通常情況下， Master 每執行一個寫命令就會向 Slave 傳送相同的寫命令，然後 Slave 接收並執行。

Redis 哨兵機制

Redis 主從複製的缺點：沒有辦法對 master 進行動態選舉，需要使用 Sentinel 機制完成動態選舉。

簡介

Sentinel (哨兵)程序是用於監控 Redis 叢集中 Master 主伺服器工作的狀態
在 Master 主伺服器發生故障的時候，可以實現 Master 和 Slave 伺服器的切換，保證系統的高可用（ HA ）
其已經被整合在 redis2.6+ 的版本中， Redis 的哨兵模式到了 2.8 版本之後就穩定了下來。

哨兵程序的作用

監控( Monitoring ): 哨兵( sentinel ) 會不斷地檢查你的 Master 和 Slave 是否運作正常。
提醒( Notification )：當被監控的某個 Redis 節點出現問題時, 哨兵( sentinel ) 可以通過API 向管理員或者其他應用程式傳送通知。
自動故障遷移( Automatic failover )：當一個 Master 不能正常工作時，哨兵( sentinel )會開始一次自動故障遷移操作

故障判定原理分析

每個 Sentinel （哨兵）程序以每秒鐘一次的頻率向整個叢集中的 Master 主伺服器， Slave 從伺服器以及其他 Sentinel （哨兵）程序傳送一個 PING 命令。
如果一個範例（ instance ）距離最後一次有效回覆 PING 命令的時間超過 down-after- milliseconds 選項所指定的值，則這個範例會被 Sentinel （哨兵）程序標記為主觀下線（ SDOWN ）。
如果一個 Master 主伺服器被標記為主觀下線（ SDOWN ），則正在監視這個 Master 主伺服器的所有 Sentinel （哨兵）程序要以每秒一次的頻率確認 Master 主伺服器的確進入了主觀下線狀態。
當有足夠數量的 Sentinel （哨兵）程序（大於等於組態檔指定的值）在指定的時間範圍內確認 Master 主伺服器進入了主觀下線狀態（ SDOWN ），則 Master 主伺服器會被標記為客觀下線（ ODOWN ）。
在一般情況下，每個 Sentinel （哨兵）程序會以每 10 秒一次的頻率向叢集中的所有Master 主伺服器、 Slave 從伺服器傳送 INFO 命令。
當 Master 主伺服器被 Sentinel （哨兵）程序標記為客觀下線（ ODOWN ）時， Sentinel （哨兵）程序向下線的 Master 主伺服器的所有 Slave 從伺服器傳送 INFO 命令的頻率會從 10秒一次改為每秒一次。
若沒有足夠數量的 Sentinel （哨兵）程序同意 Master 主伺服器下線， Master 主伺服器的客觀下線狀態就會被移除。若 Master 主伺服器重新向 Sentinel （哨兵）程序傳送 PING 命令返回有效回覆， Master 主伺服器的主觀下線狀態就會被移除。

自動故障遷移

它會將失效 Master 的其中一個 Slave 升級為新的 Master , 並讓失效 Master 的其他 Slave 改為複製新的 Master ；
當用戶端試圖連線失效的 Master 時，叢集也會向用戶端返回新 Master 的地址，使得叢集可以使用現在的 Master 替換失效 Master 。
Master 和 Slave 伺服器切換後， Master 的 redis.conf 、 Slave 的 redis.conf 和 sentinel.conf 的組態檔的內容都會發生相應的改變，即， Master 主伺服器的 redis.conf組態檔中會多一行 slaveof 的設定， sentinel.conf 的監控目標會隨之調換。

案例演示

修改從機的 sentinel.conf ：

# 哨兵sentinel監控的redis主節點的 ip port 
# master-name 可以自己命名的主節點名字 只能由字母A-z、數位0-9 、這三個字元".- _"組成。 
# quorum 當這些quorum個數sentinel哨兵認為master主節點失聯 那麼這時 客觀上認為主節 點失聯了 
# sentinel monitor <master-name> <master ip> <master port> <quorum> 
sentinel monitor mymaster 192.168.10.133 6379 1

其他設定項說明sentinel.conf

# 哨兵sentinel範例執行的埠 預設26379 
port 26379 
# 哨兵sentinel的工作目錄 
dir /tmp 
# 哨兵sentinel監控的redis主節點的 ip port 
# master-name 可以自己命名的主節點名字 只能由字母A-z、數位0-9 、這三個字元".-_"組 成。
# quorum 當這些quorum個數sentinel哨兵認為master主節點失聯 那麼這時 客觀上認為主節點 失聯了 
# sentinel monitor <master-name> <ip> <redis-port> <quorum> 
sentinel monitor mymaster 127.0.0.1 6379 2 
# 當在Redis範例中開啟了requirepass foobared 授權密碼 這樣所有連線Redis範例的使用者端都 要提供密碼 
# 設定哨兵sentinel 連線主從的密碼 注意必須為主從設定一樣的驗證密碼 
# sentinel auth-pass <master-name> <password> 
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd 
# 指定多少毫秒之後 主節點沒有應答哨兵sentinel 此時 哨兵主觀上認為主節點下線 預設30秒 
# sentinel down-after-milliseconds <master-name> <milliseconds> 
sentinel down-after-milliseconds mymaster 30000 
# 這個設定項指定了在發生failover主備切換時最多可以有多少個slave同時對新的master進行同步
# 這個數位越小，完成failover所需的時間就越長，但是如果這個數位越大，就意味著越多的slave因為replication而不可用。 
# 可以通過將這個值設為 1 來保證每次只有一個slave 處於不能處理命令請求的狀態。 
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1

# 故障轉移的超時時間 failover-timeout 可以用在以下這些方面： 
#1. 同一個sentinel對同一個master兩次failover之間的間隔時間。 
#2. 當一個slave從一個錯誤的master那裡同步資料開始計算時間。直到slave被糾正為向正確的 master那裡同步資料時。 
#3.當想要取消一個正在進行的failover所需要的時間。 
#4.當進行failover時，設定所有slaves指向新的master所需的最大時間。不過，即使過了這個超 時，slaves依然會被正確設定為指向master，但是就不按parallel-syncs所設定的規則來了 
# 預設三分鐘 
# sentinel failover-timeout <master-name> <milliseconds> 
sentinel failover-timeout mymaster 180000


# SCRIPTS EXECUTION 
# 設定當某一事件發生時所需要執行的指令碼，可以通過指令碼來通知管理員，例如當系統執行不正常時發郵 件通知相關人員。 
#對於指令碼的執行結果有以下規則： 
#若指令碼執行後返回1，那麼該指令碼稍後將會被再次執行，重複次數目前預設為10 
#若指令碼執行後返回2，或者比2更高的一個返回值，指令碼將不會重複執行。 
#如果指令碼在執行過程中由於收到系統中斷訊號被終止了，則同返回值為1時的行為相同。 
#一個指令碼的最大執行時間為60s，如果超過這個時間，指令碼將會被一個SIGKILL訊號終止，之後重新執 行。

#通知型指令碼:當sentinel有任何警告級別的事件發生時（比如說redis範例的主觀失效和客觀失效等 等），將會去呼叫這個指令碼，
#這時這個指令碼應該通過郵件，SMS等方式去通知系統管理員關於系統不正 常執行的資訊。呼叫該指令碼時，將傳給指令碼兩個引數，一個是事件的型別，一個是事件的描述。 
#如果sentinel.conf組態檔中設定了這個指令碼路徑，那麼必須保證這個指令碼存在於這個路徑，並且 是可執行的，否則sentinel無法正常啟動成功。

#通知指令碼 
# sentinel notification-script <master-name> <script-path> 
sentinel notification-script mymaster /var/redis/notify.sh

# 使用者端重新設定主節點引數指令碼 
# 當一個master由於failover而發生改變時，這個指令碼將會被呼叫，通知相關的使用者端關於master 地址已經發生改變的資訊。 
# 以下引數將會在呼叫指令碼時傳給指令碼: 
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port> 
# 目前<state>總是「failover」, 
# <role>是「leader」或者「observer」中的一個。 
# 引數 from-ip, from-port, to-ip, to-port是用來和舊的master和新的master(即舊的 slave)通訊的 
# 這個指令碼應該是通用的，能被多次呼叫，不是針對性的。 
# sentinel client-reconfig-script <master-name> <script-path> 
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh

通過 redis-sentinel 啟動哨兵服務