淺談Redis的非同步機制

2022-05-13 21:50:18

前言

命令操作、系統設定、關鍵機制、硬體設定等會影響 Redis 的效能，不僅要知道具體的機制，儘可能避免效能異常的情況出現，還要提前準備好應對異常的方案。

Redis 內部的阻塞式操作：

CPU 核和 NUMA 架構的影響；
Redis 關鍵系統設定；
Redis 記憶體碎片；
Redis 緩衝區。

一、Redis 的阻塞點

和 Redis 範例互動的物件，以及互動時會發生的操作：

使用者端：網路 IO，鍵值對增刪改查操作，資料庫操作；
磁碟：生成 RDB 快照，記錄 AOF 紀錄檔，AOF 紀錄檔重寫；
主從節點：主庫生成、傳輸 RDB 檔案，從庫接收 RDB 檔案、清空資料庫、載入 RDB 檔案；
切片叢集範例：向其他範例傳輸雜湊槽資訊，資料遷移。

4 類互動物件和具體的操作之間的關係：

和使用者端互動時的阻塞點：

網路 IO 有時候會比較慢，但是 Redis 使用了 IO 多路複用機制，避免了主執行緒一直處在等待網路連線或請求到來的狀態，所以網路 IO 不是導致 Redis 阻塞的因素。

鍵值對的增刪改查操作是 Redis 和使用者端互動的主要部分，也是 Redis 主執行緒執行的主要任務。複雜度高的增刪改查操作肯定會阻塞 Redis。

判斷操作複雜度高低的標準：看操作的複雜度是否為 O(N)。

Redis 的第一個阻塞點：集合全量查詢和聚合操作：

Redis 中涉及集合的操作複雜度通常為 O(N)，使用時需重視起來。
例如集合元素全量查詢操作 HGETALL、SMEMBERS，以及集合的聚合統計操作，例如求交、並和差集。

Redis 的第二個阻塞點 :bigkey 刪除操作

集合自身的刪除操作同樣也有潛在的阻塞風險。刪除操作的本質是要釋放鍵值對佔用的記憶體空間。釋放記憶體只是第一步，為了更加高效地管理記憶體空間，在應用程式釋放記憶體時，作業系統需要把釋放掉的記憶體塊插入一個空閒記憶體塊的連結串列，以便後續進行管理和再分配。

這個過程本身需要一定時間，而且會阻塞當前釋放記憶體的應用程式，如果一下子釋放了大量記憶體，空閒記憶體塊連結串列操作時間就會增加，相應地就會造成 Redis 主執行緒的阻塞。

釋放大量記憶體的時機：在刪除大量鍵值對資料的時候，刪除包含了大量元素的集合，也稱為 bigkey 刪除。

不同元素數量的集合在進行刪除操作時所消耗的時間：

得出三個結論：

當元素數量從 10 萬增加到 100 萬時，4 大集合型別的刪除時間的增長幅度從 5 倍上升到了近 20 倍；
集合元素越大，刪除所花費的時間就越長；
當刪除有 100 萬個元素的集合時，最大的刪除時間絕對值已經達到了 1.98s（Hash 類型）。Redis 的響應時間一般在微秒級別，一個操作達到了近 2s，不可避免地會阻塞主執行緒。

Redis 的第三個阻塞點：清空資料庫

既然頻繁刪除鍵值對都是潛在的阻塞點了，在 Redis 的資料庫級別操作中，清空資料庫（例如 FLUSHDB 和 FLUSHALL 操作）也是一個潛在的阻塞風險，因為它涉及到刪除和釋放所有的鍵值對。

Redis 的第四個阻塞點：AOF 紀錄檔同步寫

磁碟 IO 一般都是比較費時費力的，需要重點關注。 Redis 開發者早已認識到磁碟 IO 會帶來阻塞，所以把 Redis 設計為採用子程序的方式生成 RDB 快照檔案、執行 AOF 紀錄檔重寫操作。由子程序負責執行，慢速的磁碟 IO 就不會阻塞主執行緒了。

Redis 直接記錄 AOF 紀錄檔時，會根據不同的寫回策略對資料做落盤儲存。一個同步寫磁碟的操作的耗時大約是 1～2ms，如果有大量的寫操作需要記錄在 AOF 紀錄檔中，並同步寫回的話，會阻塞主執行緒。

Redis 的第五個阻塞點：從庫載入 RDB 檔案

在主從叢集中，主庫需要生成 RDB 檔案，並傳輸給從庫。

主庫在複製的過程中，建立和傳輸 RDB 檔案都是由子程序來完成的，不會阻塞主執行緒。
但是從庫在接收了 RDB 檔案後，需要使用 FLUSHDB 命令清空當前資料庫，正好撞上了第三個阻塞點。

從庫在清空當前資料庫後，需要把 RDB 檔案載入到記憶體，這個過程的快慢和 RDB 檔案的大小密切相關，RDB 檔案越大，載入過程越慢。

切片叢集範例互動時的阻塞點

部署 Redis 切片叢集時，每個 Redis 範例上分配的雜湊槽資訊需要在不同範例間進行傳遞，當需要進行負載均衡或者有範例增刪時，資料會在不同的範例間進行遷移。不過雜湊槽的資訊量不大，而資料遷移是漸進式執行的，這兩類操作對 Redis 主執行緒的阻塞風險不大。

如果使用了 Redis Cluster 方案，而且同時正好遷移的是 bigkey 的話，就會造成主執行緒的阻塞，因為 Redis Cluster 使用了同步遷移。

五個阻塞點：

集合全量查詢和聚合操作；
bigkey 刪除；
清空資料庫；
AOF 紀錄檔同步寫；
從庫載入 RDB 檔案。

二、可以非同步執行的阻塞點

為了避免阻塞式操作，Redis 提供了非同步執行緒機制：

Redis 會啟動一些子執行緒，然後把一些任務交給這些子執行緒，讓它們在後臺完成，而不再由主執行緒來執行這些任務。可以避免阻塞主執行緒。

非同步執行對操作的要求：

一個能被非同步執行的操作並不是 Redis 主執行緒的關鍵路徑上的操作（使用者端把請求傳送給 Redis 後，等著 Redis 返回資料結果的操作）。

主執行緒接收到操作 1 後，操作 1 並不用給使用者端返回具體的資料，主執行緒可以把它交給後臺子執行緒來完成，同時只要給使用者端返回一個“OK”結果就行。
在子執行緒執行操作 1 的時候，使用者端又向 Redis 範例傳送了操作 2，使用者端是需要使用操作 2 返回的資料結果的，如果操作 2 不返回結果，那麼使用者端將一直處於等待狀態。

操作 1 就不算關鍵路徑上的操作，因為它不用給使用者端返回具體資料，所以可以由後臺子執行緒非同步執行。
操作 2 需要把結果返回給使用者端，它就是關鍵路徑上的操作，所以主執行緒必須立即把這個操作執行完。

Redis 讀操作是典型的關鍵路徑操作，因為使用者端傳送了讀操作之後，就會等待讀取的資料返回，以便進行後續的資料處理。而 Redis 的第一個阻塞點“集合全量查詢和聚合操作”都涉及到了讀操作，不能進行非同步操作。
刪除操作並不需要給使用者端返回具體的資料結果，不算是關鍵路徑操作。“bigkey 刪除”和“清空資料庫”都是對資料做刪除，並不在關鍵路徑上。可以使用後臺子執行緒來非同步執行刪除操作。
“AOF 紀錄檔同步寫”，為了保證資料可靠性，Redis 範例需要保證 AOF 紀錄檔中的操作記錄已經落盤，這個操作雖然需要範例等待，但它並不會返回具體的資料結果給範例。所以可以啟動一個子執行緒來執行 AOF 紀錄檔的同步寫。
“從庫載入 RDB 檔案”要想對使用者端提供資料存取服務，就必須把 RDB 檔案載入完成。這個操作也屬於關鍵路徑上的操作，必須讓從庫的主執行緒來執行。

除了“集合全量查詢和聚合操作”和“從庫載入 RDB 文件”，其他三個阻塞點涉及的操作都不在關鍵路徑上，可以使用 Redis 的非同步子執行緒機制來實現 bigkey 刪除，清空資料庫，以及 AOF 紀錄檔同步寫。

三、非同步的子執行緒機制

Redis 主執行緒啟動後，會使用作業系統提供的 pthread_create 函數建立 3 個子執行緒，負責AOF 紀錄檔寫操作、鍵值對刪除、檔案關閉的非同步執行。

主執行緒通過一個連結串列形式的任務佇列和子執行緒進行互動。

當收到鍵值對刪除和清空資料庫的操作時，主執行緒會把這個操作封裝成一個任務，放入到任務佇列中，然後給使用者端返回一個完成資訊，表明刪除已經完成。

但實際上，這個時候刪除還沒有執行，等到後臺子執行緒從任務佇列中讀取任務後，才開始實際刪除鍵值對，並釋放相應的記憶體空間。這種非同步刪除也稱為惰性刪除 （lazy free）。

當 AOF 紀錄檔設定成 everysec 選項後，主執行緒會把 AOF 寫紀錄檔操作封裝成一個任務，也放到任務佇列中。後臺子執行緒讀取任務後，開始自行寫入 AOF 紀錄檔，主執行緒就不用一直等待 AOF 紀錄檔寫完了。

Redis 中的非同步子執行緒執行機制：

非同步的鍵值對刪除和資料庫清空操作是 Redis 4.0 後提供的功能，Redis 也提供了新的命令來執行這兩個操作：

鍵值對刪除：集合型別中有大量元素（例如有百萬級別或千萬級別元素）需要刪除時，建議使用 UNLINK 命令；
清空資料庫：可以在 FLUSHDB 和 FLUSHALL 命令後加上 ASYNC 選項，讓後臺子執行緒非同步地清空資料庫。

FLUSHDB ASYNC 
FLUSHALL AYSNC

總結

Redis 範例執行時的 4 大類互動物件：使用者端、磁碟、主從庫範例、切片叢集範例。

基於這 4 大類互動物件導致 Redis 效能受損的 5 大阻塞點：集合全量查詢和聚合操作、bigkey 刪除、清空資料庫、AOF 紀錄檔同步寫、從庫載入 RDB 檔案。

bigkey 刪除、清空資料庫、AOF 紀錄檔同步寫不屬於關鍵路徑操作，可以使用非同步子執行緒機制來完成。

Redis 在執行時會建立三個子執行緒，主執行緒會通過一個任務佇列和三個子執行緒進行互動。子執行緒會根據任務的具體型別，來執行相應的非同步操作。

非同步刪除操作是 Redis 4.0 以後才有的功能，如果使用的是 4.0 之前的版本，遇到 bigkey 刪除時，建議：先使用集合型別提供的 SCAN 命令讀取資料，然後再進行刪除。因為用 SCAN 命令可以每次唯讀取一部分資料並進行刪除，這樣可以避免一次性刪除大量 key 給主執行緒帶來的阻塞。
例如，對於 Hash 型別的 bigkey 刪除，使用 HSCAN 命令，每次從 Hash 集合中獲取一部分鍵值對（例如 200 個），再使用 HDEL 刪除這些鍵值對，可以把刪除壓力分攤到多次操作中，每次刪除操作的耗時就不會太長，也就不會阻塞主執行緒了。

集合全量查詢和聚合操作、從庫載入 RDB 檔案是在關鍵路徑上，無法使用非同步操作來完成。
建議：

集合全量查詢和聚合操作：使用 SCAN 命令，分批讀取資料，再在使用者端進行聚合計算；
從庫載入 RDB 檔案：把主庫的資料量大小控制在 2~4GB 左右，以保證 RDB 檔案能以較快的速度載入。

到此這篇關於淺談Redis的非同步機制的文章就介紹到這了,更多相關Redis 非同步機制內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！