Redis快取更新策略詳解

2022-07-28 22:01:19

本文範例為大家分享了Redis快取更新策略的具體程式碼，供大家參考，具體內容如下

一、快取的收益與成本

1.1 收益

加速讀寫：因為快取通常都是全記憶體的（例如Redis、Memcache），而儲存層通常讀寫效能不夠強悍（例如MySQL），記憶體讀寫的速度遠遠高於磁碟I/O。通過快取的使用可以有效地加速讀寫，優化使用者體驗。
降低後端負載：幫助後端減少存取量（Mysql設定有最大連線數，如果大量的存取同時達到資料庫，而磁碟I/O的速度又很慢，很容易造成最大連線數被使用完，但Redis 理論最大）和複雜計算（例如很複雜的SQL語句），在很大程度降低了後端的負載。

1.2 成本

資料不一致性：快取層和儲存層的資料存在著一定時間視窗的不一致性，時間視窗跟更新策略有關。
程式碼維護成本：加入快取後，需要同時處理快取層和儲存層的邏輯，增大了開發者維護程式碼的成本。
運維成本：以Redis Cluster為例，加入後無形中增加了運維成本。

1.3 使用場景

開銷大的複雜計算：以MySQL為例子，一些複雜的操作或者計算（例如大量聯表操作、一些分組計算），如果不加快取，不但無法滿足高並行量，同時也會給MySQL帶來巨大的負擔。
加速請求響應：即使查詢單條後端資料足夠快，那麼依然可以使用快取，以Redis為例子，每秒可以完成數萬次讀寫，並且提供的批次操作可以優化整個IO鏈的響應時間

二、快取更新策略

2.1 記憶體溢位淘汰策略

思考：在生產環境的 redis 經常會丟掉一些資料，寫進去了，過一會兒可能就沒了。是什麼原因？

Redis 快取通常都是全記憶體，記憶體是很寶貴而且是有限的，磁碟是廉價而且是大量的。可能一臺機器就幾十個 G 的記憶體，但是可以有幾個 T 的硬碟空間。Redis 主要是基於記憶體來進行高效能、高並行的讀寫操作。那既然記憶體是有限，比如 redis 就只能用 10G，你要是往裡面寫了 20G 的資料，會咋辦？當然會幹掉 10G 的資料，然後就保留 10G 的資料了。那幹掉哪些資料？保留哪些資料？當然是幹掉不常用的資料，保留常用的資料了。資料明明過期了，怎麼還佔用著記憶體？這是由 redis 的過期策略來決定。

在Redis中，當所用記憶體達到maxmemory上限（used_memory>maxmemory）時會觸發相應的溢位控制策略。具體策略受maxmemory-policy引數控制。

Redis支援6種策略：

noeviction：預設策略，不會刪除任何資料，拒絕所有寫入操作並返回使用者端錯誤資訊（error）OOM command not allowed when used memory，此時Redis只響應讀操作
volatile-lru：根據LRU演演算法刪除設定了超時屬性（expire）的鍵，直到騰出足夠空間為止。如果沒有可刪除的鍵物件，回退到noeviction策略
volatile-random：隨機刪除過期鍵，直到騰出足夠空間為止
allkeys-lru：根據LRU演演算法刪除鍵，不管資料有沒有設定超時屬性，直到騰出足夠空間為止
allkeys-random：隨機刪除所有鍵，直到騰出足夠空間為止（不推薦）
volatile-ttl：根據鍵值物件的ttl（剩餘時間(time to live,TTL) ）屬性，刪除最近將要過期資料。如果沒有，回退到noeviction策略

LRU :Least Recently Used ，最近最少使用的，快取的元素有一個時間戳，當快取容量滿了，而又需要騰出地方來快取新的元素的時候，那麼現有快取元素中時間戳離當前時間最遠的元素將被清出快取。

記憶體溢位控制策略可以採用config set maxmemory-policy{policy}動態設定。寫命令導致當記憶體溢位時會頻繁執行回收記憶體成本很高，在主從複製架構中，回收記憶體操作對應的刪除命令會同步到從節點來，來保障主從節點資料一致性，從而導致寫放大的問題。

2.2 過期策略

Redis 伺服器端採用的過期策略是：惰性刪除 + 定期刪除

惰性刪除：

Redis的每個庫都有一個過期字典，過期字典中儲存所有key的過期時間。當用戶端讀取一個key時會先到過期字典內查詢key是否已經過期，如果key已經超過，會執行刪除操作並返回空。這種策略是出於節省CPU成本考慮，但是單獨用這種方式存在記憶體洩露的問題，當過期鍵一直沒有存取將無法得到及時刪除，從而導致記憶體不能及時釋放。

定時刪除：

Redis內部維護一個定時任務，預設每秒執行10次過期掃描（通過 redis.conf 中通過 hz 設定修改執行次數），掃描並不是遍歷過期字典中的所有鍵，而是採用了自適應演演算法，根據鍵的過期比例、使用快慢兩種速率模式回收鍵：

1.從過期字典中隨機取出 20 個鍵
2.刪除這 20 個鍵中過期的鍵
3.如果過期鍵的比例超過 25% ，重複步驟 1 和 2

為了保證掃描不會出現迴圈過度，一直在執行定時刪除定時任務無法對外提供服務，導致執行緒卡死現象，還增加了掃描時間的上限，預設是 25 毫秒（即預設在慢模式下，25毫秒還未執行完，切換為塊模式，模式下超時時間為1毫秒且2秒內只能執行1次，當慢模式執行完畢正常退出，會重新切回快模式）

三、應用方更新

1.應用程式先從cache取資料，沒有得到，則從資料庫中取資料，成功後，放到快取中。
2.先刪除快取，再更新資料庫：這個操作有一個比較大的問題，更新資料的請求在對快取刪除完之後，又收到一個讀請求，這個時候由於快取被刪除所以直接會讀庫，讀操作的資料是老的並且會被載入進入快取當中，後續讀請求全部存取的老資料。
3.先更新資料庫，再刪除快取(推薦)為什麼不是寫完資料庫後更新快取？主要是怕兩個並行的寫操作導致髒資料。