首頁 > 軟體

Redis刪除策略的三種方法及逐出演演算法

2022-08-01 18:02:14

一、前言

在文章開始之前,我先問大家一個問題:當我們使用指令:expire key second給一個key設定過期時間,過期時間一到,這個key對應的過期資料真的被伺服器立即刪除了嗎?答案是並不會立即刪除。知道了這個答案,就來看看Redis中如何處理過期的資料。

二、Redis中的資料特徵

Redis是一種記憶體級資料庫,所有資料均存放在記憶體中,記憶體中的資料可以通過TTL指令獲取其狀態,有三種狀態: 

指令結果狀態
XX具有時效性的資料
-1永久有效的資料
-2已經過期的資料 或 被刪除的資料 或 未定義的資料

三、時效性資料儲存結構

當我們用指令設定過期資料後,資料對應的地址會放在expires空間中,儲存方式是雜湊,儲存的value是過期時間。

四、資料刪除策略

資料刪除策略目標:在記憶體佔用與CPU佔用之間尋找一種平衡,顧此失彼都會造成整體redis效能的下降,甚至引發伺服器宕機或記憶體洩露

1、定時刪除

  • 建立一個定時器,當key設定有過期時間,且過期時間到達時,由定時器任務立即執行對鍵的刪除操作
  • 優點:節約記憶體,到時就刪除,快速釋放掉不必要的記憶體佔用
  • 缺點:CPU壓力很大,無論CPU此時負載量多高,均佔用CPU,會影響redis伺服器響應時間和指令吞吐量

2、惰性刪除

  • 資料到達過期時間,不做處理。等下次存取該資料時,會呼叫expireIfNeeded()函數來判斷該資料是否過期: 如果未過期,返回資料,發現已過期,刪除,返回不存在
  • 優點:節約CPU效能,發現必須刪除的時候才刪除
  • 缺點:記憶體壓力很大,出現長期佔用記憶體的資料

3、定期刪除

流程分析:

  • Redis伺服器啟動初始化時,讀取設定server.hz的值,預設為10
  • 然後每秒鐘執行10次serverCron()方法,該方法用來檢測伺服器
  • serverCron()方法又會呼叫databasesCron()方法,該方法是用來遍歷資料庫的,redis預設有16個資料庫,從第一個資料庫開始
  • databasesCron()方法又會呼叫activeExpireCycle()方法,該方法會對每一個expires[*]逐一進行檢測,每次執行250ms/server.hz;對某個expires[*]檢測時,隨機挑選W個key檢測
  • 如果檢測到key超時,則刪除key;如果一輪中刪除的key的數量>W25%,迴圈該過程;如果一輪中刪除的key的數量≤W25%,檢查下一個expires[*],0-15迴圈。其中W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值
  • 如果activeExpireCycle()執行時間到期,下次從current_db繼續向下執行
  • 引數current_db用於記錄activeExpireCycle() 進入哪個expires[*] 執行

  • 總結:週期性輪詢redis庫中的時效性資料,採用隨機抽取的策略,利用過期資料佔比的方式控制刪除頻度
  • 記憶體壓力不是很大,長期佔用記憶體的冷資料會被持續清理

五、刪除策略對比

定時刪除節約記憶體,無佔用不分時段佔用CPU資源,頻度高拿時間換空間
惰性刪除記憶體佔用嚴重延時執行,CPU利用率高拿空間換時間
定期刪除記憶體定期隨機清理每秒花費固定的CPU資源維護記憶體隨機抽查,重點抽查

六、逐出演演算法

1、概念引入

當新資料進入redis時,如果記憶體不足怎麼辦?Redis使用記憶體儲存資料,在執行每一個命令前,會呼叫freeMemoryIfNeeded()檢測記憶體是否充足。如果記憶體不滿足新加入資料的最低儲存要求,redis要臨時刪除一些資料為當前指令清理儲存空間。清理資料的策略稱為逐出演演算法。

注意:逐出資料的過程不是100%能夠清理出足夠的可使用的記憶體空間,如果不成功則反覆執行。當對所有資料嘗試完畢後,如果不能達到記憶體清理的要求,將出現錯誤資訊。

2、八種設定

檢測易失資料(可能會過期的資料集server.db[i].expires

volatile-lru挑選最近最少使用的資料淘汰
volatile-lfu挑選最近使用次數最少的資料淘汰
volatile-ttl挑選將要過期的資料淘汰
volatile-random任意選擇資料淘汰

檢測全庫資料(所有資料集server.db[i].dict

allkeys-lru挑選最近最少使用的資料淘汰
allkeys-lfu挑選最近使用次數最少的資料淘汰
allkeys-random任意選擇資料淘汰

放棄資料驅逐:

no-enviction禁止驅逐資料(redis4.0中預設策略)

到此這篇關於Redis刪除策略的三種方法及逐出演演算法的文章就介紹到這了,更多相關Redis刪除策略內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com