使用Redis快取時高效的批次刪除的幾種方案

2023-01-24 14:01:43

前因後果

之前我們的服務，在上線的時候發現有一些大Key的使用不是很規範，特別是沒有設定過期時間，因此導致redis中記憶體的資料越來越多，目前Redis節點的記憶體已經快撐不住了。所以根據快取鍵的規則去批次刪除這些資料，比較常見的就是按字首去刪除。

現在由於不得以為的原因要刪除這幾百個Key-Value的資料，這個時候我們肯定就要把快取鍵全部刪除掉。一般情況下在Redis中是可以很容易去實現的。但是如果在不阻塞業務的前提下，並且以高效的方式進行清理記憶體資料。就需要好好想想辦法了。

批次刪除redis資料方法

利用的是Linux的xargs命令

我們可以通過redis-cli的模式，進行存取之後登入到了Redis-Server服務，由於是必須要使用Linux的xargs命令，所以必須要連帶指令在Linux環境，而不能提前通過redis-cli進行登入到redis-server服務。否則會報錯說xargs無效。

redis-cli -h [ip] -p [port ] -a [password] keys "prefix*" | xargs redis-cli -h 127.0.0.1 -p 6379 -a '123' del

上面的指令主要由三部分連線組成：

redis-cli -h [ip] -p [port ] -a [password]：主要需要用於登入到redis-cli的只處理操作。
keys "prefix*"：隨後主要是通過redis-cli的命令進行 keys指令進行匹配某字首相關的資料集合。
| xargs redis-cli -h [ip] -p [port ] -a [password] del：主要是通過管道符進行連線，之後再進行連線redis-server服務，之後進行將之前的引數傳入到xargs之後，作為del的引數進行執行刪除操作。

xargs指令

xargs：是一條Unix和類Unix作業系統的常用命令；它的作用是將參數列轉換成小塊分段傳遞給其他命令，以避免參數列過長的問題。可單獨使用，也可使用管道符、重定位符等與其他命令配合使用。

xargs [ -p ] [ -t] [ -e[ EOFString ] ] [ -EEOFString ] [ -i[ ReplaceString ] ] [ -IReplaceString ] [ -l [ Number ] ] [ -L Number ] [ -n Number [ -x ] ] [ -s Size ] [ Command [ Argument ... ] ]

命令格式

xargs：一般是和管道一起使用。

somecommand |xargs -item command

引數：

-a file 從檔案中讀入作為 stdin
-e flag ，注意有的時候可能會是-E，flag必須是一個以空格分隔的標誌，當xargs分析到含有flag這個標誌的時候就停止。
-p 當每次執行一個argument的時候詢問一次使用者。
-n num 後面加次數，表示命令在執行的時候一次用的argument的個數，預設是用所有的。
-t 表示先列印命令，然後再執行。
-i 或者是-I，這得看linux支援了，將xargs的每項名稱，一般是一行一行賦值給 {}，可以用 {} 代替。
-r no-run-if-empty 當xargs的輸入為空的時候則停止xargs，不用再去執行了。
-s num 命令列的最大字元數，指的是 xargs 後面那個命令的最大命令列字元數。
-L num 從標準輸入一次讀取 num 行送給 command 命令。
-l 同 -L。
-d delim 分隔符，預設的xargs分隔符是回車，argument的分隔符是空格，這裡修改的是xargs的分隔符。
-x exit的意思，主要是配合-s使用。。
-P 修改最大的程序數，預設是1，為0時候為as many as it can ，這個例子我沒有想到，應該平時都用不到的吧。

使用Lua指令碼刪除百萬/千萬級的key

如果以上xargs方法刪除不了的，或者執行xargs命令報錯的。那麼可以使用lua指令碼，redis有內建的lua直譯器。在lua指令碼中使用scan掃描key，並依次刪除，當刪除數量達到1萬時，指令碼直接返回，完成本次呼叫，如果刪除的key數量大於0，就回圈呼叫指令碼進行刪除。

Warning: a NUL character occurred in the input. It cannot be passed through in the argument list. Did you mean to use the --null option?

Lua指令碼是什麼？

Lua是一種輕量小巧的指令碼語言，用標準C語言編寫並以原始碼形式開放，其設計目的是為了嵌入應用程式中，從而為應用程式提供靈活的擴充套件和客製化功能。其設計目的是為了嵌入應用程式中，從而為應用程式提供靈活的擴充套件和客製化功能。

Lua指令碼的指令格式

有興趣的小夥伴，可以參考： http://redis.cn/commands/eval.html

EVAL script numkeys key [key …] arg [arg …]

script:待執行的指令碼檔案
numkeys:key的個數

Lua指令碼執行引數

[key …]:對應的key，可以是一個，可以是多個
[arg …]:與key對應的值，可以是一個，可以是多個

Lua獲取傳引資料

Lua的下表索引是從1開始的，key的獲取方式，KEYS[下標索引]，如KEYS[1],取第一個值，值的獲取，ARGV[1]

範例

eval 「return {KEYS[1],KEYS[2],ARGV[1],ARGV[2]}」 2 key1 key2 first second

Lua指令碼的案例（keys）

獲取傳入的需要批次刪除的key的字首
記住 lua的下標索引是從1開始不是0 不是0 不是0

local key = KEYS[1]
if( key ~= nil) then
--這裡通過keys查詢出所有符合條件的資料
local dataList = redis.call('keys',KEYS[1])
--判斷是否找到資料
if(dataList ~= nil) then
--迴圈刪除
for i=1,#dataList,1 do
redis.call('del',dataList[i])
end
--返回刪除的行數
return #dataList
else
return 0
end
else
return 0
end

推薦使用scan獲取資料刪除，我們知道redis是一個單執行緒的，當我們庫裡面存在大量資料的時候，使用keys * 的方式匹配資料的時候，可能需要好幾秒才能處理完，那麼在這個幾秒的時間裡是處於執行緒阻塞的，其他所有的redis操作都是處於等待狀態，這樣對系統的可用性是有影響的，因此，這裡使用scan的方式匹配資料。

scan介紹

SCAN cursor [MATCH pattern] [COUNT count]

SCAN 命令是一個基於遊標的迭代器（cursor based iterator）： SCAN 命令每次被呼叫之後，都會向用戶返回一個新的遊標，使用者在下次迭代時需要使用這個新遊標作為 SCAN 命
令的遊標引數，以此來延續之前的迭代過程。

Lua指令碼的案例（scan）

local limitSize = tonumber(ARGV[1]) -- 最多刪除多少個key
local batchSize = limitSize -- scan一次最多掃描多少個key
if (batchSize > 10000) then -- 一次掃描不能超過1w條
batchSize = 10000
end
local function scan(key)
local cursor = 0
local keynum = 0
repeat
local res = redis.call("scan", cursor, "match", key, 'COUNT', batchSize)
if (res ~= nil and #res >= 0) then
redis.replicate_commands()
cursor = tonumber(res[1])
local ks = res[2]
local size = #ks
for i=1,size,1 do
redis.call("del", tostring(ks[i]))
keynum = keynum + 1
if (keynum >= limitSize) then -- 已經刪除了指定數量的key, 返回
return keynum
end
end
end
until (cursor <= 0)
return keynum
end
local total = scan(KEYS[1])
return total

當 SCAN 命令的遊標引數被設定為 0 時，伺服器將開始一次新的迭代，而當伺服器向用戶返回值為 0 的遊標時，表示迭代已結束。

通俗點理解就是，基於遊標的迭代器redis會慢慢一次次的將資料返回回來，從而防止執行緒阻塞。

此外還有一個小貼士就是可以使用UNLINK刪除，區別於del的是這個是非同步執行的，這條指令要版本大於4.0.0 小於4.0.0就使用del