Redis現(xiàn)如今使用的場景越來越多?如何批量刪除key呢?
有人說用KEYS命令,剛開始學(xué)Redis的時候就是用這個命令列出庫中鍵。
KEYS命令要謹慎使用。
為何?客觀別急,我們先一步步來看。
KEYS 命令
Warning: consider KEYS as a command that should only be used in production environments
with extreme care. It may ruin performance when it is executed against large databases.
This command is intended for debugging and special operations, such as changing your
keyspace layout. Don't use KEYS in your regular application code. If you're looking for
a way to find keys in a subset of your keyspace, consider using sets.
上面是官方文檔聲明,KEYS命令不能用在生產(chǎn)的環(huán)境中,這個時候如果數(shù)量過大效率是十分低的。同時也不要用KEYS正則匹配,官方建議直接用集合類型。
有人說 KEYS相當(dāng)于關(guān)系性數(shù)據(jù)的庫的 select *,在生產(chǎn)環(huán)境幾乎是要禁用的。
KEYS命令的性能隨著數(shù)據(jù)庫數(shù)據(jù)的增多而越來越慢
KEYS命令會引起阻塞,連續(xù)的 KEYS命令足以讓 Redis 阻塞
試想如果Redis阻塞超過10秒,如果有集群的場景,可能導(dǎo)致集群判斷Redis已經(jīng)故障,從而進行故障切換;
以上的情況嚴重會導(dǎo)致應(yīng)用程序出現(xiàn)雪崩的情況。
然而,網(wǎng)上很多都是這么寫的 redis-cli --raw keys "key前綴*" | xargs redis-cli del,千萬別照抄,拿到生產(chǎn)環(huán)境上做實驗。
順便普及下xargs命令,這是Linux下的一個命令 。
xargs命令是給其他命令傳遞參數(shù)的一個過濾器,也是組合多個命令的一個工具。它擅長將標(biāo)準(zhǔn)輸入數(shù)據(jù)轉(zhuǎn)換成命
令行參數(shù),xargs能夠處理管道或者stdin并將其轉(zhuǎn)換成特定命令的命令參數(shù)。xargs也可以將單行或多行文本輸
入轉(zhuǎn)換為其他格式,例如多行變單行,單行變多行。xargs的默認命令是echo,空格是默認定界符。這意味著通過
管道傳遞給xargs的輸入將會包含換行和空白,不過通過xargs的處理,換行和空白將被空格取代。xargs是構(gòu)建
單行命令的重要組件之一。
SCAN 命令
Redis從2.8版本開始支持scan命令,SCAN命令的基本用法如下:
復(fù)雜度雖然也是 O(n),通過游標(biāo)分步進行不會阻塞線程;
有限制參數(shù) COUNT ;
同 keys命令 一樣提供模式匹配功能;
服務(wù)器不需要為游標(biāo)保存狀態(tài),游標(biāo)的唯一狀態(tài)就是 scan 返回給客戶端的游標(biāo)整數(shù);
scan用法
SCAN cursor [MATCH pattern] [COUNT count]
- scan 命令提供三個參數(shù),第一個是cursor,第二個是要匹配的正則,第三個是單次遍歷的槽位。
- 第一個遍歷是 cursor 值為0,然后將返回結(jié)果的第一個整數(shù)作為下一個遍歷的游標(biāo),如果最后返回的到cursor的值為0就代表結(jié)束。
127.0.0.1:6379> scan 0 MATCH tony*
1) "42"
2) 1) "tony25"
2) "tony2519"
3) "tony2529"
4) "tony2510"
5) "tony2523"
6) "tony255"
7) "tony2514"
8) "tony256"
9) "tony2511"
10) "tony15"
127.0.0.1:6379> scan 42 MATCH tony* COUNT 1000
1) "0"
2) 1) "tony3513"
2) "tony359"
3) "tony4521"
4) "tony356"
5) "tony30"
6) "tony320"
7) "tony3"
8) "tony312"
返回分為兩個部分如上面的代碼中,
- 代表下一次迭代的游標(biāo),
- 代表本次迭代的結(jié)果集,注意如果返回游標(biāo)為0就代表全部匹配完成。
批量刪除scan命令
因為KEYS命令的時間復(fù)雜度為O(n),而SCAN命令會將遍歷操作分解成m次,然后每次去執(zhí)行,從而時間復(fù)雜度為O(1)。也解決使用keys命令遍歷大量數(shù)據(jù)而導(dǎo)致Redis服務(wù)器阻塞的情況。所以建議使用下邊的指令進行批量的刪除操作:
redis-cli --scan --pattern "key前綴*" | xargs -L 1000 redis-cli del
總結(jié)
因為Redis是但線程的KEYS在某種情況下會阻塞。有個真實真案件小哥哥生產(chǎn)用KEYS,最終導(dǎo)致服務(wù)宕機。后果很嚴重,產(chǎn)生的經(jīng)濟損失就不說了。
切記嚴重會導(dǎo)致程序的雪崩,刪除的時候用SCAN命令,看完這篇文章應(yīng)該都記住了。
Redis開發(fā)的建議
1、 數(shù)據(jù)分離
不要什么都往Redis中放,盡量放些QPS比較高的數(shù)據(jù),內(nèi)存的開銷很昂貴的,可以考慮硬盤存放。
2、分業(yè)務(wù)
不同的實例單獨放這樣存取的時候方便些,故障的時候也不會影響其他的實例。
3、壓縮
redis中有很大的單個key的值建議壓縮成二進制存放。
4、失效時間
redis中設(shè)置key的失效時間,如果不設(shè)置會一直占用著內(nèi)存,而且key的失效時間應(yīng)該根據(jù)業(yè)務(wù)場景來設(shè)置。
5、容量
占用內(nèi)存不要太大10-20G,其次鍵的數(shù)量控制在1千萬以內(nèi)。
6、監(jiān)控
運維合理的監(jiān)控好數(shù)據(jù),做好Redis安全漏洞的防護和災(zāi)備。
作者:王鎮(zhèn)_ee87
鏈接:https://www.jianshu.com/p/b2b36ce3a2f6
來源:簡書
著作權(quán)歸作者所有。商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán),非商業(yè)轉(zhuǎn)載請注明出處。
浙公網(wǎng)安備 33010602011771號