<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
阿里雲官方Redis開發規範總結
2022-08-02 14:07:35
在阿里雲社群看到一份阿里雲官方 Redis 開發規範，是一位阿里雲資料庫技術專家(Redis方向)寫的，感覺有很多地方值得參考。我對原文排版和內容進行了簡單完善，這裡分享一下。
一、鍵值設計
1. key 名設計
(1)【建議】: 可讀性和可管理性
以業務名(或資料庫名)為字首(防止 key 衝突)，用冒號分隔，比如業務名:表名:id
ugc:video:1
(2)【建議】：簡潔性
保證語意的前提下，控制 key 的長度，當 key 較多時，記憶體佔用也不容忽視，例如：
user:{uid}:friends:messages:{mid}簡化為u:{uid}:fr:m:{mid}。
(3)【強制】：不要包含特殊字元
反例：包含空格、換行、單雙引號以及其他跳脫字元
2. value 設計
(1)【強制】：拒絕 bigkey(防止網路卡流量、慢查詢)
string 型別控制在 10KB 以內，hash、list、set、zset 元素個數不要超過 5000。
反例：一個包含 200 萬個元素的 list。
非字串的 bigkey，不要使用 del 刪除，使用 hscan、sscan、zscan 方式漸進式刪除，同時要注意防止 bigkey 過期時間自動刪除問題(例如一個 200 萬的 zset 設定 1 小時過期，會觸發 del 操作，造成阻塞，而且該操作不會不出現在慢查詢中(latency 可查))，查詢方法[1]和刪除方法[2] 。
(2)【推薦】：選擇適合的資料型別。
例如：實體型別(要合理控制和使用資料結構記憶體編碼優化設定,例如 ziplist，但也要注意節省記憶體和效能之間的平衡)
反例：
set user:1:name tom set user:1:age 19 set user:1:favor football
正例:
hmset user:1 name tom age 19 favor football
3.【推薦】：控制 key 的生命週期，redis 不是垃圾桶。
建議使用 expire 設定過期時間(條件允許可以打散過期時間，防止集中過期)，不過期的資料重點關注 idletime。
二、命令使用
1.【推薦】 O(N)命令關注 N 的數量
例如 hgetall、lrange、smembers、zrange、sinter 等並非不能使用，但是需要明確 N 的值。有遍歷的需求可以使用 hscan、sscan、zscan 代替。
2.【推薦】：禁用命令
禁止線上使用 keys、flushall、flushdb 等，通過 redis 的 rename 機制禁掉命令，或者使用 scan 的方式漸進式處理。
3.【推薦】合理使用 select
redis 的多資料庫較弱，使用數位進行區分，很多使用者端支援較差，同時多業務用多資料庫實際還是單執行緒處理，會有干擾。
4.【推薦】使用批次操作提高效率
- 原生命令：例如 mget、mset。
- 非原生命令：可以使用 pipeline 提高效率。
但要注意控制一次批次操作的 元素個數(例如 500 以內，實際也和元素位元組數有關)。
注意兩者不同：
- 原生是原子操作，pipeline 是非原子操作。
- pipeline 可以打包不同的命令，原生做不到
- pipeline 需要使用者端和伺服器端同時支援。
5.【建議】Redis 事務功能較弱，不建議過多使用
Redis 的事務功能較弱(不支援回滾)，而且叢集版本(自研和官方)要求一次事務操作的 key 必須在一個 slot 上(可以使用 hashtag 功能解決)
6.【建議】Redis 叢集版本在使用 Lua 上有特殊要求：
- 所有 key 都應該由 KEYS 陣列來傳遞，redis.call/pcall 裡面呼叫的 redis 命令，key 的位置，必須是 KEYS array, 否則直接返回 error，“-ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS array”
- 所有 key，必須在 1 個 slot 上，否則直接返回 error, “-ERR eval/evalsha command keys must in same slot”
7.【建議】必要情況下使用 monitor 命令時，要注意不要長時間使用。
三、使用者端使用
1.【推薦】避免多個應用使用一個 Redis 範例
正例：不相干的業務拆分，公共資料做服務化。
2.【推薦】使用帶有連線池的資料庫
使用帶有連線池的資料庫，可以有效控制連線，同時提高效率，標準使用方式：
執行命令如下：
Jedis jedis = null;
try {
jedis = jedisPool.getResource();
//具體的命令
jedis.executeCommand()
} catch (Exception e) {
logger.error("op key {} error: " + e.getMessage(), key, e);
} finally {
//注意這裡不是關閉連線，在JedisPool模式下，Jedis會被歸還給資源池。
if (jedis != null)
jedis.close();
}下面是 JedisPool 優化方法的文章:
Jedis 常見異常彙總[3]
JedisPool 資源池優化[4]
3.【建議】高並行下建議使用者端新增熔斷功能(例如 netflix hystrix)
在通過 Redis 使用者端操作 Redis 中的資料時，我們會在其中加入熔斷器的邏輯。比如，當節點處於熔斷狀態時，直接返回空值以及熔斷器三種狀態之間的轉換，具體的範例程式碼像下面這樣：
這樣，當某一個 Redis 節點出現問題，Redis 使用者端中的熔斷器就會實時監測到，並且不再請求有問題的 Redis 節點，避免單個節點的故障導致整體系統的雪崩。
4.【推薦】確保登入安全
設定合理的密碼，如有必要可以使用 SSL 加密存取（阿里雲 Redis 支援）
5.【建議】選擇合適的記憶體淘汰策略
根據自身業務型別，選好 maxmemory-policy(最大記憶體淘汰策略)，設定好過期時間。
預設策略是 volatile-lru，即超過最大記憶體後，在過期鍵中使用 lru 演演算法進行 key 的剔除，保證不過期資料不被刪除，但是可能會出現 OOM 問題。
其他策略如下 ：
- allkeys-lru：根據 LRU 演演算法刪除鍵，不管資料有沒有設定超時屬性，直到騰出足夠空間為止。
- allkeys-random：隨機刪除所有鍵，直到騰出足夠空間為止。
- volatile-random:隨機刪除過期鍵，直到騰出足夠空間為止。
- volatile-ttl：根據鍵值物件的 ttl 屬性，刪除最近將要過期資料。如果沒有，回退到 noeviction 策略。
- noeviction：不會剔除任何資料，拒絕所有寫入操作並返回使用者端錯誤資訊"(error) OOM command not allowed when used memory"，此時 Redis 只響應讀操作。
四、相關工具
1.【推薦】：資料同步
redis 間資料同步可以使用：redis-port
2.【推薦】：big key 搜尋
3.【推薦】：熱點 key 尋找
京東開源的 hotkey[5] 支援毫秒級探測熱點資料，毫秒級推播至伺服器叢集記憶體，大幅降低熱 key 對資料層查詢壓力。
五 附錄：刪除 bigkey
下面操作可以使用 pipeline 加速。
redis 4.0 已經支援 key 的非同步刪除，歡迎使用。
1. Hash 刪除: hscan + hdel
public void delBigHash(String host, int port, String password, String bigHashKey) {
Jedis jedis = new Jedis(host, port);
if (password != null && !"".equals(password)) {
jedis.auth(password);
}
ScanParams scanParams = new ScanParams().count(100);
String cursor = "0";
do {
ScanResult<Entry<String, String>> scanResult = jedis.hscan(bigHashKey, cursor, scanParams);
List<Entry<String, String>> entryList = scanResult.getResult();
if (entryList != null && !entryList.isEmpty()) {
for (Entry<String, String> entry : entryList) {
jedis.hdel(bigHashKey, entry.getKey());
}
}
cursor = scanResult.getStringCursor();
} while (!"0".equals(cursor));
//刪除bigkey
jedis.del(bigHashKey);
}2. List 刪除: ltrim
public void delBigList(String host, int port, String password, String bigListKey) {
Jedis jedis = new Jedis(host, port);
if (password != null && !"".equals(password)) {
jedis.auth(password);
}
long llen = jedis.llen(bigListKey);
int counter = 0;
int left = 100;
while (counter < llen) {
//每次從左側截掉100個
jedis.ltrim(bigListKey, left, llen);
counter += left;
}
//最終刪除key
jedis.del(bigListKey);
}3. Set 刪除: sscan + srem
public void delBigSet(String host, int port, String password, String bigSetKey) {
Jedis jedis = new Jedis(host, port);
if (password != null && !"".equals(password)) {
jedis.auth(password);
}
ScanParams scanParams = new ScanParams().count(100);
String cursor = "0";
do {
ScanResult<String> scanResult = jedis.sscan(bigSetKey, cursor, scanParams);
List<String> memberList = scanResult.getResult();
if (memberList != null && !memberList.isEmpty()) {
for (String member : memberList) {
jedis.srem(bigSetKey, member);
}
}
cursor = scanResult.getStringCursor();
} while (!"0".equals(cursor));
//刪除bigkey
jedis.del(bigSetKey);
}4. SortedSet 刪除: zscan + zrem
public void delBigZset(String host, int port, String password, String bigZsetKey) {
Jedis jedis = new Jedis(host, port);
if (password != null && !"".equals(password)) {
jedis.auth(password);
}
ScanParams scanParams = new ScanParams().count(100);
String cursor = "0";
do {
ScanResult<Tuple> scanResult = jedis.zscan(bigZsetKey, cursor, scanParams);
List<Tuple> tupleList = scanResult.getResult();
if (tupleList != null && !tupleList.isEmpty()) {
for (Tuple tuple : tupleList) {
jedis.zrem(bigZsetKey, tuple.getElement());
}
}
cursor = scanResult.getStringCursor();
} while (!"0".equals(cursor));
//刪除bigkey
jedis.del(bigZsetKey);
}參考資料
[1]查詢方法: https://developer.aliyun.com/article/531067
[2]刪除方法: https://developer.aliyun.com/article/531067
[3]Jedis 常見異常彙總: https://yq.aliyun.com/articles/236384?spm=a2c6h.12873639.article-detail.11.753b1feeTX187Q
[4]JedisPool 資源池優化: https://yq.aliyun.com/articles/236383?spm=a2c6h.12873639.article-detail.12.753b1feeTX187Q
[5]hotkey: https://gitee.com/jd-platform-opensource/hotkey
到此這篇關於阿里雲官方Redis開發規範總結的文章就介紹到這了,更多相關阿里雲官方Redis開發規範總結內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！
相關文章
-
黑科技的輕簡出行，告別「電量焦慮症」：Anker氮化鎵超能充系列
综合看Anker超能充系列的性价比很高，并且与不仅和iPhone12/苹果<em>Mac</em>Book很配，而且适合多设备充电需求的日常使用或差旅场景，不管是安卓还是Switch同样也能用得上它，希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
-
吳亦凡廠牌首秀，L4WUDU居然忘詞了，Rapper和明星比還是有差距！
除了L4WUDU与吴亦凡已经多次共事，成为了明面上的厂牌成员，吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节，这也是20XXCLUB首次全员合照，王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
-
IPFS、Chia、Bzz和ICP挖礦該怎麼選？哪一個更有優勢？
目前应用IPFS的机构：1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆，历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
-
有哪些事是買了雪佛蘭後才知道的？美事偷著樂，開拓者車主隨聊
开拓者的车机是兼容苹果和<em>安卓</em>，虽然我不怎么用，但确实兼顾了我家人的很多需求：副驾的门板还配有解锁开关，有的时候老婆开车，下车的时候偶尔会忘记解锁，我在副驾驶可以自己开门：第二排设计很好，不仅配置了一个很大的
2021-06-01 09:30:48
-
iPhone12在618最新定價，跌價幅度超過1400元，還等iPhone13嗎？
不仅是<em>安卓</em>手机，苹果手机的降价力度也是前所未有了，iPhone12也“跳水价”了，发布价是6799元，如今已经跌至5308元，降价幅度超过1400元，最新定价确认了。iPhone12是苹果首款5G手机，同时也是全球首款5nm芯片的智能机，它
2021-06-01 09:30:45