golang連線redis庫及基本操作範例過程

2022-04-14 13:03:01

Redis介紹

Redis是一個開源的記憶體資料庫，Redis提供了多種不同型別的資料結構，很多業務場景下的問題都可以很自然地對映到這些資料結構上。除此之外，通過複製、持久化和使用者端分片等特性，我們可以很方便地將Redis擴充套件成一個能夠包含數百GB資料、每秒處理上百萬次請求的系統。

Redis支援的資料結構

Redis支援諸如字串（strings）、雜湊（hashes）、列表（lists）、集合（sets）、帶範圍查詢的排序集合（sorted sets）、點陣圖（bitmaps）、hyperloglogs、帶半徑查詢和流的地理空間索引等資料結構（geospatial indexes）。

Redis應用場景

快取系統，減輕主資料庫（MySQL）的壓力。
計數場景，比如微博、抖音中的關注數和粉絲數。
熱門排行榜，需要排序的場景特別適合使用ZSET。
利用LIST可以實現佇列的功能。

準備Redis環境

這裡直接使用Docker啟動一個redis環境，方便學習使用。

docker啟動一個名為redis507的5.0.7版本的redis server範例：

docker run --name redis507 -p 6379:6379 -d redis:5.0.7

注意：此處的版本、容器名和埠號請根據自己需要設定。

啟動一個redis-cli連線上面的redis server:

docker run -it --network host --rm redis:5.0.7 redis-cli

go-redis庫

安裝

區別於另一個比較常用的Go語言redis client庫：redigo，我們這裡採用https://github.com/go-redis/redis連線Redis資料庫並進行操作，因為go-redis支援連線哨兵及叢集模式的Redis。

使用以下命令下載並安裝:

go get -u github.com/go-redis/redis

連線

普通連線

// 宣告一個全域性的rdb變數
var rdb *redis.Client
// 初始化連線
func initClient() (err error) {
	rdb = redis.NewClient(&redis.Options{
		Addr:     "localhost:6379",
		Password: "", // no password set
		DB:       0,  // use default DB
	})
	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}

V8新版本相關

最新版本的go-redis庫的相關命令都需要傳遞context.Context引數，例如：

package main
import (
	"context"
	"fmt"
	"time"
	"github.com/go-redis/redis/v8" // 注意匯入的是新版本
)
var (
	rdb *redis.Client
)
// 初始化連線
func initClient() (err error) {
	rdb = redis.NewClient(&redis.Options{
		Addr:     "localhost:16379",
		Password: "",  // no password set
		DB:       0,   // use default DB
		PoolSize: 100, // 連線池大小
	})
	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()
	_, err = rdb.Ping(ctx).Result()
	return err
}
func V8Example() {
	ctx := context.Background()
	if err := initClient(); err != nil {
		return
	}

	err := rdb.Set(ctx, "key", "value", 0).Err()
	if err != nil {
		panic(err)
	}

	val, err := rdb.Get(ctx, "key").Result()
	if err != nil {
		panic(err)
	}
	fmt.Println("key", val)
	val2, err := rdb.Get(ctx, "key2").Result()
	if err == redis.Nil {
		fmt.Println("key2 does not exist")
	} else if err != nil {
		panic(err)
	} else {
		fmt.Println("key2", val2)
	}
	// Output: key value
	// key2 does not exist
}

連線Redis哨兵模式

func initClient()(err error){
	rdb := redis.NewFailoverClient(&redis.FailoverOptions{
		MasterName:    "master",
		SentinelAddrs: []string{"x.x.x.x:26379", "xx.xx.xx.xx:26379", "xxx.xxx.xxx.xxx:26379"},
	})
	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}

連線Redis叢集

func initClient()(err error){
	rdb := redis.NewClusterClient(&redis.ClusterOptions{
		Addrs: []string{":7000", ":7001", ":7002", ":7003", ":7004", ":7005"},
	})
	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}

基本使用

HVals

package main
import (
	"fmt"
	"github.com/go-redis/redis"
	"reflect"
)
var rdb *redis.Client
// 初始化連線
func initClient() (err error) {
	rdb = redis.NewClient(&redis.Options{
		Addr:     "10.0.3.100:6379",
		Password: "EfcHGSzKqg6cfzWq", // no password set
		DB:       8,  // use default DB
	})

	_, err = rdb.Ping().Result()
	if err != nil {
		return err
	}
	return nil
}
func main() {
	err:=initClient()
	if err != nil {
		fmt.Println(err)
	}
	value,err2 := rdb.HVals("toutiao_web_gt100").Result()
	if err2 != nil {
		fmt.Println(err2)
	}
	fmt.Println(reflect.TypeOf(value))
	fmt.Println(len(value))
	for i,j:=0,len(value);i<j;i++{
		fmt.Println(value[i])
	}
}

set/get範例

func redisExample() {
	err := rdb.Set("score", 100, 0).Err()
	if err != nil {
		fmt.Printf("set score failed, err:%vn", err)
		return
	}
	val, err := rdb.Get("score").Result()
	if err != nil {
		fmt.Printf("get score failed, err:%vn", err)
		return
	}
	fmt.Println("score", val)
	val2, err := rdb.Get("name").Result()
	if err == redis.Nil {
		fmt.Println("name does not exist")
	} else if err != nil {
		fmt.Printf("get name failed, err:%vn", err)
		return
	} else {
		fmt.Println("name", val2)
	}
}

zset範例

func redisExample2() {
	zsetKey := "language_rank"
	languages := []redis.Z{
		redis.Z{Score: 90.0, Member: "Golang"},
		redis.Z{Score: 98.0, Member: "Java"},
		redis.Z{Score: 95.0, Member: "Python"},
		redis.Z{Score: 97.0, Member: "JavaScript"},
		redis.Z{Score: 99.0, Member: "C/C++"},
	}
	// ZADD
	num, err := rdb.ZAdd(zsetKey, languages...).Result()
	if err != nil {
		fmt.Printf("zadd failed, err:%vn", err)
		return
	}
	fmt.Printf("zadd %d succ.n", num)

	// 把Golang的分數加10
	newScore, err := rdb.ZIncrBy(zsetKey, 10.0, "Golang").Result()
	if err != nil {
		fmt.Printf("zincrby failed, err:%vn", err)
		return
	}
	fmt.Printf("Golang's score is %f now.n", newScore)

	// 取分數最高的3個
	ret, err := rdb.ZRevRangeWithScores(zsetKey, 0, 2).Result()
	if err != nil {
		fmt.Printf("zrevrange failed, err:%vn", err)
		return
	}
	for _, z := range ret {
		fmt.Println(z.Member, z.Score)
	}

	// 取95~100分的
	op := redis.ZRangeBy{
		Min: "95",
		Max: "100",
	}
	ret, err = rdb.ZRangeByScoreWithScores(zsetKey, op).Result()
	if err != nil {
		fmt.Printf("zrangebyscore failed, err:%vn", err)
		return
	}
	for _, z := range ret {
		fmt.Println(z.Member, z.Score)
	}
}

輸出結果如下：

$ ./06redis_demo 
zadd 0 succ.
Golang's score is 100.000000 now.
Golang 100
C/C++ 99
Java 98
JavaScript 97
Java 98
C/C++ 99
Golang 100

根據字首獲取Key

vals, err := rdb.Keys(ctx, "prefix*").Result()

執行自定義命令

res, err := rdb.Do(ctx, "set", "key", "value").Result()

按萬用字元刪除key

當萬用字元匹配的key的數量不多時，可以使用Keys()得到所有的key在使用Del命令刪除。如果key的數量非常多的時候，我們可以搭配使用Scan命令和Del命令完成刪除。

ctx := context.Background()
iter := rdb.Scan(ctx, 0, "prefix*", 0).Iterator()
for iter.Next(ctx) {
	err := rdb.Del(ctx, iter.Val()).Err()
	if err != nil {
		panic(err)
	}
}
if err := iter.Err(); err != nil {
	panic(err)
}

Pipeline

Pipeline 主要是一種網路優化。它本質上意味著使用者端緩衝一堆命令並一次性將它們傳送到伺服器。這些命令不能保證在事務中執行。這樣做的好處是節省了每個命令的網路往返時間（RTT）。

Pipeline 基本範例如下：

pipe := rdb.Pipeline()
incr := pipe.Incr("pipeline_counter")
pipe.Expire("pipeline_counter", time.Hour)
_, err := pipe.Exec()
fmt.Println(incr.Val(), err)

上面的程式碼相當於將以下兩個命令一次發給redis server端執行，與不使用Pipeline相比能減少一次RTT。

INCR pipeline_counter
EXPIRE pipeline_counts 3600

也可以使用Pipelined：

var incr *redis.IntCmd
_, err := rdb.Pipelined(func(pipe redis.Pipeliner) error {
	incr = pipe.Incr("pipelined_counter")
	pipe.Expire("pipelined_counter", time.Hour)
	return nil
})
fmt.Println(incr.Val(), err)

在某些場景下，當我們有多條命令要執行時，就可以考慮使用pipeline來優化。

事務

Redis是單執行緒的，因此單個命令始終是原子的，但是來自不同使用者端的兩個給定命令可以依次執行，例如在它們之間交替執行。但是，Multi/exec能夠確保在multi/exec兩個語句之間的命令之間沒有其他使用者端正在執行命令。

在這種場景我們需要使用TxPipeline。TxPipeline總體上類似於上面的Pipeline，但是它內部會使用MULTI/EXEC包裹排隊的命令。例如：

pipe := rdb.TxPipeline()
incr := pipe.Incr("tx_pipeline_counter")
pipe.Expire("tx_pipeline_counter", time.Hour)
_, err := pipe.Exec()
fmt.Println(incr.Val(), err)

上面程式碼相當於在一個RTT下執行了下面的redis命令：

MULTI
INCR pipeline_counter
EXPIRE pipeline_counts 3600
EXEC

還有一個與上文類似的TxPipelined方法，使用方法如下：

var incr *redis.IntCmd
_, err := rdb.TxPipelined(func(pipe redis.Pipeliner) error {
	incr = pipe.Incr("tx_pipelined_counter")
	pipe.Expire("tx_pipelined_counter", time.Hour)
	return nil
})
fmt.Println(incr.Val(), err)

Watch

在某些場景下，我們除了要使用MULTI/EXEC命令外，還需要配合使用WATCH命令。在使用者使用WATCH命令監視某個鍵之後，直到該使用者執行EXEC命令的這段時間裡，如果有其他使用者搶先對被監視的鍵進行了替換、更新、刪除等操作，那麼當用戶嘗試執行EXEC的時候，事務將失敗並返回一個錯誤，使用者可以根據這個錯誤選擇重試事務或者放棄事務。

Watch(fn func(*Tx) error, keys ...string) error

Watch方法接收一個函數和一個或多個key作為引數。基本使用範例如下：

// 監視watch_count的值，並在值不變的前提下將其值+1
key := "watch_count"
err = client.Watch(func(tx *redis.Tx) error {
	n, err := tx.Get(key).Int()
	if err != nil && err != redis.Nil {
		return err
	}
	_, err = tx.Pipelined(func(pipe redis.Pipeliner) error {
		pipe.Set(key, n+1, 0)
		return nil
	})
	return err
}, key)

最後看一個V8版本官方檔案中使用GET和SET命令以事務方式遞增Key的值的範例，僅當Key的值不發生變化時提交一個事務。

func transactionDemo() {
	var (
		maxRetries   = 1000
		routineCount = 10
	)
	ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
	defer cancel()
	// Increment 使用GET和SET命令以事務方式遞增Key的值
	increment := func(key string) error {
		// 事務函數
		txf := func(tx *redis.Tx) error {
			// 獲得key的當前值或零值
			n, err := tx.Get(ctx, key).Int()
			if err != nil && err != redis.Nil {
				return err
			}
			// 實際的操作程式碼（樂觀鎖定中的本地操作）
			n++
			// 操作僅在 Watch 的 Key 沒發生變化的情況下提交
			_, err = tx.TxPipelined(ctx, func(pipe redis.Pipeliner) error {
				pipe.Set(ctx, key, n, 0)
				return nil
			})
			return err
		}
		// 最多重試 maxRetries 次
		for i := 0; i < maxRetries; i++ {
			err := rdb.Watch(ctx, txf, key)
			if err == nil {
				// 成功
				return nil
			}
			if err == redis.TxFailedErr {
				// 樂觀鎖丟失 重試
				continue
			}
			// 返回其他的錯誤
			return err
		}
		return errors.New("increment reached maximum number of retries")
	}
	// 模擬 routineCount 個並行同時去修改 counter3 的值
	var wg sync.WaitGroup
	wg.Add(routineCount)
	for i := 0; i < routineCount; i++ {
		go func() {
			defer wg.Done()
			if err := increment("counter3"); err != nil {
				fmt.Println("increment error:", err)
			}
		}()
	}
	wg.Wait()
	n, err := rdb.Get(context.TODO(), "counter3").Int()
	fmt.Println("ended with", n, err)
}

以上就是golang連線redis庫及基本操作範例過程的詳細內容，更多關於golang連線redis庫操作過程的資料請關注it145.com其它相關文章！