Go學習筆記之Zap紀錄檔的使用

2022-07-15 22:02:06

Log包

Go語言提供的預設紀錄檔包：https://golang.org/pkg/log/

基本用法

log包定義了Logger型別，該型別提供了一些格式化輸出的方法。

type Logger struct {
    mu     sync.Mutex // ensures atomic writes; protects the following fields
    prefix string     // prefix on each line to identify the logger (but see                            Lmsgprefix)
    flag   int        // properties
    out    io.Writer  // destination for output
    buf    []byte     // for accumulating text to write
}

mu屬性主要是為了確保原子操作，prefix設定每一行的字首，flag設定輸出的各種屬性，比如時間、行號、檔案路徑等。out輸出的方向，用於把紀錄檔儲存檔案。

例如，我們可以像下面的程式碼一樣直接通過log包來呼叫上面提到的方法，預設它們會將紀錄檔資訊列印到終端介面：

log.Println("這是一條優雅的紀錄檔。")
v := "優雅的"
log.Printf("這是一個%s紀錄檔n", v)
//fatal系列函數會在寫入紀錄檔資訊後呼叫os.Exit(1)
log.Fatalln("這是一天會觸發fatal的紀錄檔") 
//Panic系列函數會在寫入紀錄檔資訊後panic
log.Panicln("這是一個會觸發panic的紀錄檔。") //執行後會自動觸發一個異常

flag屬性

預設情況下的logger只會提供紀錄檔的時間資訊，但是很多情況下我們希望得到更多資訊，比如記錄該紀錄檔的檔名和行號等。log標準庫中為我們提供了客製化這些設定的方法。

log標準庫中的Flags函數會返回標準logger的輸出設定，而SetFlags函數用來設定標準logger的輸出設定。下面是flag屬性對應的常數

const (
    Ldate    = 1 << iota     // the date in the local time zone: 2009/01/23
    Ltime                    // the time in the local time zone: 01:23:23
    Lmicroseconds           // microsecond resolution: 01:23:23.123123.  assumes Ltime.
    Llongfile               // full file name and line number: /a/b/c/d.go:23
    Lshortfile   // final file name element and line number: d.go:23. overrides Llongfile
    LUTC         // if Ldate or Ltime is set, use UTC rather than the local time zone
    Lmsgprefix  // move the "prefix" from the beginning of the line to before the message
    LstdFlags = Ldate | Ltime // initial values for the standard logger
)

設定輸出屬性的程式碼如下：

func main() {
    log.SetFlags(log.Llongfile | log.Lmicroseconds | log.Ldate)
    log.Println("這是一條優雅的紀錄檔。")
}

編譯輸出：

2020/07/14 22:51:06.079594 D:/xxx/test_log.go:24: 這是一條優雅的紀錄檔。

prefix屬性

log標準庫中還提供了關於紀錄檔資訊字首的兩個方法：其中Prefix函數用來檢視標準logger的輸出字首，SetPrefix函數用來設定輸出字首。

func Prefix() string
 func SetPrefix(prefix string)

設定紀錄檔輸出字首的程式碼如下：

func main() {
    log.SetPrefix("[PS]")
    log.Println("這是一條很普通的紀錄檔。")
}

編譯輸出：

[PS]2020/07/14 22:56:15.652555 D:/xxx/test_log.go:26: 這是一個普通的紀錄檔

out屬性

out屬性是一個io.Writer輸出流，使用它可以把紀錄檔輸出為檔案。

需要用的方法為：設定標準logger的輸出目的地，預設是標準錯誤輸出。

func SetOutput(w io.Writer)

例如，下面的程式碼會把紀錄檔輸出到同目錄下的xx.log檔案中。

func main() {
    logFile, err := os.OpenFile("./xx.log", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
    if err != nil {
        fmt.Println("open log file failed, err:", err)
        return
    }
    log.SetOutput(logFile)
    log.SetFlags(log.Llongfile | log.Lmicroseconds | log.Ldate)
    log.Println("這是一條很普通的紀錄檔。")
    log.SetPrefix("[PS]")
    log.Println("這是一條很普通的紀錄檔。")
}

如果你要使用標準的logger，我們通常會把上面的設定操作寫到init函數中。

func init() {
    logFile, err := os.OpenFile("./xx.log", os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0644)
    if err != nil {
        fmt.Println("open log file failed, err:", err)
        return
    }
    log.SetOutput(logFile)
    log.SetFlags(log.Llongfile | log.Lmicroseconds | log.Ldate)
}

建立新的Logger

log標準庫中還提供了一個建立新logger物件的建構函式 New，支援我們建立自己的logger範例。New函數的簽名如下：

func New(out io.Writer, prefix string, flag int) *Logger

New建立一個Logger物件。其中，引數out設定紀錄檔資訊寫入的目的地。引數prefix會新增到生成的每一條紀錄檔前面。引數flag定義紀錄檔的屬性（時間、檔案等等）。

舉個例子：

func main() {
    logger := log.New(os.Stdout, "<PS>", log.Lshortfile|log.Ldate|log.Ltime)
    logger.Println("這是自定義的logger記錄的紀錄檔。")
}

編譯輸出：

<PS>2020/07/14 23:02:59 test_log.go:43: 這是自定義的logger記錄的紀錄檔

自定義Go Logger

可以設定任何io.Writer作為紀錄檔記錄輸出並向其傳送要寫入的紀錄檔

設定

func SetupLogger() {
    logFileLocation, _ := os.OpenFile("./test.log", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0744)
    log.SetOutput(logFileLocation)
}

使用

func test(){
   log.Printf("Test log: %s %s", "Hello", "World")
}

執行

func main() {
    SetupLogger()
  test()
}

Zap

Zap是非常快的、結構化的，分紀錄檔級別的Go紀錄檔庫。

安裝

go get -u go.uber.org/zap

設定Zap Logger

Zap提供了兩種型別的紀錄檔記錄器—Sugared Logger和Logger。

Logger更快，但只支援強型別的結構化紀錄檔記錄。
Sugared Logger支援結構化和printf風格的紀錄檔記錄。

Logger

通過呼叫zap.NewProduction()/zap.NewDevelopment()或者zap.Example()建立一個Logger。
Example和Production使用的是 json 格式輸出，Development 使用行的形式輸出
Development從警告級別(Warn)向上列印到堆疊中來跟蹤，
ProductionError , Dpanic 級別的記錄，會在堆疊中跟蹤檔案， Warn 不會
通過Logger呼叫Info/Error等。
預設情況下紀錄檔都會列印到應用程式的console介面。

var logger *zap.Logger

func main() {
    InitLogger()
  defer logger.Sync()
    simpleHttpGet("www.google.com")
    simpleHttpGet("http://www.google.com")
}

func InitLogger() {
    logger, _ = zap.NewProduction()
}

func simpleHttpGet(url string) {
    resp, err := http.Get(url)
    if err != nil {
        logger.Error(
            "Error fetching url..",
            zap.String("url", url),
            zap.Error(err))
    } else {
        logger.Info("Success..",
            zap.String("statusCode", resp.Status),
            zap.String("url", url))
        resp.Body.Close()
    }
}

在上面的程式碼中，我們首先建立了一個Logger，然後使用Info/ Error等Logger方法記錄訊息。

紀錄檔記錄器方法的語法是這樣的：

func (log *Logger) MethodXXX(msg string, fields ...Field)

其中MethodXXX是一個可變引數函數，可以是Info / Error/ Debug / Panic等。每個方法都接受一個訊息字串和任意數量的zapcore.Field場引數。

每個zapcore.Field其實就是一組鍵值對引數。

我們執行上面的程式碼會得到如下輸出結果：

{"level":"error","ts":1572159218.912792,"caller":"zap_demo/temp.go:25","msg":"Error fetching url..","url":"www.sogo.com","error":"Get www.sogo.com: unsupported protocol scheme ""","stacktrace":"main.simpleHttpGetnt/Users/itxiaoma/zap_demo/temp.go:25nmain.mainnt/Users/itxiaoma/zap_demo/temp.go:14nruntime.mainnt/usr/local/go/src/runtime/proc.go:203"}
{"level":"info","ts":1572159219.1227388,"caller":"zap_demo/temp.go:30","msg":"Success..","statusCode":"200 OK","url":"http://www.sogo.com"}

Sugared Logger

slogger := logger.Sugar()

suger logger基於 printf 分割的反射型別檢測，提供更簡單的語法來新增混合型別的標籤。

var sugarLogger *zap.SugaredLogger

func main() {
    InitLogger()
    defer sugarLogger.Sync()
    simpleHttpGet("www.google.com")
    simpleHttpGet("http://www.google.com")
}

func InitLogger() {
  logger, _ := zap.NewProduction()
    sugarLogger = logger.Sugar()
}

func simpleHttpGet(url string) {
    sugarLogger.Debugf("Trying to hit GET request for %s", url)
    resp, err := http.Get(url)
    if err != nil {
        sugarLogger.Errorf("Error fetching URL %s : Error = %s", url, err)
    } else {
        sugarLogger.Infof("Success! statusCode = %s for URL %s", resp.Status, url)
        resp.Body.Close()
    }
}

執行結果：

{"level":"error","ts":1572159149.923002,"caller":"logic/temp2.go:27","msg":"Error fetching URL www.sogo.com : Error = Get www.sogo.com: unsupported protocol scheme ""","stacktrace":"main.simpleHttpGetnt/Users/itxiaoma/zap_demo/logic/temp2.go:27nmain.mainnt/Users/itxiaoma/zap_demo/logic/temp2.go:14nruntime.mainnt/usr/local/go/src/runtime/proc.go:203"}
{"level":"info","ts":1572159150.192585,"caller":"logic/temp2.go:29","msg":"Success! statusCode = 200 OK for URL http://www.sogo.com"}

客製化logger

1. 紀錄檔寫入檔案

使用zap.New(…)方法來手動傳遞所有設定，而不是使用像zap.NewProduction()這樣的預置方法來建立logger。

func New(core zapcore.Core, options ...Option) *Logger

Encoder:編碼器(如何寫入紀錄檔)。我們將使用開箱即用的NewJSONEncoder()，並使用預先設定的ProductionEncoderConfig()。

zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())

WriterSyncer ：指定紀錄檔將寫到哪裡去。我們使用zapcore.AddSync()函數並且將開啟的檔案控制程式碼傳進去。

file, _ := os.Create("./test.log")
writeSyncer := zapcore.AddSync(file)

Log Level：哪種級別的紀錄檔將被寫入。

func InitLogger() {
    writeSyncer := getLogWriter()
    encoder := getEncoder()
    core := zapcore.NewCore(encoder, writeSyncer, zapcore.DebugLevel)

    logger := zap.New(core)
    sugarLogger = logger.Sugar()
}

func getEncoder() zapcore.Encoder {
    return zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())
}

func getLogWriter() zapcore.WriteSyncer {
    file, _ := os.Create("./test.log")
    return zapcore.AddSync(file)
}

當使用這些修改過的logger設定呼叫上述部分的main()函數時，以下輸出將列印在檔案——test.log中。

{"level":"debug","ts":1572160754.994731,"msg":"Trying to hit GET request for www.sogo.com"}
{"level":"error","ts":1572160754.994982,"msg":"Error fetching URL www.sogo.com : Error = Get www.sogo.com: unsupported protocol scheme """}
{"level":"debug","ts":1572160754.994996,"msg":"Trying to hit GET request for http://www.sogo.com"}
{"level":"info","ts":1572160757.3755069,"msg":"Success! statusCode = 200 OK for URL http://www.sogo.com"}

2.將JSON Encoder更改為普通的Log Encoder

將NewJSONEncoder()更改為NewConsoleEncoder()。

return zapcore.NewConsoleEncoder(zap.NewProductionEncoderConfig())

當使用這些修改過的logger設定呼叫上述部分的main()函數時，以下輸出將列印在檔案——test.log中。

1.572161051846623e+09 debug Trying to hit GET request for www.sogo.com
1.572161051846828e+09 error Error fetching URL www.sogo.com : Error = Get www.sogo.com: unsupported protocol scheme ""
1.5721610518468401e+09 debug Trying to hit GET request for http://www.sogo.com
1.572161052068744e+09 info Success! statusCode = 200 OK for URL http://www.sogo.com

3. 更改時間編碼並新增呼叫者詳細資訊

修改時間編碼器：

func getEncoder() zapcore.Encoder {
    encoderConfig := zap.NewProductionEncoderConfig()
    encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
    encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
    return zapcore.NewConsoleEncoder(encoderConfig)
}

新增呼叫方資訊：在zap.New(..)函數中新增一個Option。

logger := zap.New(core, zap.AddCaller())

最終結果：

2019-10-27T15:33:29.855+0800 DEBUG logic/temp2.go:47 Trying to hit GET request for www.sogo.com
2019-10-27T15:33:29.855+0800 ERROR logic/temp2.go:50 Error fetching URL www.sogo.com : Error = Get www.sogo.com: unsupported protocol scheme ""
2019-10-27T15:33:29.856+0800 DEBUG logic/temp2.go:47 Trying to hit GET request for http://www.sogo.com
2019-10-27T15:33:30.125+0800 INFO logic/temp2.go:52 Success! statusCode = 200 OK for URL http://www.sogo.com

Lumberjack 紀錄檔切割

安裝

go get -u github.com/natefinch/lumberjack

使用

func getLogWriter() zapcore.WriteSyncer {
    lumberJackLogger := &lumberjack.Logger{
        Filename:   "./test.log",
        MaxSize:    10,
        MaxBackups: 5,
        MaxAge:     30,
        Compress:   false,
    }
    return zapcore.AddSync(lumberJackLogger)
}

Lumberjack Logger採用以下屬性作為輸入:

Filename: 紀錄檔檔案的位置
MaxSize：在進行切割之前，紀錄檔檔案的最大大小（以MB為單位）
MaxBackups：保留舊檔案的最大個數
MaxAges：保留舊檔案的最大天數
Compress：是否壓縮/歸檔舊檔案

Zap接收Gin預設紀錄檔

我們在使用gin.Default()的同時是用到了gin框架內的兩個預設中介軟體Logger()和Recovery()。

Logger()是把gin框架本身的紀錄檔輸出到標準輸出（我們本地開發偵錯時在終端輸出的那些紀錄檔就是它的功勞）
Recovery()是在程式出現panic的時候恢復現場並寫入500響應的。

基於zap的中介軟體

替換gin.Default()

r := gin.New()
r.Use(GinLogger(), GinRecovery())

中介軟體：

// GinLogger 接收gin框架預設的紀錄檔
func GinLogger(logger *zap.Logger) gin.HandlerFunc {
    return func(c *gin.Context) {
        start := time.Now()
        path := c.Request.URL.Path
        query := c.Request.URL.RawQuery
        c.Next()

        cost := time.Since(start)
        logger.Info(path,
            zap.Int("status", c.Writer.Status()),
            zap.String("method", c.Request.Method),
            zap.String("path", path),
            zap.String("query", query),
            zap.String("ip", c.ClientIP()),
            zap.String("user-agent", c.Request.UserAgent()),
            zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
            zap.Duration("cost", cost),
        )
    }
}

// GinRecovery recover掉專案可能出現的panic
func GinRecovery(logger *zap.Logger, stack bool) gin.HandlerFunc {
    return func(c *gin.Context) {
        defer func() {
            if err := recover(); err != nil {
                // Check for a broken connection, as it is not really a
                // condition that warrants a panic stack trace.
                var brokenPipe bool
                if ne, ok := err.(*net.OpError); ok {
                    if se, ok := ne.Err.(*os.SyscallError); ok {
                        if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
                            brokenPipe = true
                        }
                    }
                }

                httpRequest, _ := httputil.DumpRequest(c.Request, false)
                if brokenPipe {
                    logger.Error(c.Request.URL.Path,
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                    // If the connection is dead, we can't write a status to it.
                    c.Error(err.(error)) // nolint: errcheck
                    c.Abort()
                    return
                }

                if stack {
                    logger.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                        zap.String("stack", string(debug.Stack())),
                    )
                } else {
                    logger.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                }
                c.AbortWithStatus(http.StatusInternalServerError)
            }
        }()
        c.Next()
    }
}

如果不想自己實現，可以使用github上有別人封裝好的https://github.com/gin-contrib/zap。

這樣我們就可以在gin框架中使用我們上面定義好的兩個中介軟體來代替gin框架預設的Logger()和Recovery()了。

在gin專案中使用zap

最後我們再加入我們專案中常用的紀錄檔切割，完整版的logger.go程式碼如下：

package logger

import (
    "gin_zap_demo/config"
    "net"
    "net/http"
    "net/http/httputil"
    "os"
    "runtime/debug"
    "strings"
    "time"

    "github.com/gin-gonic/gin"
    "github.com/natefinch/lumberjack"
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
)

var lg *zap.Logger

// InitLogger 初始化Logger
func InitLogger(cfg *config.LogConfig) (err error) {
    writeSyncer := getLogWriter(cfg.Filename, cfg.MaxSize, cfg.MaxBackups, cfg.MaxAge)
    encoder := getEncoder()
    var l = new(zapcore.Level)
    err = l.UnmarshalText([]byte(cfg.Level))
    if err != nil {
        return
    }
    core := zapcore.NewCore(encoder, writeSyncer, l)

    lg = zap.New(core, zap.AddCaller())
    zap.ReplaceGlobals(lg) // 替換zap包中全域性的logger範例，後續在其他包中只需使用zap.L()呼叫即可
    return
}

func getEncoder() zapcore.Encoder {
    encoderConfig := zap.NewProductionEncoderConfig()
    encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
    encoderConfig.TimeKey = "time"
    encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
    encoderConfig.EncodeDuration = zapcore.SecondsDurationEncoder
    encoderConfig.EncodeCaller = zapcore.ShortCallerEncoder
    return zapcore.NewJSONEncoder(encoderConfig)
}

func getLogWriter(filename string, maxSize, maxBackup, maxAge int) zapcore.WriteSyncer {
    lumberJackLogger := &lumberjack.Logger{
        Filename:   filename,
        MaxSize:    maxSize,
        MaxBackups: maxBackup,
        MaxAge:     maxAge,
    }
    return zapcore.AddSync(lumberJackLogger)
}

// GinLogger 接收gin框架預設的紀錄檔
func GinLogger() gin.HandlerFunc {
    return func(c *gin.Context) {
        start := time.Now()
        path := c.Request.URL.Path
        query := c.Request.URL.RawQuery
        c.Next()

        cost := time.Since(start)
        lg.Info(path,
            zap.Int("status", c.Writer.Status()),
            zap.String("method", c.Request.Method),
            zap.String("path", path),
            zap.String("query", query),
            zap.String("ip", c.ClientIP()),
            zap.String("user-agent", c.Request.UserAgent()),
            zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
            zap.Duration("cost", cost),
        )
    }
}

// GinRecovery recover掉專案可能出現的panic，並使用zap記錄相關紀錄檔
func GinRecovery(stack bool) gin.HandlerFunc {
    return func(c *gin.Context) {
        defer func() {
            if err := recover(); err != nil {
                // Check for a broken connection, as it is not really a
                // condition that warrants a panic stack trace.
                var brokenPipe bool
                if ne, ok := err.(*net.OpError); ok {
                    if se, ok := ne.Err.(*os.SyscallError); ok {
                        if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
                            brokenPipe = true
                        }
                    }
                }

                httpRequest, _ := httputil.DumpRequest(c.Request, false)
                if brokenPipe {
                    lg.Error(c.Request.URL.Path,
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                    // If the connection is dead, we can't write a status to it.
                    c.Error(err.(error)) // nolint: errcheck
                    c.Abort()
                    return
                }

                if stack {
                    lg.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                        zap.String("stack", string(debug.Stack())),
                    )
                } else {
                    lg.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                }
                c.AbortWithStatus(http.StatusInternalServerError)
            }
        }()
        c.Next()
    }
}

然後定義紀錄檔相關設定：

type LogConfig struct {
    Level string `json:"level"`
    Filename string `json:"filename"`
    MaxSize int `json:"maxsize"`
    MaxAge int `json:"max_age"`
    MaxBackups int `json:"max_backups"`
}

在專案中先從組態檔載入設定資訊，再呼叫logger.InitLogger(config.Conf.LogConfig)即可完成logger範例的初識化。其中，通過r.Use(logger.GinLogger(), logger.GinRecovery(true))註冊我們的中介軟體來使用zap接收gin框架自身的紀錄檔，在專案中需要的地方通過使用zap.L().Xxx()方法來記錄自定義紀錄檔資訊。

package main

import (
    "fmt"
    "gin_zap_demo/config"
    "gin_zap_demo/logger"
    "net/http"
    "os"

    "go.uber.org/zap"

    "github.com/gin-gonic/gin"
)

func main() {
    // load config from config.json
    if len(os.Args) < 1 {
        return
    }

    if err := config.Init(os.Args[1]); err != nil {
        panic(err)
    }
    // init logger
    if err := logger.InitLogger(config.Conf.LogConfig); err != nil {
        fmt.Printf("init logger failed, err:%vn", err)
        return
    }

    gin.SetMode(config.Conf.Mode)

    r := gin.Default()
    // 註冊zap相關中介軟體
    r.Use(logger.GinLogger(), logger.GinRecovery(true))

    r.GET("/hello", func(c *gin.Context) {
        // 假設你有一些資料需要記錄到紀錄檔中
        var (
            name = "itxiaoma"
            age  = 18
        )
        // 記錄紀錄檔並使用zap.Xxx(key, val)記錄相關欄位
        zap.L().Debug("this is hello func", zap.String("user", name), zap.Int("age", age))

        c.String(http.StatusOK, "hello itxiaoma!")
    })

    addr := fmt.Sprintf(":%v", config.Conf.Port)
    r.Run(addr)
}

到此這篇關於Go學習筆記之Zap紀錄檔的使用的文章就介紹到這了,更多相關Go Zap紀錄檔內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！