go單體紀錄檔採集zincsearch方案實現

2022-07-25 18:05:09

前言

微服務中的紀錄檔採集方案ELK(EFK)已經是基本事實標準了，但是單體服務中卻沒有像ELK這樣的成熟採集方案，這與單體性質有關，單體畢竟涉及到服務少，而ELK又是很耗費資源的，單體要是上ELK，可能需要的伺服器資源比業務伺服器還多，所以單體沒有上ELK的。

但是單體也有紀錄檔採集需要，畢竟出了問題都要查紀錄檔的，如果沒有采集系統，就只能靠tail命令不斷去找，就算有，一般也是直接放到mysql或者mongodb中，然後直接查庫，好點的可能做個查詢頁面。

下面我要介紹的是個號稱ElasticSearch替代方案的zincsearch，這個zincsearch是對標ElasticSearch的，專門解決es的部署困難，資源要求高。這個zincsearch由go語言編寫而成，非常容易就跑起來了。

週末有時間正好對zinsearch進行了調研，網上類似的技術文章真的太少了，有的也是官網檔案的翻譯。

一構架

zincsearch用官方的話說是一個全文字搜尋引擎，而且搜尋很快。支援es格式介面，一般ELK中直接filebeat採集資料直接給es，你要使用zincsearch可以直接把它放到filebeat後頭，filebeat採集資料給zincsearch。因為單體比較簡單，filebeat使用也有一定門檻，我就自己寫了一個logfile，專門採集紀錄檔，通過介面把資料傳給zincsearch，構架如下圖。

資料入庫後通過zincsearch自帶ui介面(類似kibana)就可以檢索資料了.

二 zinsearch 安裝

我是通過docker安裝的，為了方便啟動做成了一個docker-compose，設定如下：

docker-compose.yml

version: '3.5'
networks:
  zinnet:
    driver: ${NETWORKS_DRIVER}
services:
  zinc: ## mqtt 服務
    image: zinc:v1
    environment:
      - TZ=${TZ}
      - DATA_PATH="/data"
      - ZINC_FIRST_ADMIN_USER=admin
      - ZINC_FIRST_ADMIN_PASSWORD=123456
      - ZINC_PROMETHEUS_ENABLE=true
    ports:
      - "4080:4080"
    volumes:
      - ${DATA_PATH_HOST}:/data
    networks:
      - ${NET_NAME}
    restart: always

.env

# 設定時區
TZ=Asia/Shanghai
# 設定網路模式
NETWORKS_DRIVER=bridge
# 宿主機上Mysql Reids資料存放的目錄路徑
DATA_PATH_HOST = ./data
# 網路名稱
NET_NAME = zinnet

在目錄下建立指定的data目錄執行 docker-compose up -d 即可。

二 logbeat

logbeat是一個我自己寫的類似filebeat的採集器，主要原理也是用了一個由tail作用的go庫對檔案進行監控，當由資料採集上來後進行過濾處理然後傳送給zincsearch。

logbeat也是完全由golang編寫，專案地址 gitee.com/lambdang/lo… 該專案下載下來編譯後進行設定即可使用。

logbeat特點：

當zincsearch掛掉後整個採集就阻塞住了，會按照設定的時長進行服務可用性輪詢試探，直到zincsearch服務恢復
該logbeat支援多文字紀錄檔監控，採集後為了減少zincsearch的壓力，會順序進行資料傳送。

如果有filebeat經驗的人也可以直接用filebeat進行資料採集，zincsearch檔案上有filebeat的設定。

設定項如下：

Beat:
  Files:
    - 
      Index: api
      File: ./test.log
  Hosts: http://localhost:4080
  Username: admin
  Password: "123456"
  RetrySecond: 300 #重試秒s
Log:
  OutType: all