Prometheus監控實戰篇Nginx、Hbase操作詳解

2022-02-28 13:05:56

一、Prometheus監控Nginx

1、監控Nginx相關外掛下載地址

nginx_exporter下載地址
 Nginx_module-vts下載地址
 nginx-release下載地址

Prometheus（8.3.3）和grafana（2.32.1）我使用的是官網最新版

2、編譯Nginx

注意：我這邊是使用rpm安裝的Nginx。所以要進行編譯一下，可以根據自己的實際情況進行操作

2.1 下載 nginx-release 並解壓

如果有這兩個目錄將其刪除掉

rm -rf Makefile objs

2.2 解壓 Nginx-module-vts，到/opt/nginx/

2.3 執行以下命令，進行編譯Nginx

./configure --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/lib/nginx/tmp/client_body --http-proxy-temp-path=/var/lib/nginx/tmp/proxy --http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi --http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi --http-scgi-temp-path=/var/lib/nginx/tmp/scgi --pid-path=/run/nginx.pid --lock-path=/run/lock/subsys/nginx --user=nginx --group=nginx --with-compat --with-debug --with-file-aio --with-http_addition_module --with-http_auth_request_module --with-http_dav_module --with-http_degradation_module --with-http_flv_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module=dynamic --with-http_mp4_module --with-http_perl_module=dynamic --with-http_random_index_module --with-http_realip_module --with-http_secure_link_module --with-http_slice_module --with-http_ssl_module --with-http_stub_status_module --with-http_sub_module --with-http_v2_module --with-http_xslt_module=dynamic --with-mail=dynamic --with-mail_ssl_module --with-pcre --with-pcre-jit --with-stream=dynamic --with-stream_ssl_module --with-stream_ssl_preread_module --with-threads --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1 -m64 -mtune=generic' --with-ld-opt='-Wl,-z,relro -specs=/usr/lib/rpm/redhat/redhat-hardened-ld -Wl,-E' --add-module=/opt/nginx/nginx-module-vts-0.1.18

2.4 再執行 make 命令

注意: 不要執行make install

make

2.5 將編譯後的二進位制檔案以及模組放到對應的目錄下，並將原來的做備份

2.6 在Nginx 新增以下內容到Nginx組態檔中

location /status {
    vhost_traffic_status_display;
    vhost_traffic_status_display_format html;
}

2.7 重新啟動Nginx，並檢查服務是否正常

http://127.0.0.1:80/status/

2.8 解壓Nginx-vts-exporter，並啟動

啟動nginx-vts-exporter（預設埠為9913）

nohup ./nginx-vts-exporter -nginx.scrape_uri=http://127.0.0.1:80/status/format/json &

2.9 在Prometheus中新增Nginx-vts-exporter,並重啟Prometheus

vim promethues.yml
  - job_name: "nginx_exporter"
    static_configs:
      - targets: ["localhost:9913"]

2.10 在grafana 中新增模組使用的模組是2949，也可以自己定義

資料展示

二、Prometheus監控hbase

1. 監控hbase外掛下載地址

jmx_prometheus_javaagent
grafana模組

2. 部署

2.1 將下載好的jmx_prometheus_javaagent 移動到hbase的lib下

2.2 設定 hbase_jmx_config.yaml

vim /usr/hbase/conf/ hbase_jmx_config.yaml

---
lowercaseOutputName: true
lowercaseOutputLabelNames: true
rules:
- pattern: Hadoop<service=HBase, name=RegionServer, sub=Regions><>Namespace_([^W_]+)_table_([^W_]+)_region_([^W_]+)_metric_(w+)
  name: HBase_metric_$4
  labels:
    namespace: "$1"
    table: "$2"
    region: "$3"
- pattern: Hadoop<service=(w+), name=(w+), sub=(w+)><>([w._]+)
  name: hadoop_$1_$4
  labels:
    "name": "$2"
    "sub": "$3"
- pattern: .+

2.3 在hbase-env.sh 中新增以下引數,並重啟hbase

注意：分別在master和regionserver 都要新增，但是要注意埠不可以相同。（每臺服務都做以上操作）

master

-javaagent:$HBASE_HOME/lib/jmx_prometheus_javaagent-0.16.1.jar=17000:$HBASE_HOME/conf/hbase_jmx_config.yaml

regionserver

-javaagent:$HBASE_HOME/lib/jmx_prometheus_javaagent-0.16.1.jar=18000:$HBASE_HOME/conf/hbase_jmx_config.yaml

2.4 檢視是否採集資料

http://127.0.0.1:17000/metrics

2.5 設定Prometheus server,並重啟服務

IP地址根據實際情況改寫

vim prometheus.yml
  - job_name: "hbase_exporter"
    static_configs:
      - targets: ["127.0.0.1:17000"]
      - targets: ["127.0.0.1:18000"]
      - targets: ["127.0.0.1:18000"]
      - targets: ["127.0.0.1:18000"]
      - targets: ["127.0.0.1:18000"]