CentOS 7下ELK5.4.1設定部署

2020-06-16 17:06:55

一、概念

1、核心組成

ELK由Elasticsearch、Logstash和Kibana三部分元件組成；Elasticsearch是個開源分散式搜尋引擎，它的特點有：分散式，零設定，自動發現，索引自動分片，索引副本機制，restful風格介面，多資料來源，自動搜尋負載等。

Logstash是一個完全開源的工具，它可以對你的紀錄檔進行收集、分析，並將其儲存供以後使用

kibana 是一個開源和免費的工具，它可以為 Logstash 和 ElasticSearch 提供的紀錄檔分析友好的 Web 介面，可以幫助您匯總、分析和搜尋重要資料紀錄檔

2.下載

官網下載地址：https://www.elastic.co/downloads

從中獲取最新版軟體包軟體包列表：

https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz

https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz

https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz

3.注意事項

a、所有節點作業系統版本最好保持一致，CentOS6.5測試最新版本核心不支援，盡可能使用目前centos7.3穩定版本。Elk伺服器設定需要，如果條件執行使用為2C4G，

b、本文件為單機版，即將Elasticsearch、Logstash和Kibana安裝在一台伺服器上，生產環境建議將其在docker中分開安裝，以便快速遷移至物理伺服器。

c、關閉selinux，關閉firewalld或新增埠例外.修改主機名稱。

二、安裝部署

1.安裝jdk

yum install -y java-1.8.0-openjdk 
hostnamectl set-hostname elk-1            #修改主機名 
systemctl stop firewalld                  #關閉firewalld 
setenforce 0

2.下載軟體包

3.安裝elasticsearch

cd /usr/local/tools
tar zxf elasticsearch-5.4.1.tar.gz 
mv elasticsearch-5.4.1 /usr/local/elasticsearch
cd /usr/local/elasticsearch/config/

編輯elasticsearch.yml

mkdir -p /usr/local/elasticsearch/data /usr/local/elasticsearch/logs
useradd elasticsearch 
chown -R elasticsearch:elasticsearch /usr/local/elasticsearch
echo "vm.max_map_count = 655360" >>/etc/sysctl.conf && sysctl -p

elasticsearch不可用root使用者啟動，新建elasticsearch執行使用者

編輯/etc/security/limits.conf檔案，新增以下內容

* soft nofile 65536  
* hard nofile 65536  
* soft nproc 65536  
* hard nproc 65536

啟動elasticsearch

su - elasticsearch  
cd /usr/local/elasticsearch 
bin/elasticsearch &

檢視埠監聽資訊

curl測試

4.安裝logstash

cd /usr/local/tools
tar -zxvf logstash-5.4.1.tar.gz 
mv logstash-5.4.1 /usr/local/logstash
cd /usr/local/logstash/config
vim 01-syslog.conf

安裝filebeat

cd /usr/local/tools/
tar -zxvf filebeat-5.4.1-linux-x86_64.tar.gz 
mv filebeat-5.4.1-linux-x86_64 /usr/local/filebeat
vim /usr/local/filebeat/filebeat.yml

啟動filebeat

/usr/local/filebeat
./filebeat &

啟動logstash（載入組態檔啟動）

cd /usr/local/logstash/
bin/logstash -f config/01-syslog.conf &

檢視監聽埠

稍等以後螢幕會輸出返回的結果

可以用名稱測試：curl http://172.17.10.198:9200/_search?pretty

我們想以web形式展現資料，就需要安裝kibana

5.安裝kibana

cd /usr/local/tools/
tar -zxf kibana-5.4.1-linux-x86_64.tar.gz 
mv kibana-5.4.1-linux-x86_64 /usr/local/kibana
cd /usr/local/kibana/config
vim /usr/local/kibana/config/kibana.yml