玄幻小说完本,有声

主頁 > 知識庫 > 深入淺析ELK原理與簡介

深入淺析ELK原理與簡介

為什么用到ELK：

一般我們需要進行日志分析場景：直接在日志文件中 grep、awk 就可以獲得自己想要的信息。但在規(guī)模較大的場景中，此方法效率低下，面臨問題包括日志量太大如何歸檔、文本搜索太慢怎么辦、如何多維度查詢。需要集中化的日志管理，所有服務器上的日志收集匯總。常見解決思路是建立集中式日志收集系統(tǒng)，將所有節(jié)點上的日志統(tǒng)一收集，管理，訪問。

一般大型系統(tǒng)是一個分布式部署的架構，不同的服務模塊部署在不同的服務器上，問題出現(xiàn)時，大部分情況需要根據問題暴露的關鍵信息，定位到具體的服務器和服務模塊，構建一套集中式日志系統(tǒng)，可以提高定位問題的效率。

一個完整的集中式日志系統(tǒng)，需要包含以下幾個主要特點：

收集－能夠采集多種來源的日志數據
傳輸－能夠穩(wěn)定的把日志數據傳輸到中央系統(tǒng)
存儲－如何存儲日志數據
分析－可以支持 UI 分析
警告－能夠提供錯誤報告，監(jiān)控機制

ELK提供了一整套解決方案，并且都是開源軟件，之間互相配合使用，完美銜接，高效的滿足了很多場合的應用。目前主流的一種日志系統(tǒng)。

ELK簡介：

ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個FileBeat，它是一個輕量級的日志收集處理工具(Agent)，F(xiàn)ilebeat占用資源少，適合于在各個服務器上搜集日志后傳輸給Logstash，官方也推薦此工具。

Elasticsearch是個開源分布式搜索引擎，提供搜集、分析、存儲數據三大功能。它的特點有：分布式，零配置，自動發(fā)現(xiàn)，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Logstash 主要是用來日志的搜集、分析、過濾日志的工具，支持大量的數據獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日志的主機上，server端負責將收到的各節(jié)點日志進行過濾、修改等操作在一并發(fā)往elasticsearch上去。

Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助匯總、分析和搜索重要數據日志。

Filebeat隸屬于Beats。目前Beats包含四種工具：

Packetbeat（搜集網絡流量數據）
Topbeat（搜集系統(tǒng)、進程和文件系統(tǒng)級別的 CPU 和內存使用情況等數據）
Filebeat（搜集文件數據）
Winlogbeat（搜集 Windows 事件日志數據）

官方文檔：

Filebeat：

https://www.elastic.co/cn/products/beats/filebeat
https://www.elastic.co/guide/en/beats/filebeat/5.6/index.html

Logstash：
https://www.elastic.co/cn/products/logstash
https://www.elastic.co/guide/en/logstash/5.6/index.html

Kibana:

https://www.elastic.co/cn/products/kibana

https://www.elastic.co/guide/en/kibana/5.5/index.html

Elasticsearch：
https://www.elastic.co/cn/products/elasticsearch
https://www.elastic.co/guide/en/elasticsearch/reference/5.6/index.html

elasticsearch中文社區(qū)：
https://elasticsearch.cn/

ELK架構圖：

架構圖一：

這是最簡單的一種ELK架構方式。優(yōu)點是搭建簡單，易于上手。缺點是Logstash耗資源較大，運行占用CPU和內存高。另外沒有消息隊列緩存，存在數據丟失隱患。

此架構由Logstash分布于各個節(jié)點上搜集相關日志、數據，并經過分析、過濾后發(fā)送給遠端服務器上的Elasticsearch進行存儲。Elasticsearch將數據以分片的形式壓縮存儲并提供多種API供用戶查詢，操作。用戶亦可以更直觀的通過配置Kibana Web方便的對日志查詢，并根據數據生成報表。

架構圖二：

此種架構引入了消息隊列機制，位于各個節(jié)點上的Logstash Agent先將數據/日志傳遞給Kafka（或者Redis），并將隊列中消息或數據間接傳遞給Logstash，Logstash過濾、分析后將數據傳遞給Elasticsearch存儲。最后由Kibana將日志和數據呈現(xiàn)給用戶。因為引入了Kafka（或者Redis）,所以即使遠端Logstash server因故障停止運行，數據將會先被存儲下來，從而避免數據丟失。

架構圖三：

此種架構將收集端logstash替換為beats，更靈活，消耗資源更少，擴展性更強。同時可配置Logstash 和Elasticsearch 集群用于支持大集群系統(tǒng)的運維日志數據監(jiān)控和查詢。

Filebeat工作原理：

Filebeat由兩個主要組件組成：prospectors 和 harvesters。這兩個組件協(xié)同工作將文件變動發(fā)送到指定的輸出中。

Harvester（收割機）：負責讀取單個文件內容。每個文件會啟動一個Harvester，每個Harvester會逐行讀取各個文件，并將文件內容發(fā)送到制定輸出中。Harvester負責打開和關閉文件，意味在Harvester運行的時候，文件描述符處于打開狀態(tài)，如果文件在收集中被重命名或者被刪除，F(xiàn)ilebeat會繼續(xù)讀取此文件。所以在Harvester關閉之前，磁盤不會被釋放。默認情況filebeat會保持文件打開的狀態(tài)，直到達到close_inactive（如果此選項開啟，filebeat會在指定時間內將不再更新的文件句柄關閉，時間從harvester讀取最后一行的時間開始計時。若文件句柄被關閉后，文件發(fā)生變化，則會啟動一個新的harvester。關閉文件句柄的時間不取決于文件的修改時間，若此參數配置不當，則可能發(fā)生日志不實時的情況，由scan_frequency參數決定，默認10s。Harvester使用內部時間戳來記錄文件最后被收集的時間。例如：設置5m，則在Harvester讀取文件的最后一行之后，開始倒計時5分鐘，若5分鐘內文件無變化，則關閉文件句柄。默認5m）。

Prospector（勘測者）：負責管理Harvester并找到所有讀取源。

Prospector會找到/apps/logs/*目錄下的所有info.log文件，并為每個文件啟動一個Harvester。Prospector會檢查每個文件，看Harvester是否已經啟動，是否需要啟動，或者文件是否可以忽略。若Harvester關閉，只有在文件大小發(fā)生變化的時候Prospector才會執(zhí)行檢查。只能檢測本地的文件。

Filebeat如何記錄文件狀態(tài)：

將文件狀態(tài)記錄在文件中（默認在/var/lib/filebeat/registry）。此狀態(tài)可以記住Harvester收集文件的偏移量。若連接不上輸出設備，如ES等，filebeat會記錄發(fā)送前的最后一行，并再可以連接的時候繼續(xù)發(fā)送。Filebeat在運行的時候，Prospector狀態(tài)會被記錄在內存中。Filebeat重啟的時候，利用registry記錄的狀態(tài)來進行重建，用來還原到重啟之前的狀態(tài)。每個Prospector會為每個找到的文件記錄一個狀態(tài)，對于每個文件，F(xiàn)ilebeat存儲唯一標識符以檢測文件是否先前被收集。

Filebeat如何保證事件至少被輸出一次：

Filebeat之所以能保證事件至少被傳遞到配置的輸出一次，沒有數據丟失，是因為filebeat將每個事件的傳遞狀態(tài)保存在文件中。在未得到輸出方確認時，filebeat會嘗試一直發(fā)送，直到得到回應。若filebeat在傳輸過程中被關閉，則不會再關閉之前確認所有時事件。任何在filebeat關閉之前為確認的時間，都會在filebeat重啟之后重新發(fā)送。這可確保至少發(fā)送一次，但有可能會重復。可通過設置shutdown_timeout 參數來設置關閉之前的等待事件回應的時間（默認禁用）。