王軍利 楊衛(wèi)中

在傳統(tǒng)的基于IOE集中架構(gòu)的IT系統(tǒng)中，部署的主機及軟件數(shù)量較少，產(chǎn)生的日志種類和數(shù)量也較少；隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，“平臺+應(yīng)用”的分布式架構(gòu)成為主流，主機數(shù)量和軟件規(guī)模急劇增加，日志分析變得日益困難。本文主要針對基于ELK架構(gòu)的日志分析系統(tǒng)進行研究，實現(xiàn)對分布式部署的主機和軟件日志進行收集、分析、存儲，并提供良好的UI界面進行數(shù)據(jù)展示、快速搜索、處理分析等功能，從而提升日志分析、問題定位、性能優(yōu)化等工作的效率。

一、研究背景

隨著新一代BSS的上線，IT系統(tǒng)架構(gòu)發(fā)生了巨大變化，從傳統(tǒng)的IOE集中架構(gòu)過渡為當(dāng)前流行的“平臺+應(yīng)用”的分布式架構(gòu)。目前新一代BSS系統(tǒng)運行在近500臺x86物理機和虛擬機上，眾多的主機、組件及應(yīng)用，每天合計產(chǎn)生TB級的日志，這些日志往往被運維人員忽略，加上日志分析工具的缺乏，這些日志遠沒有被有效利用起來。因此，對各組件、各環(huán)節(jié)、各路徑的日志的分析與管控，是傳統(tǒng)業(yè)務(wù)運維走向“統(tǒng)一管控、智能運營”目標(biāo)的重要手段，是滿足IT系統(tǒng)開放、敏捷、智能化要求的重要保障。

在復(fù)雜的分布式的主機及應(yīng)用集群中，記錄日志的方式多種多樣，且不易歸檔，以及無法提供有效的日志監(jiān)控手段等，無論是開發(fā)人員還是運維人員都無法高效搜索日志內(nèi)容從而快速準(zhǔn)確定位問題，因此迫切需要一個集中的、獨立的、能夠收集管理各個應(yīng)用和服務(wù)器上的日志，并提供良好的UI界面進行數(shù)據(jù)展示、快速搜索、處理分析等功能的工具或系統(tǒng)。

經(jīng)過分析研究，基于開源ELK組件的日志分析系統(tǒng)（以下簡稱該系統(tǒng)）提供了相應(yīng)的解決方案，該方案能高效、簡便的滿足以上場景。

二、ELK架構(gòu)、規(guī)劃、部署

（一）ELK架構(gòu)及特點

ELK架構(gòu)主要由ElasticSearch、Logstash和Kibana等三個開源軟件組成，其中E（ElasticSearch，也簡稱ES）是分布式搜索引擎，完成搜索、分析、存儲數(shù)據(jù)等功能；L（Logstash）是收集、分析、過濾日志的工具，支持多種數(shù)據(jù)獲取方式；K（Kibana）為EL提供友好的日志分析Web界面，并可以匯總、分析和搜索日志。其架構(gòu)見圖1。

ELK原理簡述如下：由Logstash收集和處理各種日志并存放到ES集群中；由Kibana從ES集群中查詢數(shù)據(jù)，并生成圖表，最后返回給客戶端。

ELK主要特點如下：

開源組件部署：ELK中使用到的各類組件均為開源軟件，降低成本；

集中化日志管理：將不同主機上的各類日志進行收集、匯總和存儲；

分布式集群部署：平臺自身采用分布式架構(gòu)部署，自身可靠性高，如圖1所示。

日志傳輸實時可靠：該系統(tǒng)中引入實時消息隊列kafka，提高了日志傳輸?shù)膶崟r性和可靠性；

強大的搜索功能：ES以分布式搜索的方式快速檢索，支持DSL語法；

良好的展示和UI分析功能：可以展示詳細的圖表信息，定制展示內(nèi)容；提供友好的日志分析Web界面，可進行匯總、分析和搜索。

（二）ELK部署規(guī)劃

1. 主機集群規(guī)劃

目前該系統(tǒng)采用三臺主機集群部署：

2. 日志信息規(guī)劃

日志規(guī)劃包括日志字段定義、不同組件日志定義、日志索引規(guī)則等，主要涉及Host、Teledb（mysql）、Kafka、Redis等組件。

日志字段定義如下：

3.組件日志規(guī)劃

（三）ELK部署過程簡述

ElasticSearch部署：經(jīng)過解壓elasticsearch-7.2.0.zip、配置elasticsearch.yml、啟動服務(wù)，完成部署。

Logstash部署：經(jīng)過解壓logstash-7.2.0.tar.gz、配置agent.conf和kafka.conf、啟動服務(wù)，完成部署。

Kibana部署：經(jīng)過解壓kibana-7.2.0.tar.gz、配置kibana.yml、啟動服務(wù)，完成部署。

三、應(yīng)用和實踐

通過上述規(guī)劃、部署和配置，到此該系統(tǒng)已基本就緒，下面展示下在生產(chǎn)環(huán)境中的應(yīng)用情況。

（一）日志查詢

通過以下幾種方式可以查詢到Teledb（mysql）組件的相關(guān)日志：登陸kibana界面，點擊Discover，默認顯示15分鐘內(nèi)信息；選擇要顯示的字段如host、thread，完成后即可顯示其信息，見圖2。通過關(guān)鍵字查找日志，在界面輸入查詢關(guān)鍵字，即可查詢相關(guān)日志。

（二）組件監(jiān)控

該系統(tǒng)可以對組件進行指標(biāo)監(jiān)控，如圖3所示對Teledb（mysql）監(jiān)控的展示，包括mysql操作命令、mysql進程、當(dāng)前連接、打開表的情況等指標(biāo)。

四、應(yīng)用效果

該系統(tǒng)在實際應(yīng)用后，原來逐個到服務(wù)器上查詢?nèi)罩九挪閱栴}的手工方式得到了很大改善；運維人員搜索日志、定位問題、解決故障的效率得到了很大提升。因此該系統(tǒng)可以有效降低故障恢復(fù)時間目標(biāo)RTO，加快IT系統(tǒng)恢復(fù)，減少故障對客戶感知的影響，提升客戶滿意度和中國電信的品牌形象。

從實際使用情況看，使用該系統(tǒng)前，我們搜索目前70多套Mysql數(shù)據(jù)庫的日志，需要到70多臺主機上去逐個檢查，消耗1個小時以上的時間；使用該系統(tǒng)后，基本上是一鍵搜索，在1分鐘內(nèi)即可返回結(jié)果，從時間上看效率提升了60倍以上。

參照目前市場上比較成熟的日志監(jiān)控商業(yè)工具splunk、日志易等收費標(biāo)準(zhǔn)，根據(jù)測算BSS中40多套應(yīng)用及組件，日均日志量TB級，理論上節(jié)省至少百萬元的成本投入。按照集團規(guī)劃，預(yù)期三年內(nèi)隨著IT應(yīng)用全面上云的實施，該系統(tǒng)會涵蓋更多的應(yīng)用和組件，則可以節(jié)省更多的成本。

作者單位：中國電信股份有限公司河南分公司