孫惟皓，凌宗南，陳煒忻

(北京神州綠盟信息安全科技股份有限公司，北京 100089)

1 需求描述

在中國人民銀行、中國銀監(jiān)會的監(jiān)管要求下，各銀行對信息化的安全建設(shè)不斷加大投入,部署的安全防護設(shè)備也日益增多，各類安全設(shè)備每天產(chǎn)生海量的告警日志，所存儲的日志量每天可達到GB數(shù)量級。

針對這些龐大的運維告警日志，存在難以有效地進行管理和分析的問題，對于當(dāng)前的安全運營管理人員和團隊來說亟待解決。銀行數(shù)據(jù)中心，IT運維領(lǐng)域涉及的運維數(shù)據(jù)涵蓋應(yīng)用日志、系統(tǒng)日志、性能數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)、流量數(shù)據(jù)、資產(chǎn)配置數(shù)據(jù)、數(shù)據(jù)庫日志、漏洞管理數(shù)據(jù)等。上述信息的數(shù)據(jù)量大，格式差異大且分散在不同的服務(wù)器中，如何搭建日志智能分析平臺，將數(shù)據(jù)集中整合、加工處理并應(yīng)用和展現(xiàn)在運維管理中，進而提升安全運維能力、提高運維服務(wù)質(zhì)量和效率，是本文探索研究的重點。

2 技術(shù)路線選型

傳統(tǒng)SOC/SIEM雖都具備日志審計與分析的功能，但是隨著攻防對抗的加劇，其架構(gòu)已經(jīng)不能滿足目前的需要，下面就傳統(tǒng)SOC/SIEM與基于大數(shù)據(jù)日志智能分析平臺在架構(gòu)、功能方面進行對比，如表1所示。

表1 傳統(tǒng)SOC/SIEM與新一代日志智能分析對照表

因此，基于大數(shù)據(jù)的日志智能分析平臺是目前主流的解決方案，在架構(gòu)、性能、功能、擴展性上都具有明顯的優(yōu)勢。

3 日志智能分析平臺的設(shè)計實現(xiàn)

日志智能分析平臺邏輯架構(gòu)上分為資源層、數(shù)據(jù)采集管控層、大數(shù)據(jù)層、服務(wù)層、業(yè)務(wù)層，如圖1所示。

圖1 日志智能分析平臺邏輯架構(gòu)圖

資源層主要包括各采集對象的網(wǎng)絡(luò)設(shè)備、安全設(shè)備、應(yīng)用系統(tǒng)、主機系統(tǒng)、數(shù)據(jù)庫和服務(wù)器等。

數(shù)據(jù)采集管控層主要負(fù)責(zé)多渠道獲取數(shù)據(jù)，并支持?jǐn)?shù)據(jù)預(yù)處理，將采集來的數(shù)據(jù)分區(qū)分塊進行存儲。

大數(shù)據(jù)層分為數(shù)據(jù)存儲模塊和數(shù)據(jù)分析模塊。數(shù)據(jù)存儲模塊主要負(fù)責(zé)將采集的數(shù)據(jù)以索引方式存儲，同時對常用的查詢分析的結(jié)果進行緩存。數(shù)據(jù)分析包括數(shù)據(jù)分析模塊、數(shù)據(jù)處理模塊、平臺管理模塊等；數(shù)據(jù)分析模塊支持對數(shù)據(jù)進一步的加工處理，并支持結(jié)構(gòu)和非結(jié)構(gòu)化的數(shù)據(jù)處理、關(guān)聯(lián)分析查詢、深度學(xué)習(xí)。服務(wù)層可以提供對各類的應(yīng)用服務(wù)，如資產(chǎn)管理、情報處理、工單管理、告警處理、響應(yīng)管理、任務(wù)管理、數(shù)據(jù)管理等，服務(wù)層提供的管理模塊還涵蓋了用戶認(rèn)證、數(shù)據(jù)權(quán)限控制等內(nèi)容，保障數(shù)據(jù)訪問的安全可控。

業(yè)務(wù)層包括業(yè)務(wù)功能模塊和數(shù)據(jù)呈現(xiàn)功能，包括態(tài)勢感知、行為分析、風(fēng)險管理、情報預(yù)警等模塊，并提供圖形、表格、報表等不同的展現(xiàn)方式進行組合與鉆取分析。

大數(shù)據(jù)日志智能分析平臺普遍使用了基于Hadoop的大數(shù)據(jù)架構(gòu)，分布式部署的方式以及非關(guān)系數(shù)據(jù)庫技術(shù)的應(yīng)用，滿足了每秒數(shù)十萬的日志采集和處理的需求，可以為大規(guī)模、超大規(guī)模網(wǎng)絡(luò)提供高性能的日志采集存儲功能。

ElasticSearch大數(shù)據(jù)分布式彈性搜索引擎模塊可以實現(xiàn)海量數(shù)據(jù)秒級的快速在線檢索分析。

通過使用Spark技術(shù)，在并發(fā)內(nèi)存內(nèi)處理機制方面能夠帶來數(shù)倍于其他采用磁盤訪問方式的解決方案，借助離線計算引擎在小時級別內(nèi)，即可完成對PB數(shù)量級的數(shù)據(jù)挖掘。例如：6個月內(nèi)的安全事件之間的相關(guān)性、安全事件之間的影響程度、安全事件之間的規(guī)律性等并以報表形式進行輸出。

大數(shù)據(jù)日志智能分析平臺基于業(yè)務(wù)場景結(jié)合機器學(xué)習(xí)、基線梳理、關(guān)聯(lián)分析、威脅情報等多種分析引擎，以實現(xiàn)高效、準(zhǔn)確的智能日志分析，可極大地提高安全運維的分析效率與準(zhǔn)確性。

4 日志智能分析在運維管理中的應(yīng)用

4.1 基于攻擊鏈的告警事件定位分析

日志智能分析平臺對安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)、主機系統(tǒng)等進行日志采集和索引分析后，運用多種分析引擎，對日志進行智能的歸并和處理分析，提煉出當(dāng)前網(wǎng)絡(luò)的攻擊事件，使得一線及二線運維人員可以一次性對多臺安全設(shè)備、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)、主機系統(tǒng)上的日志進行事件查詢分析；使得安全攻擊行為和事件查詢變得簡單高效，這也是目前主流日志分析平臺的主要使用場景。

在上述傳統(tǒng)日志下鉆或多源關(guān)聯(lián)分析基礎(chǔ)上，為了進一步提升告警分析定位能力，引入了攻擊鏈模型，參照該模型將攻擊分為攻擊和攻陷兩個階段，運維人員可以重點聚焦失陷階段的告警事件，及時止損。

通過日志智能分析平臺的數(shù)據(jù)存儲層，可以對該事件相關(guān)的數(shù)據(jù)進行記錄，并基于IP、時間、攻擊手法重新構(gòu)建攻擊的逐步過程，安全分析人員可以清晰地了解和查詢攻擊時間和位置、提權(quán)以及安裝特征等，安全分析師可以快速地構(gòu)建惡意攻擊的概要信息，并通過鏈條式分析將注入路徑銜接起來，識別出第一感染源頭和其他被感染者，或下一步預(yù)判，使安全團隊提前發(fā)現(xiàn)威脅，能夠快速補救損害，將損失降到最低。使用攻擊鏈分析模型，可以幫助安全運維人員聚焦在對業(yè)務(wù)影響較大的攻擊事件上，如圖2所示。

圖2 攻擊鏈告警分析

圖4 運維日志的異常分析與審計

(1)攻擊鏈高危攻擊告警。通過告警界面的攻擊鏈視圖發(fā)現(xiàn)不同階段的攻擊告警事件，并從中選擇威脅最大的攻陷階段告警。

圖3 網(wǎng)絡(luò)流量行為梳理與異常分析

(2)分析攻擊源與目標(biāo)。通過下鉆式分析，鎖定安全事件的攻擊源與攻擊目標(biāo)。

(3)攻擊手法、時間分析。通過對組成告警事件的原始日志下鉆式分析，確認(rèn)攻擊手法與時間，為進一步的處置提供技術(shù)輸入。

4.2 基于網(wǎng)絡(luò)流量的異常行為分析

通過采集防火墻或DPI類設(shè)備的網(wǎng)絡(luò)訪問日志以及NetFlow等方式，借助機器學(xué)習(xí)的手段，實現(xiàn)對網(wǎng)內(nèi)網(wǎng)絡(luò)流量互聯(lián)動態(tài)基線的建立，從而發(fā)現(xiàn)異常網(wǎng)絡(luò)訪問行為，如圖3、圖4所示。

(1)發(fā)現(xiàn)防火墻策略配置問題。由于完成了安全域邊界的網(wǎng)絡(luò)訪問基線梳理，一旦有防火墻配置不當(dāng)導(dǎo)致非正常訪問就可以觸發(fā)告警。

(2)發(fā)現(xiàn)非法外聯(lián)。無論是在互聯(lián)網(wǎng)還是第三方專網(wǎng)接入邊界，可以通過外聯(lián)訪問基線篩選出異常的非法外聯(lián)行為。

(3)發(fā)現(xiàn)內(nèi)部流量異常。包括內(nèi)部的惡意掃描、ARP欺騙攻擊、內(nèi)部違規(guī)訪問等行為。

(4)發(fā)現(xiàn)資產(chǎn)變化。通過網(wǎng)絡(luò)流量提取的資產(chǎn)信息，發(fā)現(xiàn)未報備IT資產(chǎn)，避免出現(xiàn)通過主動掃描發(fā)現(xiàn)資產(chǎn)時間窗口過長的問題。

圖5 基于情報的關(guān)聯(lián)分析與預(yù)警

圖6 基于攻擊鏈的態(tài)勢呈現(xiàn)與攻擊者畫像

4.3 運維日志管理與行為分析

根據(jù)銀行內(nèi)部安全控制要求，運維人員只能通過審計系統(tǒng)(堡壘機)間接訪問生產(chǎn)服務(wù)器，其在生產(chǎn)環(huán)境的操作行為和結(jié)果以文件形式保存，最終采集到日志智能分析平臺中?；谏鲜霾僮餍袨閿?shù)據(jù)，結(jié)合一些配置數(shù)據(jù)，平臺實現(xiàn)了多維度的操作行為分析和審計：

(1)實現(xiàn)了機構(gòu)用戶維度的操作行為分析。使得管理層用戶了解各部門用戶的運維習(xí)慣(如上午9:00是應(yīng)用運維部門的訪問高峰，主要是運維人員進行巡檢及處理昨日非緊急問題)，基于時間建立訪問基線，從而發(fā)現(xiàn)在非核心時段的可疑登錄、多IP交互登錄、休眠賬號的異常登錄等行為。

(2)實現(xiàn)了應(yīng)用維度的權(quán)限行為分析。通過對應(yīng)用的實際訪問賬號與實際管理權(quán)限的對比，直觀展示不合規(guī)訪問情況。

(3)實現(xiàn)了賬號維度的操作行為分析。通過對比實際管理要求，找到非授權(quán)用戶使用root類高權(quán)限賬號進行生產(chǎn)操作的情況。

(4)實現(xiàn)了命令維度的操作行為分析。例如Top10用戶統(tǒng)計等，對高危險命令的使用合理性進行審查和通報，有效降低了用戶操作風(fēng)險。

4.4 威脅情報關(guān)聯(lián)分析

日志智能分析平臺支持外部開源和第三方情報數(shù)據(jù)，利用威脅情報提高安全運維分析的準(zhǔn)確度和時效性。

利用大數(shù)據(jù)分析平臺將本地數(shù)據(jù)、資產(chǎn)數(shù)據(jù)與情報數(shù)據(jù)按照多個維度進行關(guān)聯(lián)分析，即可快速感知威脅，通過平臺安全規(guī)則的篩選和過濾最終形成漏斗效應(yīng)，保證威脅告警更加精準(zhǔn)和有效。為運維管理人員提供異常的情報分析和威脅情報的預(yù)警如圖5所示，其主要場景如下：

(1)實現(xiàn)快速漏洞定位預(yù)警。嚴(yán)重漏洞爆發(fā)時，基于日志智能分析平臺積累的資產(chǎn)信息(主要是資產(chǎn)的版本信息)與漏洞影響的版本進行比對，快速鎖定漏洞影響的資產(chǎn)范圍。

(2)實現(xiàn)日志與信譽庫實時關(guān)聯(lián)分析。威脅情報提供的惡意IP、URL、C&C、文件信譽庫以及行業(yè)與客戶情報標(biāo)簽與告警日志進行關(guān)聯(lián)定位，有助于管理員及時發(fā)現(xiàn)高危特別是針對金融行業(yè)的攻擊行為。

(3)實現(xiàn)基于情報的多維度下鉆式分析。利用威脅情報的內(nèi)在聯(lián)系，實現(xiàn)對可疑信息進一步的深入挖掘分析，以發(fā)現(xiàn)更多攻擊者線索，有助于完成攻擊者的行為畫像。

4.5 實現(xiàn)可視化的安全態(tài)勢感知

在攻擊鏈分析等多種引擎處理的基礎(chǔ)上，可以針對整體范圍或某一特定時間與環(huán)境，基于這樣的條件進行因素理解與分析，最終形成攻擊者的畫像、歷史的整體態(tài)勢以及對未來短期的預(yù)測，如圖6所示。

將分析結(jié)果按照入侵、異常流量、病毒、系統(tǒng)漏洞，網(wǎng)站安全態(tài)勢進行多維度可視化呈現(xiàn)，形成各種類型的安全態(tài)勢分析趨勢，能夠很好地洞察銀行內(nèi)部整體安全狀態(tài)，并通過量化的評判指標(biāo)直觀地理解當(dāng)前態(tài)勢情況。

日志智能分析平臺就是基于以上方法論從海量數(shù)據(jù)中分析統(tǒng)計出目前存在的風(fēng)險，通過趨勢圖、占比圖、滾動屏等方式清晰展示網(wǎng)絡(luò)安全態(tài)勢，協(xié)助安全分析人員快速聚焦全網(wǎng)高風(fēng)險點。

5 日志智能分析的實踐

5.1 威脅情報定位惡意攻擊IP

威脅情報系統(tǒng)會定期下發(fā)IP、URL、僵尸網(wǎng)絡(luò)的情報信息，日志智能分析平臺會與這些活躍數(shù)據(jù)進行關(guān)聯(lián)匹配。

日志智能分析平臺捕獲到89.45.10.18的IP正在進行攻擊，該IP是最近正在活躍的一個羅馬尼亞惡意IP，與日志智能分析平臺的事件成功匹配，意味著這個事件威脅可信度較高。

此外，點擊此事件對此IP進行溯源，能夠查看歷史行為，可以看到情報監(jiān)控到它是Botnet客戶端，說明很可能是黑客利用該IP作為跳板在對該用戶本地資產(chǎn)進行攻擊。

5.2 通過流量日志的行為互訪統(tǒng)計發(fā)現(xiàn)掃描

在某客戶內(nèi)部網(wǎng)絡(luò)中一臺惡意主機掃描網(wǎng)絡(luò)主機的所有端口，進行系統(tǒng)掃描，會觸發(fā)日志分析平臺的流量行為分析視圖出現(xiàn)如下特征(如圖7所示)，基于該特征運維管理員就能快速定位惡意主機。

5.3 基于攻擊鏈模型發(fā)現(xiàn)失陷主機

基于可視化的攻擊鏈呈現(xiàn)，使運維管理人員可以直觀、快速地定位到被黑客攻陷的IT系統(tǒng)，并支持下鉆分析。

通過該視圖查看主機192.168.x.x的攻擊詳情，發(fā)現(xiàn)該主機相關(guān)的事件為木馬事件，連接的可疑IP是兩個DNS服務(wù)器(8.8.8.8/208.67.y.y)，并且對公網(wǎng)其他IP進行了攻擊。

繼續(xù)下鉆查看對應(yīng)的木馬事件日志詳情，發(fā)現(xiàn)該主機請求的域名為暗云木馬對應(yīng)的域名，從而確定失陷主機為目前流行的暗云木馬所控制。

圖7 基于網(wǎng)絡(luò)流量行為的統(tǒng)計分析(示意圖)

6 結(jié) 論

基于大數(shù)據(jù)分析架構(gòu)的日志智能分析平臺，相對于傳統(tǒng)的日志分析技術(shù)，技術(shù)復(fù)雜度和學(xué)習(xí)處理能力更為先進。能夠提供更為快速的處理分析和展現(xiàn)，適用于當(dāng)下大數(shù)據(jù)的存儲與分析應(yīng)用，能夠幫助銀行業(yè)在關(guān)鍵業(yè)務(wù)系統(tǒng)及內(nèi)部系統(tǒng)實現(xiàn)全面的智能關(guān)聯(lián)分析，提高運維人員在IT運維管理過程中的工作效率及安全態(tài)勢的感知能力。