◆修 健

網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用分析

◆修 健

(河北海事局后勤管理中心 河北 066000)

在網(wǎng)絡(luò)安全運(yùn)行中應(yīng)用大數(shù)據(jù)技術(shù)，能夠集中管理分散的日志和流量數(shù)據(jù)，通過采集、儲(chǔ)存、檢索以及分析等技術(shù)來提高網(wǎng)絡(luò)安全分析與處理的效率，縮短網(wǎng)絡(luò)安全分析的時(shí)間。同時(shí)通過信息關(guān)聯(lián)、階段性組合以及場景關(guān)聯(lián)的方式來分析、預(yù)測安全事件的關(guān)聯(lián)性，找出安全漏洞，實(shí)現(xiàn)被動(dòng)防御向主動(dòng)防御的轉(zhuǎn)變。本文主要分析了網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用，以供參考、完善。

網(wǎng)絡(luò)安全；大數(shù)據(jù)技術(shù)；應(yīng)用分析

0 前言

在網(wǎng)絡(luò)架構(gòu)中，網(wǎng)絡(luò)安全分析數(shù)據(jù)日漸復(fù)雜，來源以多樣化呈現(xiàn)，內(nèi)容十分豐富，但是由于網(wǎng)絡(luò)安全漏洞日漸增加，如果不及時(shí)更新系統(tǒng)軟件，增強(qiáng)防御能力，勢必給網(wǎng)絡(luò)安全環(huán)境帶來不利影響。因此運(yùn)用何種技術(shù)來增強(qiáng)防御能力，對系統(tǒng)安全漏洞、高持續(xù)性工具與數(shù)據(jù)泄露等問題進(jìn)行預(yù)測，提高網(wǎng)絡(luò)安全分析與處理效果，是當(dāng)前急需解決的首要問題。

1 網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用的意義

隨著互聯(lián)網(wǎng)技術(shù)迅猛的發(fā)展，與互聯(lián)網(wǎng)技術(shù)有關(guān)的設(shè)備、系統(tǒng)為人們提供優(yōu)質(zhì)網(wǎng)絡(luò)服務(wù)的同時(shí)，也增加了網(wǎng)絡(luò)安全分析工作的難度，具體體現(xiàn)為：一方面，網(wǎng)絡(luò)安全分析需要處理的數(shù)據(jù)量日漸增加，使得數(shù)據(jù)種類趨向于多元化，這就要求網(wǎng)絡(luò)安全分析進(jìn)行多維處理、采集、整合，并根據(jù)數(shù)據(jù)種類儲(chǔ)存到相應(yīng)數(shù)據(jù)庫中，才能提高分析效果。另一方面，由于以往的網(wǎng)絡(luò)安全分析系統(tǒng)的數(shù)據(jù)儲(chǔ)存，均是儲(chǔ)存在結(jié)構(gòu)化數(shù)據(jù)庫，這種儲(chǔ)存方式的成本投入較高，為了有效控制成本的投入，需對儲(chǔ)存的數(shù)據(jù)信息進(jìn)行處理，減小數(shù)據(jù)儲(chǔ)存的容量來儲(chǔ)存，使得部分?jǐn)?shù)據(jù)在儲(chǔ)存的過程中被丟失，不能正常使用，難以滿足數(shù)據(jù)儲(chǔ)存的要求。而大數(shù)據(jù)技術(shù)的應(yīng)用，有利于在確保儲(chǔ)存效率的基礎(chǔ)上，對有關(guān)的數(shù)據(jù)信息進(jìn)行分析、處理，快速儲(chǔ)存到相應(yīng)的數(shù)據(jù)庫中，確保數(shù)據(jù)儲(chǔ)存的完整性與真實(shí)性。并且大數(shù)據(jù)技術(shù)的儲(chǔ)存方式均以分布式數(shù)據(jù)庫完成，與以往的結(jié)構(gòu)化數(shù)據(jù)庫儲(chǔ)存方式相比，可節(jié)約成本的投入，且對于硬件要求較低，通過異構(gòu)數(shù)據(jù)的儲(chǔ)存與訪問即可順利完成儲(chǔ)存，操作方便。此外，在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，可從不同的角度來分析與處理數(shù)據(jù)信息，并加以整合，儲(chǔ)存有效的數(shù)據(jù)資源，從而實(shí)現(xiàn)網(wǎng)絡(luò)安全系統(tǒng)數(shù)據(jù)處理準(zhǔn)確度的提升?？梢?，在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，能夠彌補(bǔ)以往網(wǎng)絡(luò)安全系統(tǒng)技術(shù)的不足，讓網(wǎng)絡(luò)安全分析效率的提升變成可能[1]。

2 網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用分析

2.1信息的儲(chǔ)存

對于網(wǎng)絡(luò)安全分析，離不開數(shù)據(jù)信息的儲(chǔ)存。而有效引入大數(shù)據(jù)技術(shù)，可針對數(shù)據(jù)信息的種類，選擇相應(yīng)的儲(chǔ)存方式來儲(chǔ)存，從而提升數(shù)據(jù)信息儲(chǔ)存與查詢的速度。例如對于日志信息與流量歷史數(shù)據(jù)等信息的儲(chǔ)存，可通過大數(shù)據(jù)技術(shù)的GBase、HBase列式在短時(shí)間內(nèi)響應(yīng)、檢索數(shù)據(jù)，根據(jù)安全實(shí)施標(biāo)準(zhǔn)化處理來計(jì)算網(wǎng)絡(luò)組織構(gòu)架，并以Hahoop分布式作為依據(jù)，在節(jié)點(diǎn)上計(jì)算對數(shù)據(jù)的設(shè)置進(jìn)行分析，然后使用Hive腳本挖掘和分析網(wǎng)絡(luò)安全，形成統(tǒng)計(jì)報(bào)告與分析警告，以列式方式儲(chǔ)存于數(shù)據(jù)庫中，最后以Storm、Spark的計(jì)算方法將需要分析的數(shù)據(jù)信息放置在各個(gè)計(jì)算節(jié)點(diǎn)當(dāng)中，一旦數(shù)據(jù)信息通過各個(gè)計(jì)算節(jié)點(diǎn)時(shí)，系統(tǒng)會(huì)自動(dòng)進(jìn)行分析，從而完成數(shù)據(jù)信息的統(tǒng)計(jì)和安全警告，以流式方式將最終分析結(jié)果儲(chǔ)存到數(shù)據(jù)庫。

2.2信息的采集

數(shù)據(jù)采集即集Flume、Kafka與Storm為一體對數(shù)據(jù)進(jìn)行采集、整合，采集有效的數(shù)據(jù)資源，形成完整數(shù)據(jù)報(bào)告，并以分布式呈現(xiàn)，確保傳輸者接收不到同源頭的數(shù)據(jù)，部分?jǐn)?shù)據(jù)經(jīng)過再次加工后將數(shù)據(jù)傳遞給接收方。但需要注意的是，對流式數(shù)據(jù)加工時(shí)，應(yīng)以Kafka為數(shù)據(jù)采集與流式數(shù)據(jù)的緩存格式，讓其成為分布式發(fā)布的訂閱系統(tǒng)，為生產(chǎn)者、消費(fèi)者以及代理商提供數(shù)據(jù)服務(wù)[2]。

2.3信息的檢索

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，在采集數(shù)據(jù)時(shí)，主要以MapReduce為檢索依據(jù)，對在各個(gè)分析節(jié)點(diǎn)的數(shù)據(jù)查詢請求進(jìn)行處理時(shí)，通過分布式的并行計(jì)算方法對數(shù)據(jù)進(jìn)行再次計(jì)算，以提高數(shù)據(jù)信息檢索能力，快速找出網(wǎng)絡(luò)異常的安全行為，追溯存在安全隱患的數(shù)據(jù)，然后對這些數(shù)據(jù)定位，等待網(wǎng)絡(luò)安全分析處理，從而保證網(wǎng)絡(luò)安全運(yùn)行。

2.4數(shù)據(jù)信息的分析

對于數(shù)據(jù)的分析即以Strom和Spark的流式計(jì)算架構(gòu)為依據(jù)，通過復(fù)雜事件處理技術(shù)與定制的電聯(lián)分析計(jì)算方法來對數(shù)據(jù)內(nèi)存進(jìn)行分析，以此來做到遠(yuǎn)距離監(jiān)控、捕捉與安全信息等有關(guān)的異常行為。此外，對于非實(shí)時(shí)性的數(shù)據(jù)的分析，應(yīng)該以Hadoop架構(gòu)為基礎(chǔ)，同時(shí)利用分析事態(tài)、數(shù)據(jù)聚合、離線統(tǒng)計(jì)風(fēng)險(xiǎn)、數(shù)據(jù)挖掘以及數(shù)據(jù)抽取技術(shù)，通過HDFS分布式儲(chǔ)存與MapReduce分布式計(jì)算的方式，排查攻擊源，為進(jìn)一步網(wǎng)絡(luò)安全分析工作奠定基礎(chǔ)[3]。

2.5多源數(shù)據(jù)和多階段組合的關(guān)聯(lián)分析

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，能夠提高儲(chǔ)存和分?jǐn)?shù)的速度，在規(guī)定的時(shí)間內(nèi)采集分析多源異構(gòu)數(shù)據(jù)，找出系統(tǒng)中的安全隱患與關(guān)聯(lián)不同階段的攻擊行為[4]。例如在網(wǎng)絡(luò)安全數(shù)據(jù)分析中應(yīng)用大數(shù)據(jù)技術(shù)，結(jié)合流量同DNS的訪問特征來分析僵尸網(wǎng)絡(luò)，拓寬數(shù)據(jù)源查詢的路徑，實(shí)時(shí)采集全分組數(shù)據(jù)集合、莫管數(shù)據(jù)以及對溯源數(shù)據(jù)等信息，并進(jìn)行深度關(guān)聯(lián)分析外界情報(bào)，同時(shí)查找某個(gè)主機(jī)被攻擊的痕跡以及安全漏洞，并做好防范準(zhǔn)備，真正做到及早發(fā)現(xiàn)、及早處理。

3 基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)建設(shè)

基于大數(shù)據(jù)網(wǎng)絡(luò)安全平臺(tái)從上到下，主要分為4層：數(shù)據(jù)采集層、大數(shù)據(jù)儲(chǔ)存層、數(shù)據(jù)挖掘分析層以及數(shù)據(jù)呈現(xiàn)層。其中數(shù)據(jù)采集層可實(shí)時(shí)采集在流、用戶身份信息、事件以及威脅情報(bào)，為下一步網(wǎng)絡(luò)安全分析工作的開展提供技術(shù)支撐。大數(shù)據(jù)儲(chǔ)存層可通過分布式文件系統(tǒng)儲(chǔ)存大量的信息，實(shí)現(xiàn)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)集中儲(chǔ)存，并通過均衡算法在分布式文件系統(tǒng)上均衡分布數(shù)據(jù)，快速檢索數(shù)據(jù)信息，從而提高數(shù)據(jù)檢索的能力。數(shù)據(jù)挖掘分析層能集數(shù)據(jù)分析關(guān)聯(lián)、特征提取以及分析情境為一體，通過相應(yīng)技術(shù)與措施對異常網(wǎng)絡(luò)行為進(jìn)行查找，并溯其根源，了解網(wǎng)絡(luò)運(yùn)行狀態(tài)，實(shí)現(xiàn)安全事件的挖掘，以快速搜索查詢數(shù)據(jù)信息。而數(shù)據(jù)呈現(xiàn)層可提高大數(shù)據(jù)分析結(jié)構(gòu)的可視化，通過不同角度將網(wǎng)絡(luò)安全狀態(tài)呈現(xiàn)出來。對于網(wǎng)絡(luò)安全平臺(tái)實(shí)現(xiàn)的技術(shù)支撐，考慮到需要儲(chǔ)存海量的數(shù)據(jù)信息，需以HDFS分布式文件系統(tǒng)作為依據(jù)，以元數(shù)據(jù)管理節(jié)點(diǎn)文件系統(tǒng)為命名空間，以64兆字節(jié)數(shù)據(jù)庫為基本儲(chǔ)存單元，在數(shù)據(jù)各節(jié)點(diǎn)分布儲(chǔ)存不同種類的數(shù)據(jù)文件。但是由于元數(shù)據(jù)節(jié)點(diǎn)的數(shù)量和數(shù)據(jù)文件的比例為反比關(guān)系，如果在短時(shí)間內(nèi)訪問數(shù)據(jù)文件的數(shù)量過多，極易影響到網(wǎng)絡(luò)系統(tǒng)的性能，不能正常訪問。因此為保證數(shù)據(jù)處理與分析的效率，需要使用HDFS數(shù)據(jù)塊來儲(chǔ)存數(shù)據(jù)，并進(jìn)行加工處理，確保每個(gè)數(shù)據(jù)文件儲(chǔ)存的大小控制在64兆字節(jié)內(nèi)。此外，基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全平臺(tái)建設(shè)，在數(shù)據(jù)分析效率的提升方面，需通過Hive來分析和統(tǒng)計(jì)數(shù)據(jù)儲(chǔ)存的狀況，采用類似SQL中的Hive QL語言來檢索非結(jié)構(gòu)化的數(shù)據(jù)信息，并通過Hive來封裝API，采用專用的插件進(jìn)行開發(fā)以實(shí)現(xiàn)不同數(shù)據(jù)的處理、分析和統(tǒng)計(jì)，從而滿足網(wǎng)絡(luò)安全分析工作的需要[5]。

4 結(jié)束語

綜上所述，隨著互聯(lián)網(wǎng)數(shù)據(jù)量日漸增加，給網(wǎng)絡(luò)安全分析工作的開展帶來了巨大壓力。而大數(shù)據(jù)技術(shù)的有效運(yùn)用，能夠基于大數(shù)據(jù)技術(shù)構(gòu)建的網(wǎng)絡(luò)安全平臺(tái)建設(shè)下，充分發(fā)揮大數(shù)據(jù)技術(shù)自身的采集、儲(chǔ)存、分析、檢索等作用，對多源數(shù)據(jù)和多階段組合進(jìn)行關(guān)聯(lián)分析，從而提高系統(tǒng)快速檢索、查找能力以及儲(chǔ)存容量，為數(shù)據(jù)的追溯與檢索提供技術(shù)支撐。

[1]孫玉.淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.

[2]梁智雄.大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全中的應(yīng)用與研究[J].數(shù)字傳媒研究，2017.

[3]王帥，汪來富，金華敏等.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用[J].電信科學(xué)，2015.

[4]曾秋梅.網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)實(shí)踐探究[J].信息系統(tǒng)工程，2017.

[5]魯宛生.淺談網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)的應(yīng)用[J].數(shù)碼世界，2017.