◆吳世嘉 李言鵬

大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

◆吳世嘉1李言鵬2

(1. 92269部隊(duì) 浙江 316000；2.31603部隊(duì) 江蘇 221000)

近年來，隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，人們對網(wǎng)絡(luò)信息的安全性越來越重視，網(wǎng)絡(luò)安全分析的規(guī)模不斷增長，其中大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用逐漸成為業(yè)內(nèi)研究的熱點(diǎn)。本文從網(wǎng)絡(luò)安全分析的需求入手，分析了應(yīng)用大數(shù)據(jù)技術(shù)的必要性，進(jìn)而從信息的采集、存儲、檢索、分析等方面深入探討了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用，最后對基于大數(shù)據(jù)的網(wǎng)絡(luò)安全分析平臺建設(shè)問題進(jìn)行了探討，希望為網(wǎng)絡(luò)安全環(huán)境的創(chuàng)建提供一定借鑒。

大數(shù)據(jù)技術(shù)；網(wǎng)絡(luò)安全分析；應(yīng)用

0 引言

隨著信息時代的到來，大數(shù)據(jù)技術(shù)滲透到了各個行業(yè)領(lǐng)域，其在網(wǎng)絡(luò)安全中的應(yīng)用更是起到了非常重要的作用。當(dāng)前來說，隨著人們對網(wǎng)絡(luò)安全問題的越來越重視，怎樣才能更加有效地應(yīng)用大數(shù)據(jù)技術(shù)已成為業(yè)內(nèi)研究的熱點(diǎn)?；诖耍疚木痛髷?shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用展開研究，希望能夠有效地提高網(wǎng)絡(luò)安全分析的效率和質(zhì)量。

1 應(yīng)用大數(shù)據(jù)技術(shù)的必要性

信息網(wǎng)絡(luò)技術(shù)的發(fā)展為人們的工作、生活帶來了極大的便利，但也引發(fā)了諸多問題，比如：網(wǎng)絡(luò)架構(gòu)日漸復(fù)雜，數(shù)據(jù)來源日益豐富，信息數(shù)量呈爆炸式增長，已經(jīng)從TB躍進(jìn)到PB數(shù)量級，在細(xì)節(jié)上更加細(xì)致，影響的范圍越來越大，這就給網(wǎng)絡(luò)安全分析帶來了較大的難度；網(wǎng)絡(luò)系統(tǒng)的性能不斷提高，信息傳送速度越來越快，對安全數(shù)據(jù)的采集有了更高的要求；此外，網(wǎng)絡(luò)的開放性、兼容性也造成了越來越多的安全漏洞。而且，許多不法分子為謀取私利而對網(wǎng)絡(luò)系統(tǒng)進(jìn)行頻繁的攻擊，這就要求我們的網(wǎng)絡(luò)安全分析必須具備針對性的應(yīng)對手段。有關(guān)調(diào)查發(fā)現(xiàn)，未來的信息網(wǎng)絡(luò)離不開大數(shù)據(jù)技術(shù)的應(yīng)用，隨著研究的深入其在多個行業(yè)領(lǐng)域都獲得了應(yīng)用。尤其是在網(wǎng)絡(luò)安全分析中，大數(shù)據(jù)技術(shù)的應(yīng)用有著速度快、種類多、覆蓋范圍廣等優(yōu)點(diǎn)，能夠充分滿足當(dāng)前對安全數(shù)據(jù)分析的高效率、大容量的要求。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

對于網(wǎng)絡(luò)安全分析來說，主要涉及到日志和流量等關(guān)鍵性數(shù)據(jù)，再加上系統(tǒng)配置、訪問控制、應(yīng)用報告等輔助性數(shù)據(jù)信息。通過大數(shù)據(jù)技術(shù)的應(yīng)用，能夠?qū)⒎浅７稚⒌娜罩尽⒘髁康葏R集起來，并采用靈活的儲存、分析技術(shù)手段，大大地提高安全分析的效率，降低分析的成本。而且，還可以使用信息關(guān)聯(lián)、場景關(guān)聯(lián)等技術(shù)進(jìn)行深層次的分析，對各類事件之間的關(guān)系做出準(zhǔn)確的判斷，從而能夠準(zhǔn)確的預(yù)估網(wǎng)絡(luò)攻擊、數(shù)據(jù)漏洞等問題的發(fā)生，進(jìn)一步提高防御的主動性。

2.1 信息的采集

一般來說，信息的采集可以選擇Chukwa等技術(shù)工具，利用分布采集的方式獲取到各種類型的日志信息；對于全流量數(shù)據(jù)的采集，則可以采取常見的數(shù)據(jù)鏡像的方法。

2.2 信息的存儲

考慮到數(shù)據(jù)的復(fù)雜性，以及應(yīng)用形式的多樣性，想要實(shí)現(xiàn)高效的信息存儲，并不斷提升檢索的效率，就要針對不同的數(shù)據(jù)類型采取不同的存儲方法。

對于部分原始數(shù)據(jù)來說，比如系統(tǒng)中的日志、流量等，可以采用GBase、Hbase等技術(shù)，檢索速度較快，能夠?qū)崿F(xiàn)查詢的快速響應(yīng)。

對于經(jīng)過標(biāo)準(zhǔn)化處理的數(shù)據(jù)，可以選擇Hahoop進(jìn)行架構(gòu)計(jì)算，將得到的數(shù)據(jù)放置到相應(yīng)的節(jié)點(diǎn)上，采用Hive等進(jìn)行分析，最終獲得統(tǒng)計(jì)、分析報告，并將結(jié)果存儲起來。

對于需要實(shí)時分析的數(shù)據(jù)，可以選擇Storm、Spark等方法，將得到的數(shù)據(jù)放置到相應(yīng)的節(jié)點(diǎn)上，當(dāng)經(jīng)過節(jié)點(diǎn)時能夠自動進(jìn)行分析，獲得統(tǒng)計(jì)、分析報告，并將結(jié)果存儲起來。

2.3 信息的檢索

在進(jìn)行安全分析時，還要對信息實(shí)施必要的檢索，一般采用的是MapReduce方法，將提出的查詢請求發(fā)送到各個節(jié)點(diǎn)進(jìn)行處理，再通過分布式的計(jì)算，能夠有效地提高有關(guān)數(shù)據(jù)信息的檢索速度。

2.4 數(shù)據(jù)的分析

數(shù)據(jù)的分析一般采用的是Storm或者Spark等方法，并結(jié)合復(fù)雜問題處理及電聯(lián)分析技術(shù)。通過以上方式對實(shí)時數(shù)據(jù)信息、監(jiān)控信息進(jìn)行分析，可以覺察到任何異常行為的發(fā)生。如果面對的是非實(shí)時數(shù)據(jù)，則可采用Hadoop架構(gòu)，以及HDFS與MapReduce分布式操作方法，對可能的風(fēng)險、事態(tài)進(jìn)行分析，并及時的定位攻擊源。

2.5 多源數(shù)據(jù)與多階段組合的關(guān)聯(lián)分析

大數(shù)據(jù)技術(shù)的應(yīng)用，對于存儲、分析效率的提高有著重要作用，實(shí)現(xiàn)了多源數(shù)據(jù)的快速分析，以及各類安全問題的關(guān)聯(lián)挖掘。比如，對僵尸網(wǎng)絡(luò)的分析，不只是結(jié)合流量同DNS來分析，還可以實(shí)現(xiàn)數(shù)據(jù)源的進(jìn)一步拓展，涉及到各種數(shù)據(jù)的集合、溯源數(shù)據(jù)的攻擊、深層次關(guān)聯(lián)外界數(shù)據(jù)等。又比如，發(fā)現(xiàn)某個設(shè)備終端被侵襲或者存在安全疏漏，能夠判斷分析其他終端是否受到類似的攻擊或者出現(xiàn)類似的漏洞，使得出現(xiàn)的隱患被及時發(fā)現(xiàn)，從而能夠提前做出有效的防范。

3 基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺

3.1 平臺架構(gòu)

網(wǎng)絡(luò)安全分析平臺，主要由以下幾個部分構(gòu)成：

（1）數(shù)據(jù)采集層，主要用于采集用戶基本信息、安全事件等異常數(shù)據(jù)信息。

（2）大數(shù)據(jù)存儲層，主要應(yīng)用的是具有分布式特點(diǎn)的存儲系統(tǒng)持續(xù)存儲巨量的數(shù)據(jù)信息，還能實(shí)現(xiàn)各種類型數(shù)據(jù)的一致性存儲，采用均衡算法將龐大的數(shù)據(jù)依次存儲在分布式系統(tǒng)中，同時也為后續(xù)的數(shù)據(jù)檢索提供了方便。

（3）數(shù)據(jù)挖掘分析層，主要用于對數(shù)據(jù)進(jìn)行分析，探討其關(guān)聯(lián)性，并實(shí)現(xiàn)特征的提取，從而迅速挖掘出存在安全隱患的事件，察覺各類異常行為并探尋其根源，同時能夠?qū)﹃P(guān)鍵數(shù)據(jù)進(jìn)行排查以及定位。

（4）數(shù)據(jù)呈現(xiàn)層，主要用于實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)的可視化呈現(xiàn)，在多層級狀態(tài)下展現(xiàn)網(wǎng)絡(luò)系統(tǒng)的狀態(tài)。

3.2 平臺實(shí)現(xiàn)的有關(guān)技術(shù)

（1）信息采集。該平臺采用的是Flume、Kafka等相結(jié)合的方法實(shí)現(xiàn)有關(guān)信息的采集。Flume的使用，對于安全數(shù)據(jù)的整合、分析非常有利，表現(xiàn)出較高的可用性以及穩(wěn)定性，對數(shù)據(jù)實(shí)施可靠性定制，收到來自不同源頭的數(shù)據(jù)之后，對其進(jìn)行簡單的分析并傳輸給相應(yīng)的定制方。

對于活躍性較高的流式數(shù)據(jù)，可將Kafka用作是數(shù)據(jù)采集與處理操作之間的緩存。Kafka提供的是具有一定整體性的邏輯服務(wù)，使其發(fā)展為一個具有分布式特征的數(shù)據(jù)系統(tǒng)。對于分布式中的數(shù)據(jù)操作，采用的是Zookeeper框架對其實(shí)施有效的管理，最終實(shí)現(xiàn)均衡的目標(biāo)。

（2）信息存儲。采用的是HDFS進(jìn)行信息的存儲，該技術(shù)有著很高的吞吐量以及容錯性，運(yùn)用元數(shù)據(jù)對節(jié)點(diǎn)系統(tǒng)進(jìn)行管理，相應(yīng)的節(jié)點(diǎn)被用來存放關(guān)聯(lián)數(shù)據(jù)，此處是將64兆字節(jié)的數(shù)據(jù)塊用作最基礎(chǔ)的存儲單元。有關(guān)節(jié)點(diǎn)的數(shù)量與文件的大小成反比關(guān)系，在某一時間段內(nèi)假如有過多的訪問量，必然會影響到所在系統(tǒng)的整體性能。因此，要想提高信息處理的效率，在該平臺中選用的是HDFS存儲模塊，將得到的數(shù)據(jù)進(jìn)行歸納、整理，確保每一個文件的大小都符合要求。

（3）數(shù)據(jù)分析。在這里采用的是Hive實(shí)施數(shù)據(jù)分析，應(yīng)用HiveQL語言以充分滿足對于非結(jié)構(gòu)化的數(shù)據(jù)實(shí)施快速檢索的要求。采用Hive對API實(shí)施必要的封裝，選擇預(yù)先定制的各類插件來實(shí)現(xiàn)各種數(shù)據(jù)的處理、分析功能。

對于數(shù)據(jù)的深度挖掘，采用的是Mahout實(shí)現(xiàn)有關(guān)Hadoop的學(xué)習(xí)模式，同時對數(shù)據(jù)進(jìn)行有效的整理?？紤]到還要用到數(shù)據(jù)的關(guān)聯(lián)與分析，應(yīng)用了CPE，將系統(tǒng)數(shù)據(jù)看作是不同類型的事件，對互相之間的聯(lián)系進(jìn)行深層次分析，創(chuàng)建相應(yīng)的事件關(guān)系序列庫，能夠?qū)崿F(xiàn)從簡單到高級的轉(zhuǎn)換，從而在海量的數(shù)據(jù)信息中找到潛藏的安全隱患。

4 結(jié)語

總的來說，大數(shù)據(jù)技術(shù)的應(yīng)用具有數(shù)據(jù)量大、覆蓋面廣等特點(diǎn)，因此被應(yīng)用到了諸多行業(yè)領(lǐng)域。近年來，隨著網(wǎng)絡(luò)安全分析要求的提高，如何有效地利用大數(shù)據(jù)技術(shù)已逐漸成為業(yè)內(nèi)研究的熱點(diǎn)。本文深入分析了應(yīng)用大數(shù)據(jù)技術(shù)的必要性，對數(shù)據(jù)的采集、存儲、檢索、分析等環(huán)節(jié)進(jìn)行了深入的探討，可以說，大數(shù)據(jù)技術(shù)的應(yīng)用有效地提高了網(wǎng)絡(luò)系統(tǒng)的安全質(zhì)量。

[1]管磊，胡光俊，王專.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2016.

[2]王謙，潘辰.基于大數(shù)據(jù)時代下的網(wǎng)絡(luò)安全漏洞與防范措施分析[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017.

[3]孫星.大數(shù)據(jù)時代的網(wǎng)絡(luò)安全研究[J].電腦知識與技術(shù)， 2016.