張慶濤

摘要：科技的進(jìn)步對人們的日常生活產(chǎn)生了重大且深遠(yuǎn)的影響，尤其是網(wǎng)絡(luò)的廣泛普及和應(yīng)用，讓人們得以享受更加便捷的服務(wù)。而伴隨而來的網(wǎng)絡(luò)安全問題也成了大家關(guān)注的焦點，當(dāng)下日益增長的網(wǎng)絡(luò)信息安全需求已經(jīng)難以憑借傳統(tǒng)網(wǎng)絡(luò)安全分析進(jìn)行處理，因此有必要引入更加先進(jìn)的技術(shù)進(jìn)行改善優(yōu)化。鑒于此，文章以大數(shù)據(jù)技術(shù)為核心，探討了其在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用情況。

關(guān)鍵詞：網(wǎng)絡(luò)安全分析;大數(shù)據(jù)技術(shù);應(yīng)用

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）31-0013-02

當(dāng)前社會的方方面面都與網(wǎng)絡(luò)的應(yīng)用密不可分，網(wǎng)絡(luò)在維持社會正常運行的同時，也面臨著一些令人棘手的安全問題，對于個人、機(jī)構(gòu)甚至國家的信息安全等都存在一定的威脅。隨著互聯(lián)網(wǎng)的快速迭代升級，安全漏洞也日益增多，如果繼續(xù)沿用以往的分析模式和分析工具，將難以滿足實際需求。在這一背景下，引人最前沿的大數(shù)據(jù)技術(shù)，對于提高網(wǎng)絡(luò)安全防護(hù)具有不可估量的作用。

1網(wǎng)絡(luò)安全分析現(xiàn)狀與大數(shù)據(jù)技術(shù)概述

科技在現(xiàn)階段正處于高速發(fā)展階段，相比以往的從無到有，層出不窮的新技術(shù)和新設(shè)備為互聯(lián)網(wǎng)的應(yīng)用提供了更多的可能。由于IT架構(gòu)日益復(fù)雜，很多新的應(yīng)用場景導(dǎo)致業(yè)務(wù)和數(shù)據(jù)逐漸集中化，并形成了發(fā)展趨勢。網(wǎng)絡(luò)和應(yīng)用之間的界限不再像以往那么清晰明確，為了保障整個系統(tǒng)或者網(wǎng)絡(luò)的安全，相應(yīng)的設(shè)備也亟待更新。根據(jù)現(xiàn)階段的網(wǎng)絡(luò)發(fā)展情況來看，占據(jù)主流位置的安全分析模式是基于網(wǎng)絡(luò)流量以及日志等數(shù)據(jù)，它最顯著的弊端在于為了保留下大量的數(shù)據(jù)，不得不花費高昂的資金成本。與此同時，想要對更復(fù)雜的網(wǎng)絡(luò)，比如云計算平臺等進(jìn)行全面的安全分析，就必須獲得包括網(wǎng)絡(luò)數(shù)據(jù)包、用戶相關(guān)業(yè)務(wù)信息以及漏洞信息等在內(nèi)的關(guān)鍵性數(shù)據(jù)。然而，這些數(shù)據(jù)的類型不僅限于常見的結(jié)構(gòu)化，還包括分結(jié)構(gòu)化和半結(jié)構(gòu)化，且產(chǎn)生的速度極陜，總體上呈現(xiàn)出“大數(shù)據(jù)”的特征，無法直接套用傳統(tǒng)的網(wǎng)絡(luò)安全分析進(jìn)行處理。由此可以看出，深入研究網(wǎng)絡(luò)安全分析并引人更先進(jìn)的技術(shù)迫在眉睫。

作為當(dāng)下最前沿的技術(shù)，大數(shù)據(jù)以其多樣化、內(nèi)容豐富和生成速度快等特點，在很多領(lǐng)域都取得了不俗的應(yīng)用成效。而對于大數(shù)據(jù)的處理，傳統(tǒng)的數(shù)據(jù)體系架構(gòu)并不能發(fā)揮理想的效果。從資源上來說，大數(shù)據(jù)是一種新的資源，展現(xiàn)了不同以往的資源觀;從技術(shù)上來說，大數(shù)據(jù)也被認(rèn)為是一種新的數(shù)據(jù)處理和分析技術(shù)。綜合而言，我們所說的大數(shù)據(jù)技術(shù)囊括了挖掘大數(shù)據(jù)價值并將其展現(xiàn)的所有技術(shù)和方法，具體可分為數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析挖掘以及可視化等技術(shù)。

2網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的意義

社會的運行以及人們的日常生活都已離不開互聯(lián)網(wǎng)絡(luò)，隨著科技的迅猛發(fā)展，互聯(lián)網(wǎng)中最核心的數(shù)據(jù)也迎來了更新。不論是數(shù)據(jù)的量或是增長速度，都得到了顯著提升，當(dāng)然這對于互聯(lián)網(wǎng)服務(wù)性能的提升有一定的促進(jìn)作用，但不得忽視的一個問題是，它也變相地增大了網(wǎng)絡(luò)安全分析工作的壓力。具體而言，這種壓力主要體現(xiàn)在這兩個方面：第一，網(wǎng)絡(luò)安全分析工作不得不面對更大的數(shù)據(jù)量和更豐富的數(shù)據(jù)種類，只有采取多維分析才能進(jìn)行有效處理;第二，不論是數(shù)據(jù)量的增長還是數(shù)據(jù)傳輸速度的提升，都對數(shù)據(jù)分析處理工作提出了更高的要求，既要實現(xiàn)快速采集和處理數(shù)據(jù)信息，又要確保整個數(shù)據(jù)信息安全分析過程的有效，因此網(wǎng)絡(luò)安全分析工作面臨著前所未有的壓力。事實上，對于數(shù)據(jù)的存儲，在傳統(tǒng)網(wǎng)絡(luò)安全分析系統(tǒng)中主要是應(yīng)用結(jié)構(gòu)化數(shù)據(jù)庫來完成的，但這種方式所花費的成本較大。為了控制成本，通常的做法是先對數(shù)據(jù)進(jìn)行處理以降低其大小，然后提升數(shù)據(jù)存儲容量，但這又催生了另一個問題，即數(shù)據(jù)在處理過程中容易丟失部分信息。另一方面，傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)對于一些內(nèi)容復(fù)雜、非結(jié)構(gòu)化的數(shù)據(jù)和數(shù)據(jù)集進(jìn)行處理時，不論分析還是查詢都極為低效。以上問題如果不得到有效解決，將愈發(fā)難以適應(yīng)日益增長的網(wǎng)絡(luò)需求。

引入大數(shù)據(jù)技術(shù)，對于網(wǎng)絡(luò)安全分析的整體提升具有極大的促進(jìn)作用：首先，應(yīng)用大數(shù)據(jù)技術(shù)可以顯著提高數(shù)據(jù)存儲量，尤其在非結(jié)構(gòu)化的海量復(fù)雜數(shù)據(jù)處理方面效果突出，能夠保證處理效率和準(zhǔn)確性，同時盡可能完整的保存數(shù)據(jù)信息。其次，應(yīng)用大數(shù)據(jù)技術(shù)對于網(wǎng)絡(luò)安全分析系統(tǒng)的運用成本控制有極大的裨益，比如相較于以往的結(jié)構(gòu)化數(shù)據(jù)庫，如果使用分布式數(shù)據(jù)庫則能有效降低經(jīng)濟(jì)成本，同時不需要很高的硬件輔助;再者，應(yīng)用大數(shù)據(jù)技術(shù)能夠顯著提升網(wǎng)絡(luò)安全分析系統(tǒng)的運行效率，尤其表現(xiàn)在對于異構(gòu)數(shù)據(jù)的存儲和處理上，速度將得到進(jìn)一步加快;最后，應(yīng)用大數(shù)據(jù)技術(shù)便于從更多的維度、更深入的層級來分析和處理相關(guān)數(shù)據(jù)，從整體上提高了數(shù)據(jù)處理的進(jìn)度，讓網(wǎng)絡(luò)安全分析系統(tǒng)更高效地運行。

3網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的作用

網(wǎng)絡(luò)安全分析內(nèi)容龐雜，涉及很多工序和領(lǐng)域，其中最關(guān)鍵的是對各類數(shù)據(jù)的及時、有效處理。一般而言，網(wǎng)絡(luò)安全分析需要處理日志和流量兩種數(shù)據(jù)，同時兼顧相對較少的數(shù)據(jù)信息，比如日常數(shù)據(jù)訪問、用戶的信息交流、業(yè)務(wù)行為產(chǎn)生的信息流等。應(yīng)用大數(shù)據(jù)技術(shù)，能夠通過對以往數(shù)據(jù)分析處理過程的優(yōu)化來提升網(wǎng)絡(luò)安全分析工作的效率，即憑借對分散性日志和數(shù)據(jù)的統(tǒng)籌處理，來進(jìn)一步降低數(shù)據(jù)采集和分析處理的時間。除此之外，大數(shù)據(jù)技術(shù)的合理應(yīng)用還可以通過關(guān)聯(lián)分析多種安全信息，多維度地進(jìn)行數(shù)據(jù)處理，更好地發(fā)現(xiàn)其中可能存在的問題，從而讓安全分析更加有效。綜合而言，網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的作用主要體現(xiàn)在這幾個方面：

3.1數(shù)據(jù)的采集

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，通常需要借助一些工具，如Flume、Scribe等，以便于進(jìn)行分布式采集。這種數(shù)據(jù)采集方式更為高效，采集速度能達(dá)到每秒內(nèi)數(shù)百兆左右，從而在對日志數(shù)據(jù)信息等處理過程中發(fā)揮顯著成效。

3.2數(shù)據(jù)的存儲

能否有效存儲安全數(shù)據(jù)，是衡量網(wǎng)絡(luò)安全分析的一個重要參照，而應(yīng)用大數(shù)據(jù)技術(shù)則能夠采取不同的存儲方式應(yīng)對各種類型的數(shù)據(jù)，從而大幅提升數(shù)據(jù)查詢和存儲的有序性以及工作效率。具體而言，列式存儲方式最適宜用于主要在查詢中發(fā)揮作用的日志信息等數(shù)據(jù)，能夠顯著提升查詢效率;一些經(jīng)過標(biāo)準(zhǔn)化處理的數(shù)據(jù)在分析處理時，需要先進(jìn)行分布式計算，再將分析結(jié)果存放于列式存儲部分;一些即時性數(shù)據(jù)在分析處理時，需要先進(jìn)行流式計算，再將分析結(jié)果存放在列式存儲部分。

3.3數(shù)據(jù)的查詢

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，可以開發(fā)出新的數(shù)據(jù)查詢處理方式，即基于MapReduce的查詢模塊構(gòu)建，便于在查詢數(shù)據(jù)時將指令分節(jié)點安置并處理，最后再將所有節(jié)點的處理結(jié)果整合。很明顯，這樣的方式使得系統(tǒng)對于查詢指令的反應(yīng)和處理速度都得到顯著提升。

3.4數(shù)據(jù)的分析

在網(wǎng)絡(luò)安全分析中應(yīng)用大數(shù)據(jù)技術(shù)，還有助于數(shù)據(jù)分析工作的效率提升。具體表現(xiàn)為：第一，對于實時數(shù)據(jù)的分析，可以應(yīng)用流式計算以及CEP技術(shù)和關(guān)聯(lián)分析算法，從而完成即時分析、即時監(jiān)控和即時處理，這樣可以在短時間內(nèi)找出數(shù)據(jù)異常;第二，對于統(tǒng)計結(jié)果和歷史數(shù)據(jù)的分析，可以借助分布式存儲與計算，運用多種數(shù)據(jù)處理技術(shù)，實現(xiàn)較深層次的數(shù)據(jù)離線處理，這樣有助于更好地發(fā)揮網(wǎng)絡(luò)安全分析系統(tǒng)的風(fēng)險分析與攻擊溯源等功能。

3.5復(fù)雜數(shù)據(jù)的分析處理

應(yīng)用大數(shù)據(jù)技術(shù)還有助于系統(tǒng)分析處理較為復(fù)雜的數(shù)據(jù)，比如在多源異構(gòu)數(shù)據(jù)、系統(tǒng)安全隱患以及關(guān)聯(lián)性攻擊行為等方面更加高效準(zhǔn)確。舉例來說，作為一種常見的網(wǎng)絡(luò)安全問題，僵尸網(wǎng)絡(luò)的處理通常較為低效，而應(yīng)用大數(shù)據(jù)技術(shù)之后，則既可以從流量和DNS訪問特性上人手，又可以通過發(fā)散性關(guān)聯(lián)分析法以及與其他數(shù)據(jù)信息的整合，實現(xiàn)整體數(shù)據(jù)分析的全方位提升。另外，當(dāng)查出系統(tǒng)有漏洞時，能夠借助關(guān)聯(lián)處理內(nèi)網(wǎng)的主機(jī)，全面檢測出析系統(tǒng)中的隱患位置。

4基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全系統(tǒng)構(gòu)建

基于以上分析不難看出，應(yīng)用大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中發(fā)揮出重要的作用，因此有必要構(gòu)建基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全系統(tǒng)。具體而言，需要建立以下幾個模塊：

4.1數(shù)據(jù)源模塊

首先要安裝分布式采集器，這樣有助于系統(tǒng)采集各個硬件設(shè)備和軟件行為的數(shù)據(jù)信息，并且將采集的結(jié)果存放在相應(yīng)的存儲部位。在科技不斷發(fā)展的當(dāng)下，網(wǎng)絡(luò)安全分析系統(tǒng)所要處理的數(shù)據(jù)源會越來越多，除了做好傳統(tǒng)的防火墻和入侵檢測，還應(yīng)當(dāng)進(jìn)一步提升硬件性能，特別是對于服務(wù)器、存儲器等腰做好檢查維護(hù)，同時對系統(tǒng)軟件和數(shù)據(jù)庫等做好分析抽查。

4.2數(shù)據(jù)采集與存儲模塊

應(yīng)用大數(shù)據(jù)技術(shù)能夠優(yōu)化數(shù)據(jù)存儲與采集工作，即通過數(shù)據(jù)和元數(shù)據(jù)分立的方法實現(xiàn)，這也促進(jìn)了分布式數(shù)據(jù)的構(gòu)建。而對分布式數(shù)據(jù)來說，其優(yōu)點體現(xiàn)在能夠穩(wěn)定完成數(shù)據(jù)存儲和訪問，并且這一過程覆蓋數(shù)據(jù)自出現(xiàn)到刪除整個階段。當(dāng)下數(shù)據(jù)量不斷加大已成趨勢，因此不難預(yù)測未來網(wǎng)絡(luò)安全系統(tǒng)中，分布式數(shù)據(jù)存儲將大放異彩，尤其體現(xiàn)在對于系統(tǒng)數(shù)據(jù)存儲容量的提升和數(shù)據(jù)庫穩(wěn)定性的提高這方面。

4.3數(shù)據(jù)分析模塊

大數(shù)據(jù)技術(shù)的應(yīng)用使得網(wǎng)絡(luò)安全系統(tǒng)可以同時高效運行對歷史數(shù)據(jù)和實時數(shù)據(jù)的分析，在大數(shù)據(jù)分布式處理基礎(chǔ)上構(gòu)建的數(shù)據(jù)分析模塊，在數(shù)據(jù)處理分析方面則更加高效穩(wěn)定，從而促進(jìn)系統(tǒng)在有效時間內(nèi)實現(xiàn)多維度地分析處理數(shù)據(jù)信息或者聯(lián)合分析處理數(shù)據(jù)信息。

4.4數(shù)據(jù)展示模塊

數(shù)據(jù)展示模塊的構(gòu)建是基于用戶的視角，通過對用戶服務(wù)和體驗進(jìn)行分析來提供更加優(yōu)質(zhì)的服務(wù)，從而保障用戶可以通過該模塊更好地使用網(wǎng)絡(luò)安全系統(tǒng)，并促進(jìn)用戶增強(qiáng)對大數(shù)據(jù)技術(shù)的信任，以便將自身個人信息放心地存儲在其中。

網(wǎng)絡(luò)安全分析是整個互聯(lián)網(wǎng)運行的重要環(huán)節(jié)之一，它必須隨著科技的進(jìn)步而不斷優(yōu)化改進(jìn)。當(dāng)下正處于數(shù)據(jù)信息爆炸式增長的階段，為了更好地保障網(wǎng)絡(luò)運行的安全，需要引入先進(jìn)的大數(shù)據(jù)技術(shù)來進(jìn)行網(wǎng)絡(luò)安全分析，從而使互聯(lián)網(wǎng)更好地被人們應(yīng)用。