賈 焰，韓偉紅，王 偉

(國(guó)防科學(xué)技術(shù)大學(xué)計(jì)算機(jī)學(xué)院，長(zhǎng)沙，湖南 410073)

1 研究背景

網(wǎng)絡(luò)空間中網(wǎng)絡(luò)安全事件頻發(fā)，影響巨大，例如伊朗的“震網(wǎng)”事件和“烏克蘭停電事件”等。網(wǎng)絡(luò)空間種各行各業(yè)各部門，如政務(wù)、金融、電商、銀行、交通等，從各自的目標(biāo)和需求角度出發(fā)，已部署了防火墻、入侵檢測(cè)和防病毒等安全產(chǎn)品。目前，各安全產(chǎn)品針對(duì)網(wǎng)絡(luò)攻擊紛紛報(bào)警，但用戶還是缺乏宏觀的網(wǎng)絡(luò)態(tài)勢(shì)全局視圖，因?yàn)榫W(wǎng)絡(luò)攻擊是跟資產(chǎn)漏洞相關(guān)的，資源消耗性攻擊還跟系統(tǒng)狀態(tài)相關(guān)，復(fù)雜的網(wǎng)絡(luò)攻擊還是跨系統(tǒng)、跨管理域的，因此需要多通道數(shù)據(jù)綜合分析，才能對(duì)網(wǎng)絡(luò)事件進(jìn)行準(zhǔn)確發(fā)現(xiàn)。大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析是面向網(wǎng)絡(luò)空間安全的需求，基于大數(shù)據(jù)采集和存儲(chǔ)管理技術(shù)，采用數(shù)據(jù)分析、挖掘和智能推演等方法，發(fā)現(xiàn)安全事件、評(píng)估其危害，并預(yù)測(cè)其發(fā)展，并對(duì)整個(gè)全局網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行從微觀到宏觀的多層次、多粒度的全局掌握，給出全局視圖，為網(wǎng)絡(luò)空間安全提供決策支持。

2 相關(guān)研究

圍繞大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析與預(yù)測(cè)系統(tǒng)的研究，從公開文獻(xiàn)來(lái)看，美國(guó)、日本、歐盟和中國(guó)等均已建立了國(guó)家級(jí)網(wǎng)絡(luò)安全事件監(jiān)控系統(tǒng)。美國(guó)研制了全球預(yù)警信息系統(tǒng)GEWIS(Global Early Warning Information System) [1]，愛(ài)因斯坦計(jì)劃(國(guó)家網(wǎng)絡(luò)安全保護(hù)系統(tǒng)NCPS，The National Cybersecurity Protection System，俗稱“愛(ài)因斯坦計(jì)劃”)[2], 是美國(guó)國(guó)家《全面的國(guó)家網(wǎng)絡(luò)安全行動(dòng)(CNCI)》的重要組成部分，是由美國(guó)國(guó)土安全部負(fù)責(zé)設(shè)計(jì)和運(yùn)行,提供全局、局部乃至操作層面的網(wǎng)絡(luò)事件監(jiān)測(cè)、分析、預(yù)警和態(tài)勢(shì)感知。日本研制了互聯(lián)網(wǎng)掃描數(shù)據(jù)獲取系統(tǒng)ISDAS(Internet Scan Data Acquisition System) [3]。歐盟龍蝦計(jì)劃(Lobster)[4],屬于歐洲基礎(chǔ)設(shè)施先導(dǎo)性實(shí)驗(yàn)計(jì)劃，通過(guò)部署于一些學(xué)校、研究性組織、以及部分電信運(yùn)營(yíng)商的傳感器獲取相關(guān)信息，實(shí)施精確的互聯(lián)網(wǎng)通信流量監(jiān)測(cè)，利用深度包檢查和深度流檢查的手段來(lái)識(shí)別0day蠕蟲傳播、識(shí)別動(dòng)態(tài)端口應(yīng)用，并對(duì)互聯(lián)網(wǎng)服務(wù)進(jìn)行度量等等。歐盟袋熊計(jì)劃(WOMBAT)[5]，全稱為《世界范圍惡意行為與攻擊威脅觀測(cè)臺(tái)工程》，是歐盟資助的一個(gè)利用密罐、爬蟲、外部數(shù)據(jù)源等技術(shù)手段，采集、分析網(wǎng)絡(luò)中當(dāng)前存在的和新出現(xiàn)的威脅(尤指惡意代碼)的計(jì)劃。中國(guó)研制了863-917網(wǎng)絡(luò)安全監(jiān)測(cè)平臺(tái)，對(duì)國(guó)家骨干網(wǎng)的網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行分析。上述系統(tǒng)均自成體系，實(shí)現(xiàn)了面向特定問(wèn)題領(lǐng)域的監(jiān)測(cè)預(yù)警。

網(wǎng)絡(luò)安全態(tài)勢(shì)分析技術(shù)的發(fā)展經(jīng)過(guò)了三個(gè)階段：第一階段，主要聚焦基于特征的安全事件檢測(cè)研究，以美國(guó)2003年推出愛(ài)因斯坦計(jì)劃為代表；第二階段，主要聚焦面向復(fù)雜安全事件的關(guān)聯(lián)分析、威脅量化評(píng)估研究，以美國(guó)2009年的愛(ài)因斯坦計(jì)劃2為代表；第三階段，主要聚焦面向復(fù)雜攻擊的智能分析、基于指標(biāo)體系的量化評(píng)估和發(fā)展趨勢(shì)預(yù)測(cè)研究，以2013年美國(guó)愛(ài)因斯坦計(jì)劃3為代表。

大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析面臨的主要挑戰(zhàn)包括：1)針對(duì)網(wǎng)絡(luò)空間的安全攻擊種類繁多，目前至少有5萬(wàn)余種，且不斷演化和涌現(xiàn)，如何對(duì)其進(jìn)行實(shí)時(shí)準(zhǔn)確的研判？ 2)網(wǎng)絡(luò)系統(tǒng)安全涉及的因素眾多，攻擊、漏洞、資產(chǎn)、網(wǎng)絡(luò)等，且關(guān)聯(lián)復(fù)雜，如何實(shí)時(shí)、量化、可理解地給出其威脅及安全態(tài)勢(shì)？3)網(wǎng)絡(luò)攻擊事件瞬間爆發(fā)，危害極大，如何對(duì)其進(jìn)行事先預(yù)測(cè)，以便采取相關(guān)預(yù)防手段？

3 YHSAS系統(tǒng)架構(gòu)

針對(duì)上述挑戰(zhàn)問(wèn)題，我們?cè)O(shè)計(jì)實(shí)現(xiàn)了大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析系統(tǒng)YHSAS，其體系結(jié)構(gòu)如下圖所示。

圖1 YHSAS系統(tǒng)體系架構(gòu)

主要功能包括1)安全信息采集：可對(duì)全網(wǎng)全數(shù)據(jù)類型采集，包括文件、包、流、會(huì)話、內(nèi)存信息、注冊(cè)表信息、地址信息、協(xié)議信息、服務(wù)信息、載荷傳輸信息等進(jìn)行采集，支持10PB數(shù)據(jù)存儲(chǔ)規(guī)模，可集成187類網(wǎng)絡(luò)安全設(shè)備; 2)安全攻擊檢測(cè)：可檢測(cè)網(wǎng)絡(luò)掃描攻擊、口令攻擊、木馬攻擊、緩沖區(qū)溢出攻擊、篡改信息攻擊、偽造信息攻擊、拒絕服務(wù)攻擊、電子郵件攻擊等常規(guī)攻擊和APT攻擊，覆蓋率為92.3%； 3)態(tài)勢(shì)量化計(jì)算：可量化的安全指標(biāo)體系，能夠描述目前國(guó)家互聯(lián)網(wǎng)的宏觀整體安全態(tài)勢(shì)； 4)安全態(tài)勢(shì)分析：可對(duì)網(wǎng)絡(luò)安全事件進(jìn)行深入分析和發(fā)現(xiàn)，對(duì)當(dāng)前的網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行計(jì)算及多模式多維度的可視化輸出；5)安全態(tài)勢(shì)預(yù)測(cè)：可以準(zhǔn)確預(yù)測(cè)將來(lái)某一時(shí)段內(nèi)的安全趨勢(shì)，計(jì)算的預(yù)測(cè)模塊能夠?qū)δ抉R攻擊傳播、DDoS攻擊、病毒態(tài)勢(shì)、僵尸網(wǎng)絡(luò)、APT攻擊進(jìn)行預(yù)測(cè)，預(yù)測(cè)的符合度良好。

4 系統(tǒng)關(guān)鍵技術(shù)

大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析系統(tǒng)關(guān)鍵技術(shù)主要包括：網(wǎng)絡(luò)空間安全大數(shù)據(jù)實(shí)時(shí)分析計(jì)算平臺(tái)技術(shù)、面向網(wǎng)絡(luò)安全全要素信息采集與高維向量空間分析技術(shù)、支持超大規(guī)模網(wǎng)絡(luò)安全知識(shí)表示和管理的知識(shí)圖譜技術(shù)、多層次多粒度多維度的網(wǎng)絡(luò)安全指標(biāo)體系構(gòu)建方法以及基于自適應(yīng)預(yù)測(cè)模型的多模式、多粒度網(wǎng)絡(luò)安全事件預(yù)測(cè)技術(shù)。

4.1 網(wǎng)絡(luò)空間安全大數(shù)據(jù)實(shí)時(shí)分析計(jì)算平臺(tái)技術(shù)

網(wǎng)絡(luò)空間安全數(shù)據(jù)是典型的大數(shù)據(jù)，阻礙大數(shù)據(jù)實(shí)時(shí)計(jì)算和分析的核心問(wèn)題是磁盤I/O瓶頸(目前磁盤I/O速度是內(nèi)存I/O速度的1/120)。針對(duì)這一挑戰(zhàn)，YHSAS采用了基于“分布式數(shù)據(jù)處理中間件+已有數(shù)據(jù)管理技術(shù)”的體系架構(gòu)，并在此基礎(chǔ)上插接內(nèi)存計(jì)算、“劃分-規(guī)約”計(jì)算和流計(jì)算的數(shù)據(jù)分析加速模塊，支持大數(shù)據(jù)在線計(jì)算和分析，且具有高可擴(kuò)展和在線插拔等特性，如圖2所示。第三方測(cè)試表明，該平臺(tái)支持PB級(jí)網(wǎng)絡(luò)安全數(shù)據(jù)在線復(fù)雜分析。

圖2 網(wǎng)絡(luò)空間安全大數(shù)據(jù)分析計(jì)算平臺(tái)

該分析計(jì)算平臺(tái)主要包括以下幾個(gè)組成部分：

(1)基于分布式對(duì)象的內(nèi)存數(shù)據(jù)庫(kù)模型StarOTM技術(shù)

基于分布式對(duì)象的內(nèi)存數(shù)據(jù)庫(kù)模型StarOTM支持分布式對(duì)象的狀態(tài)加載、原子性和一致性保持、以及持久存儲(chǔ)等技術(shù)；實(shí)現(xiàn)了內(nèi)存數(shù)據(jù)管理和處理系統(tǒng)，大大減少磁盤I/O，實(shí)現(xiàn)了PB級(jí)大數(shù)據(jù)在線分析；該平臺(tái)在國(guó)際開源社區(qū)OW2中開源，產(chǎn)生了巨大的國(guó)際影響。

(2)面向復(fù)雜網(wǎng)絡(luò)安全狀態(tài)分析的“劃分-規(guī)約”迭代遞歸計(jì)算模型

采用支持大數(shù)據(jù)復(fù)雜分析的“劃分-規(guī)約”迭代遞歸計(jì)算模型，該模型將復(fù)雜分析計(jì)算逐級(jí)分解成分布的簡(jiǎn)單計(jì)算并執(zhí)行，再將結(jié)果逐級(jí)歸并。該技術(shù)將單盤的讀寫并行化為多盤的讀寫，打破了磁盤讀寫瓶頸。該模型早于Google提出的MapReduce模型?；谠摷夹g(shù)開發(fā)的系統(tǒng)在處理數(shù)據(jù)量、吞吐率等方面均滿足YHSAS系統(tǒng)性能要求。

(3)在線流大數(shù)據(jù)復(fù)雜分析技術(shù)

設(shè)計(jì)實(shí)現(xiàn)了一組在線數(shù)據(jù)流復(fù)雜分析計(jì)算算法，包括基于滑動(dòng)窗口的分布式流增量排序查詢算法(如表1所示)，基于Bloom-filter的分布式增量突發(fā)流檢測(cè)算法(如表2所示)，基于物化流立方的流數(shù)據(jù)實(shí)時(shí)分析的支撐模型等；流計(jì)算無(wú)需讀寫磁盤,打破了磁盤I/O的瓶頸。

表1 分布式流增量排序查詢算法

表2 分布式流突發(fā)事件檢測(cè)算法

4.2 面向網(wǎng)絡(luò)安全全要素信息采集與高維向量空間分析技術(shù)

針對(duì)傳統(tǒng)的安全設(shè)備和產(chǎn)品通常根據(jù)自己局部目標(biāo)進(jìn)行數(shù)據(jù)采集，缺乏對(duì)全局、以及未知和復(fù)雜安全事件分析支撐的問(wèn)題，YHSAS提出了面向網(wǎng)絡(luò)安全的全要素信息采集模型，再通過(guò)對(duì)該多維度、多層次的高維向量全信息進(jìn)行安全特征的提煉和分析，大幅提高了對(duì)復(fù)雜安全事件的準(zhǔn)確和實(shí)時(shí)檢測(cè)的支撐能力。

(1)多層次、多維度的網(wǎng)絡(luò)安全信息全要素采集模型

針對(duì)傳統(tǒng)安全設(shè)備缺乏對(duì)全局、未知和復(fù)雜安全事件分析支撐的問(wèn)題，YHSAS采用基于多層次多維度的全要素采集模型，如表3所示。通過(guò)主動(dòng)獲取與被動(dòng)接收相結(jié)合的方式，從協(xié)議層、行為層、敏感行為層、攻擊層、廣譜內(nèi)容層和精確內(nèi)容層六個(gè)層次，對(duì)文件、包、流、會(huì)話、協(xié)議和網(wǎng)絡(luò)對(duì)象等十三個(gè)維度的對(duì)象進(jìn)行細(xì)粒度的全信息采集與提取，得到反映安全對(duì)象全信息的高維空間向量。

表3 全要素采集模型

(2) 向高維向量空間的安全事件特征信息分析方法

針對(duì)全要素信息采集導(dǎo)致的高維向量空間超大計(jì)算復(fù)雜度的問(wèn)題，YHSAS提出了基于高維向量空間的網(wǎng)絡(luò)安全事件特征信息提煉方法，如表4所示。該方法首先在流上對(duì)海量數(shù)據(jù)樣本進(jìn)行聚類，再根據(jù)所產(chǎn)生類別的特征進(jìn)行篩取，一方面可聚焦后續(xù)分析的范圍，減小計(jì)算復(fù)雜度，另一方面可通過(guò)聚類發(fā)現(xiàn)可疑新的事件類別；其次面向產(chǎn)生的類別信息，通過(guò)已訓(xùn)練的特征識(shí)別神經(jīng)網(wǎng)絡(luò)識(shí)別其特征信息，以此構(gòu)建網(wǎng)絡(luò)安全事件信息特征向量空間，為下一步的事件研判奠定基礎(chǔ)。

表4 高維向量空間聚類與特征訓(xùn)練的采集信息分析方法

(3)基于輕量構(gòu)件技術(shù)的網(wǎng)絡(luò)安全信息采集探針自動(dòng)部署技術(shù)

針對(duì)網(wǎng)絡(luò)系統(tǒng)的超異構(gòu)復(fù)雜性和在線演化性，以及數(shù)據(jù)采集探針的巨規(guī)模特性，YHSAS提出了一種基于輕載構(gòu)件技術(shù)的數(shù)據(jù)采集探針的在線插拔技術(shù)。該技術(shù)首先對(duì)各類數(shù)據(jù)采集探針進(jìn)行構(gòu)件化封裝，并通過(guò)構(gòu)件化應(yīng)用服務(wù)器技術(shù)進(jìn)行集成，實(shí)現(xiàn)了探針的在線插拔；其次通過(guò)基于正則表達(dá)式的配置文件對(duì)目標(biāo)數(shù)據(jù)進(jìn)行抽取和集成，并支持配置文件的自動(dòng)生成和數(shù)據(jù)模式的自動(dòng)轉(zhuǎn)換。本技術(shù)能夠高效集成網(wǎng)絡(luò)安全設(shè)備和數(shù)據(jù)，YHSAS系統(tǒng)支持187種網(wǎng)絡(luò)安全設(shè)備，并且在性能上是秒級(jí)實(shí)時(shí)的。

4.3 支持超大規(guī)模網(wǎng)絡(luò)安全知識(shí)表示和管理的知識(shí)圖譜技術(shù)

針對(duì)網(wǎng)絡(luò)安全知識(shí)的大規(guī)模、在線演化和時(shí)空相關(guān)等特性，YHSAS采用網(wǎng)絡(luò)安全知識(shí)表示和管理的超知識(shí)圖譜模型，突破了多模態(tài)知識(shí)圖譜的自動(dòng)/半自動(dòng)的構(gòu)建方法，以及在線演化和快速匹配等核心關(guān)鍵技術(shù)，構(gòu)建了一個(gè)大規(guī)模網(wǎng)絡(luò)安全知識(shí)圖譜，突破了網(wǎng)絡(luò)安全事件的準(zhǔn)確、實(shí)時(shí)檢測(cè)技術(shù)，在標(biāo)準(zhǔn)測(cè)試集上該系統(tǒng)去重率為99.8%，誤報(bào)率0.01%，漏報(bào)率0.2%。

(1)支持大規(guī)模網(wǎng)絡(luò)安全知識(shí)表示和管理的超知識(shí)圖譜模型

針對(duì)網(wǎng)絡(luò)空間安全知識(shí)巨規(guī)模、高演化和實(shí)時(shí)利用的問(wèn)題，YHSAS采用超知識(shí)圖譜知識(shí)表示模型。在傳統(tǒng)知識(shí)圖譜三元組的基礎(chǔ)上，添加了屬性和規(guī)則，針對(duì)網(wǎng)絡(luò)空間安全知識(shí)巨規(guī)模、高演化和實(shí)時(shí)利用的問(wèn)題，提出了五元組，其中，實(shí)例是概念的具體化實(shí)例，每個(gè)實(shí)例具有自己的屬性，并可以進(jìn)行演化，是網(wǎng)絡(luò)安全事件的關(guān)系的具體化?；谔岢龅某R(shí)圖譜，實(shí)現(xiàn)了大規(guī)模網(wǎng)絡(luò)安全知識(shí)圖譜，具體涵蓋漏洞信息 93578條、攻擊方法 51300種，主流操作系統(tǒng)151類，主流應(yīng)用軟件200多種，惡意軟件信息3507個(gè)，突破了實(shí)時(shí)、準(zhǔn)確研判難題。

(2)基于多模態(tài)信息的超知識(shí)圖譜的自動(dòng)構(gòu)建方法

針對(duì)網(wǎng)絡(luò)安全知識(shí)圖譜知識(shí)獲取的瓶頸，YHSAS提出了基于多模態(tài)的網(wǎng)安大數(shù)據(jù)，通過(guò)實(shí)體詞識(shí)別、關(guān)系抽取、實(shí)體鏈接構(gòu)建大規(guī)模網(wǎng)安知識(shí)圖譜的方法?；诰浞ㄒ蕾囈?guī)則識(shí)別自由文本中的其他候選實(shí)體詞，以及基于模式推理識(shí)別表格數(shù)據(jù)中的其他候選實(shí)體詞，獲得擴(kuò)充實(shí)體集E’。關(guān)系抽取方面，首先從網(wǎng)安大數(shù)據(jù)中查找出現(xiàn)過(guò)G中知識(shí)的原始數(shù)據(jù)片段，采用LSTM深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，獲得t的分類器Ct；然后，對(duì)原始數(shù)據(jù)中出現(xiàn)E’的數(shù)據(jù)片段采用Ct進(jìn)行計(jì)算，獲得E’中各實(shí)體詞間可能存在的關(guān)系類型。實(shí)體鏈接方面，根據(jù)知識(shí)的屬性和關(guān)系構(gòu)建實(shí)體基因，根據(jù)實(shí)體基因與上下文特征的相似度，實(shí)現(xiàn)數(shù)據(jù)上下文中所提及實(shí)體詞與G中已知實(shí)體的鏈接，對(duì)無(wú)法鏈接的實(shí)體詞，視為新實(shí)體加入到G中，實(shí)現(xiàn)消歧融合與知識(shí)擴(kuò)充。

W估計(jì)參數(shù)= σ訓(xùn)練函數(shù)(Y已知關(guān)系/ (tanh降維( [V句子向量,P實(shí)體詞位置]T))

y關(guān)系類型= softmax (W估計(jì)參數(shù)×(tanh降維( [V句子向量,P實(shí)體詞位置]T))

(3)基于張量分解與路徑排序相結(jié)合的知識(shí)自動(dòng)推理算法

針對(duì)網(wǎng)絡(luò)空間安全知識(shí)巨規(guī)模、高演化、時(shí)空屬性和實(shí)時(shí)利用的問(wèn)題，YHSAS采用網(wǎng)絡(luò)安全超知識(shí)圖譜的演化方法，基于張量分解的思路提出了面向邊和屬性的知識(shí)自動(dòng)推理算法，即根據(jù)本節(jié)點(diǎn)和相鄰節(jié)點(diǎn)的屬性值預(yù)測(cè)為止屬性的值，并基于可達(dá)路徑排序的方法，根據(jù)兩點(diǎn)之間所有可達(dá)路徑，預(yù)測(cè)兩個(gè)節(jié)點(diǎn)之間可能的新的可達(dá)邊。在網(wǎng)絡(luò)安全知識(shí)圖譜的演化過(guò)程中，采用候選實(shí)體識(shí)別、實(shí)體間關(guān)系類型分類、實(shí)體確定技術(shù)，自動(dòng)從網(wǎng)絡(luò)安全漏洞庫(kù)及利用方法中演化推理。基于自動(dòng)演化推理算法，可以快速對(duì)為網(wǎng)絡(luò)安全檢測(cè)到的數(shù)據(jù)流進(jìn)行研判，突破了安全事件的實(shí)時(shí)、準(zhǔn)確研判難題。

V預(yù)測(cè)屬性值=∑λi*f(kj節(jié)點(diǎn)Vi值)+∑σt*

∑λi*fij(ki相鄰節(jié)點(diǎn)Vi值)

S(l,f)預(yù)測(cè)邊值=∑P路徑(vl點(diǎn),vi點(diǎn)；l長(zhǎng)度(π)≤n)·ωπ權(quán)重

(4)基于容忍度K的增量式子圖匹配的網(wǎng)絡(luò)安全事件檢測(cè)技術(shù)

基于子圖匹配和活動(dòng)模式向結(jié)合的方法，YHSAS提出了基于容忍度K的增量式快速攻擊子圖匹配研判算法，實(shí)現(xiàn)了僵尸網(wǎng)絡(luò)和慢速DDoS的檢測(cè)。在實(shí)驗(yàn)數(shù)據(jù)集上，提出基于動(dòng)態(tài)時(shí)間彎曲距離相似性度量方法，對(duì)僵尸網(wǎng)絡(luò)遷移檢測(cè)的準(zhǔn)確率達(dá)到92%；基于僵尸網(wǎng)絡(luò)惡意行為目標(biāo)和時(shí)間關(guān)聯(lián)分析的僵尸網(wǎng)絡(luò)協(xié)同檢測(cè)方法結(jié)果為：在時(shí)間跨度為2個(gè)月、僵尸主機(jī)IP數(shù)大于40時(shí)，檢測(cè)方法漏報(bào)率為0。針對(duì)隱蔽性強(qiáng)的慢速DDoS攻擊檢測(cè)存在檢測(cè)困難和效率低下的特點(diǎn)，提出了基于流量與服務(wù)協(xié)作檢測(cè)的慢速DDoS攻擊檢測(cè)方法。為評(píng)測(cè)本方法的有效性，網(wǎng)絡(luò)模擬實(shí)驗(yàn)對(duì)檢測(cè)系統(tǒng)進(jìn)行了檢驗(yàn)，實(shí)驗(yàn)結(jié)果正確檢測(cè)率為99.7%，漏警率為0.4%，虛警率為0.3%，檢測(cè)系統(tǒng)性能良好。

4.4 多層次多粒度多維度的網(wǎng)絡(luò)安全指標(biāo)體系構(gòu)建方法

針對(duì)影響大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析的因素多種多樣，其重要性也不盡相同的特點(diǎn)，給出建立了多層次、多粒度和多維度的網(wǎng)絡(luò)安全指標(biāo)體系的構(gòu)建方法，及其指數(shù)的可配置、實(shí)時(shí)計(jì)算和在線演化的方法，準(zhǔn)確描述和量化大規(guī)模網(wǎng)絡(luò)從宏觀到微觀的網(wǎng)絡(luò)安全態(tài)勢(shì)。

(1)基于主從分析的R聚類與因子分析相結(jié)合網(wǎng)安指標(biāo)提取方法

YHSAS采用主從分析的R聚類與因子分析相結(jié)合網(wǎng)安指標(biāo)提取方法，首先通過(guò)主成分分析法確定影響網(wǎng)絡(luò)態(tài)勢(shì)的主要因素和合理層級(jí)；其次利用德?tīng)柗品ù_定網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)體系的層數(shù)，再通過(guò)R聚類將同一個(gè)層中的指標(biāo)分類，使得不同的類代表網(wǎng)絡(luò)態(tài)勢(shì)評(píng)估的不同方面；最后通過(guò)因子分析法篩選出各個(gè)類別中因子載荷大的指標(biāo)，使得少數(shù)的指標(biāo)可以反應(yīng)整個(gè)網(wǎng)絡(luò)的安全態(tài)勢(shì)。建立的網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)體系標(biāo)準(zhǔn)，僅用了16%的指標(biāo)，反應(yīng)了99%的原始信息，可有效、客觀地衡量網(wǎng)絡(luò)安全態(tài)勢(shì)。

(2)多模式的網(wǎng)絡(luò)安全指標(biāo)體系計(jì)算模型

通過(guò)分析不同網(wǎng)絡(luò)安全因素的特點(diǎn)，根據(jù)不同的網(wǎng)絡(luò)安全指標(biāo)特性，給出了包括極值法、統(tǒng)計(jì)標(biāo)準(zhǔn)化法、反余切函數(shù)法、中間變量法和對(duì)數(shù)法等不同的網(wǎng)絡(luò)安全指數(shù)量化方法；對(duì)量化以后的網(wǎng)絡(luò)安全指標(biāo)，采用聚集算法將各個(gè)子指數(shù)聚集計(jì)算成上一級(jí)指數(shù)，形成層次式的網(wǎng)絡(luò)安全指標(biāo)體系。主要計(jì)算模型包括：加權(quán)平均法，具有直觀易理解的特點(diǎn)；最大值法，通過(guò)刻畫局部最嚴(yán)重的程度，取其中一項(xiàng)的最大值作為聚集后的指數(shù)結(jié)果；調(diào)和三角模法，能夠同時(shí)體現(xiàn)全局性和局部性的特點(diǎn)。

(3)基于深度學(xué)習(xí)的網(wǎng)絡(luò)安全指標(biāo)體系自演化技術(shù)

針對(duì)網(wǎng)絡(luò)安全攻擊不斷創(chuàng)新和演化，已有的指標(biāo)體系需要適應(yīng)性變化問(wèn)題，采用了基于卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)安全指標(biāo)體系自學(xué)習(xí)、自演化技術(shù)。該技術(shù)首先構(gòu)建了指標(biāo)體系評(píng)測(cè)方法，從正確性、穩(wěn)定性和冗余性三個(gè)角度衡量指標(biāo)體系與實(shí)際的符合度，從而指導(dǎo)深度學(xué)習(xí)算法對(duì)網(wǎng)絡(luò)安全指標(biāo)體系的量化方法和聚集算子，以及其中的各項(xiàng)參數(shù)的權(quán)重進(jìn)行反饋調(diào)整，測(cè)試表明基于該方法指標(biāo)體系與實(shí)際的符合率超過(guò)了90%。

4.5 基于自適應(yīng)預(yù)測(cè)模型的多模式、多粒度網(wǎng)絡(luò)安全事件預(yù)測(cè)技術(shù)

針對(duì)當(dāng)前技術(shù)對(duì)網(wǎng)絡(luò)安全發(fā)展的趨勢(shì)難以預(yù)測(cè)的問(wèn)題，YHSAS提出了基于自適應(yīng)預(yù)測(cè)模型的多模式、多粒度的網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)技術(shù)，包括：多種預(yù)測(cè)方式有機(jī)結(jié)合的網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)技術(shù)，基于特征事件序列頻繁情節(jié)的預(yù)測(cè)技術(shù)，基于小波分解及ARMA模型的預(yù)測(cè)技術(shù)，基于改進(jìn)型支持向量回歸預(yù)測(cè)的多維熵值異常檢測(cè)方法，實(shí)現(xiàn)了網(wǎng)絡(luò)安全態(tài)勢(shì)的準(zhǔn)確預(yù)測(cè)。

(1)支持多種預(yù)測(cè)方式的網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)框架

針對(duì)影響網(wǎng)絡(luò)安全態(tài)勢(shì)演化的因素多，只采用單一的預(yù)測(cè)技術(shù)難以預(yù)測(cè)的問(wèn)題，YHSAS采用了多種預(yù)測(cè)方法相結(jié)合的網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)系統(tǒng)架構(gòu)。將時(shí)序數(shù)據(jù)預(yù)測(cè)的相關(guān)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全領(lǐng)域，根據(jù)不同網(wǎng)絡(luò)安全數(shù)據(jù)的特征和應(yīng)用要求合理的選擇預(yù)測(cè)模型，并利用歷史安全事件數(shù)據(jù)進(jìn)行建模，進(jìn)而根據(jù)多種不同的預(yù)測(cè)模型對(duì)不同安全數(shù)據(jù)源進(jìn)行多個(gè)粒度的預(yù)測(cè)。對(duì)于短期預(yù)測(cè)主要考慮近期歷史數(shù)據(jù)的發(fā)展規(guī)律進(jìn)行建模預(yù)測(cè)，對(duì)于中期和長(zhǎng)期預(yù)測(cè)主要考慮歷史安全事件在一段較長(zhǎng)時(shí)間內(nèi)所體現(xiàn)出的季節(jié)性因素和總體長(zhǎng)期趨勢(shì)。測(cè)試證明，系統(tǒng)支持短期、中期、長(zhǎng)期等多種時(shí)間粒度的預(yù)測(cè)，支持木馬、蠕蟲、僵尸網(wǎng)絡(luò)等主要網(wǎng)絡(luò)安全事件的預(yù)測(cè)，且預(yù)測(cè)效果理想。

(2)基于特征事件頻繁情節(jié)的時(shí)序數(shù)據(jù)預(yù)測(cè)技術(shù)

針對(duì)僵尸網(wǎng)絡(luò)、蠕蟲等具有長(zhǎng)時(shí)間傳播特性的網(wǎng)絡(luò)安全事件往往具有自相似性的特點(diǎn)，YHSAS提出了一種新的時(shí)間序列數(shù)據(jù)預(yù)測(cè)問(wèn)題的解決思路：首先通過(guò)對(duì)時(shí)間序列數(shù)據(jù)的分段和對(duì)時(shí)序子段特征的離散事件化將時(shí)間序列數(shù)據(jù)轉(zhuǎn)換為事件序列，再引入事件序列處理領(lǐng)域中頻繁情節(jié)的相關(guān)概念和方法提取預(yù)測(cè)所需的知識(shí)，進(jìn)而利用這些知識(shí)對(duì)時(shí)間序列數(shù)據(jù)未來(lái)的發(fā)展進(jìn)行預(yù)測(cè)。所提方法的具體預(yù)測(cè)過(guò)程可分為知識(shí)提取和預(yù)測(cè)兩個(gè)階段：在預(yù)測(cè)階段，使用提取出的頻繁情節(jié)前綴事件匹配近期時(shí)間序列數(shù)據(jù)形成的特征事件序列，繼而利用選定的頻繁情節(jié)后綴事件預(yù)測(cè)未來(lái)時(shí)序子段上的特征事件。實(shí)際使用證明基于特征時(shí)間頻繁情節(jié)的預(yù)測(cè)使得僵尸網(wǎng)絡(luò)、蠕蟲的長(zhǎng)期多步預(yù)測(cè)場(chǎng)景下的預(yù)測(cè)精度提高了15%左右。

(3)基于改進(jìn)型支持向量回歸模型的多維熵值異常檢測(cè)方法

針對(duì)大規(guī)模網(wǎng)絡(luò)中流量數(shù)據(jù)中的噪音、擾動(dòng)因素的特點(diǎn)，YHSAS提出了將支持向量回歸模型(LSSVM)應(yīng)用于網(wǎng)絡(luò)流量數(shù)據(jù)各維度上熵值的預(yù)測(cè)的方法，可以很好地屏蔽網(wǎng)絡(luò)中流量數(shù)據(jù)中的噪音、擾動(dòng)因素，并及時(shí)發(fā)現(xiàn)流量熵值異常。主要技術(shù)突破包括：快速多維熵值計(jì)算，通過(guò)多個(gè)維度上的熵值突變進(jìn)行關(guān)聯(lián)增加檢測(cè)精度，對(duì)大規(guī)模網(wǎng)絡(luò)上異常檢測(cè)需要對(duì)海量流量數(shù)據(jù)進(jìn)行實(shí)時(shí)處理；遺傳算法改進(jìn)支持向量回歸，采用自適應(yīng)交叉與變異算子，交叉與變異針對(duì)種群中所有個(gè)體進(jìn)行，提高了算法的搜索能力，且只保留適應(yīng)度大的個(gè)體，確保進(jìn)化方向，加速收斂速度避免變異使交叉所產(chǎn)生的優(yōu)良個(gè)體發(fā)生退化。測(cè)試證明，對(duì)DDoS攻擊、蠕蟲能可能引起流量異常的攻擊行為的早期檢測(cè)與預(yù)警具有很好的效果。

5 小結(jié)與展望

大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析系統(tǒng)YHSAS面向國(guó)家骨干網(wǎng)絡(luò)安全以及大型網(wǎng)絡(luò)運(yùn)營(yíng)商、大型企事業(yè)單位等大規(guī)模網(wǎng)絡(luò)環(huán)境，對(duì)能夠引起網(wǎng)絡(luò)態(tài)勢(shì)發(fā)生變化的安全要素進(jìn)行獲取、理解、顯示以及預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)。本文對(duì)YHSAS系統(tǒng)的關(guān)鍵技術(shù)進(jìn)行深入研究，包括：網(wǎng)絡(luò)空間安全大數(shù)據(jù)實(shí)時(shí)分析計(jì)算平臺(tái)技術(shù)、面向網(wǎng)絡(luò)安全全要素信息采集與高維向量空間分析技術(shù)、支持超大規(guī)模網(wǎng)絡(luò)安全知識(shí)表示和管理的知識(shí)圖譜技術(shù)、多層次多粒度多維度的網(wǎng)絡(luò)安全指標(biāo)體系構(gòu)建方法、基于自適應(yīng)預(yù)測(cè)模型的多模式、多粒度網(wǎng)絡(luò)安全事件預(yù)測(cè)技術(shù)等。性能測(cè)試顯示，YHSAS系統(tǒng)在態(tài)勢(shì)分析和預(yù)測(cè)方面均具有較高的實(shí)時(shí)性和精度，滿足了大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析與預(yù)測(cè)的需求。

大規(guī)模網(wǎng)絡(luò)安全態(tài)勢(shì)分析系統(tǒng)還面臨很多新的挑戰(zhàn)，在大規(guī)模網(wǎng)絡(luò)安全事件預(yù)測(cè)的準(zhǔn)確性方面，由于影響安全事件發(fā)生的因素太多，新的攻擊手段是未知的，實(shí)際攻擊過(guò)程中又存在因各種目的而活動(dòng)的網(wǎng)絡(luò)黑客人為操作等情況， 導(dǎo)致對(duì)重大網(wǎng)絡(luò)攻擊事件的發(fā)生和發(fā)展趨勢(shì)的準(zhǔn)確預(yù)測(cè)難度大。作為本領(lǐng)域公認(rèn)的世界性難題之一，是有待進(jìn)一步研究的方向。

[1] GEWIS(Global Early Warning Information System) , http://www.acronymfinder.com/Global-Early-Warning-Information-System-%28GEWIS%29.html.

[2] https://www.dhs.gov/national-cybersecurity-protection-system-ncps.

[3] JPCERT/CC, ISDAS(Internet Scan Data Acquisition System), http://www.jpcert.or.jp/isdas/.

[4] http://www.ist-lobster.org/downloads/index.html.

[5] S Zanero ， D, Ph .WOMBAT: towards a Worldwide Observatory of Malicious Behaviors and Attack Threats.