摘要： 高速網(wǎng)絡(luò)數(shù)據(jù)龐大且高維度，網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)要面對(duì)流量數(shù)據(jù)約簡(jiǎn)的問(wèn)題。如何有效地實(shí)現(xiàn)流量數(shù)據(jù)約簡(jiǎn)是網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)需要研究的一個(gè)重要問(wèn)題。文中首先介紹網(wǎng)絡(luò)入侵檢測(cè)中流量數(shù)據(jù)抽樣和特征降維基礎(chǔ);然后從網(wǎng)絡(luò)流量數(shù)據(jù)抽樣和網(wǎng)絡(luò)流量特征降維兩個(gè)方面總結(jié)了網(wǎng)絡(luò)流量數(shù)據(jù)約簡(jiǎn)研究進(jìn)展;最后闡述了網(wǎng)絡(luò)入侵檢測(cè)中流量數(shù)據(jù)約簡(jiǎn)研究的未來(lái)發(fā)展趨勢(shì)和面臨的挑戰(zhàn)。文中所研究的流量數(shù)據(jù)約簡(jiǎn)為進(jìn)一步探索網(wǎng)絡(luò)流量測(cè)量和網(wǎng)絡(luò)空間安全提供參考和借鑒。

關(guān)鍵詞： 網(wǎng)絡(luò)入侵檢測(cè); 流量數(shù)據(jù)約簡(jiǎn); 流量數(shù)據(jù)抽樣; 流量特征降維; 網(wǎng)絡(luò)安全; 發(fā)展趨勢(shì)

Abstract： The high?speed network data is huge and high?dimensional， so the traffic data reduction is of great concern to the network intrusion detection system. How to effectively implement the traffic data reduction is an important issue that needs to be studied for the network intrusion detection system. The traffic data sampling and feature dimension reduction basis in network intrusion detection are introduced. The research progress of network traffic data reduction is summarized in two aspects： network traffic data sampling and network traffic feature dimension reduction. The development trend of traffic data reduction research in the network intrusion detection and the challenges to it are described. The network intrusion detection researched in this paper? provides some references for further exploring network traffic measurement and network space security.

Keywords： network intrusion detection; traffic data reduction; traffic data sampling; traffic feature dimension reduction; network security; development trend

0? 引? 言

隨著通信技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)已滲透到各個(gè)社會(huì)領(lǐng)域，互聯(lián)網(wǎng)上的攻擊手段更加隱蔽、更加智能。在高速網(wǎng)絡(luò)環(huán)境中，網(wǎng)絡(luò)入侵檢測(cè)過(guò)程需要獲取、處理和傳輸海量的網(wǎng)絡(luò)流量數(shù)據(jù)，如何實(shí)現(xiàn)在線實(shí)時(shí)地異常入侵檢測(cè)是網(wǎng)絡(luò)安全監(jiān)控領(lǐng)域的一個(gè)熱點(diǎn)和難點(diǎn)。

網(wǎng)絡(luò)安全領(lǐng)域的分類(lèi)問(wèn)題由于數(shù)據(jù)量極其龐大且高維度，導(dǎo)致入侵檢測(cè)的分類(lèi)器過(guò)于復(fù)雜，因此不少入侵模式并不能被準(zhǔn)確檢測(cè)到，且網(wǎng)絡(luò)入侵檢測(cè)效率較低，無(wú)法滿足高速網(wǎng)絡(luò)環(huán)境下大規(guī)模異常入侵檢測(cè)的實(shí)時(shí)性要求[1]。為解決上述問(wèn)題，需要對(duì)網(wǎng)絡(luò)數(shù)據(jù)流量進(jìn)行實(shí)例抽樣約簡(jiǎn)優(yōu)化和特征降維約簡(jiǎn)優(yōu)化，從海量數(shù)據(jù)集中抽象出最相關(guān)的信息，降低復(fù)雜度以獲取更好的知識(shí)抽象[2]。減少攻擊檢測(cè)的存儲(chǔ)和計(jì)算壓力和提高攻擊檢測(cè)的檢測(cè)效率和精度。網(wǎng)絡(luò)流量數(shù)據(jù)約簡(jiǎn)方法的好壞直接影響入侵檢測(cè)的結(jié)果[3]。如何有效地實(shí)現(xiàn)網(wǎng)絡(luò)流量數(shù)據(jù)約簡(jiǎn)，以提高網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的性能已成為許多研究的焦點(diǎn)。

1? 網(wǎng)絡(luò)入侵檢測(cè)中流量數(shù)據(jù)約簡(jiǎn)

網(wǎng)絡(luò)入侵檢測(cè)通常包括四個(gè)步驟：數(shù)據(jù)抽樣、特征構(gòu)造、模型構(gòu)建和異常檢測(cè)[4]。數(shù)據(jù)約簡(jiǎn)就是在盡可能保持原始數(shù)據(jù)完整性的前提下，最大限度地精簡(jiǎn)數(shù)據(jù)量，去除冗余數(shù)據(jù)，保留有價(jià)值數(shù)據(jù)，縮小數(shù)據(jù)挖掘所需的數(shù)據(jù)集規(guī)模[5]。網(wǎng)絡(luò)入侵檢測(cè)中的流量數(shù)據(jù)約簡(jiǎn)的常用方法包括流量數(shù)據(jù)抽樣和流量特征降維，分別通過(guò)網(wǎng)絡(luò)流量數(shù)據(jù)集中數(shù)據(jù)量的減少或維度的減少，來(lái)達(dá)到降低數(shù)據(jù)規(guī)模的目的。

1.1? 網(wǎng)絡(luò)流量數(shù)據(jù)抽樣

網(wǎng)絡(luò)流量數(shù)據(jù)抽樣是統(tǒng)計(jì)學(xué)方法在網(wǎng)絡(luò)流量測(cè)量領(lǐng)域的應(yīng)用。無(wú)論是主動(dòng)測(cè)量還是被動(dòng)測(cè)量， 隨著流量速率的增加， 分析全部的網(wǎng)絡(luò)流量分組已經(jīng)變得越來(lái)越困難，一種可行的解決辦法就是使用網(wǎng)絡(luò)流量抽樣技術(shù)。網(wǎng)絡(luò)流量抽樣是數(shù)據(jù)量縮減和保留原始數(shù)據(jù)細(xì)節(jié)的折衷。選擇合適的網(wǎng)絡(luò)流量抽樣方法可以減少工作量，并能在一定程度上反應(yīng)網(wǎng)絡(luò)的全局特征[6]。高速網(wǎng)絡(luò)入侵檢測(cè)中，按照合理的抽樣規(guī)則，通過(guò)從整體網(wǎng)絡(luò)流量中抽取部分有代表性的網(wǎng)絡(luò)流量數(shù)據(jù)， 然后將抽取到的結(jié)果進(jìn)行科學(xué)合理的分析，推斷原始網(wǎng)絡(luò)流量數(shù)據(jù)的特征，以此來(lái)估計(jì)整個(gè)網(wǎng)絡(luò)的特性，掌握整個(gè)網(wǎng)絡(luò)的行為特征，進(jìn)而發(fā)現(xiàn)網(wǎng)絡(luò)攻擊[7]。因此，網(wǎng)絡(luò)入侵檢測(cè)中的流量數(shù)據(jù)抽樣是一種有效且值得研究的技術(shù)。

1.2? 網(wǎng)絡(luò)流量特征降維

特征是指一個(gè)對(duì)象的某方面性質(zhì)或特性，一個(gè)對(duì)象是由若干個(gè)特征來(lái)描述的。高速網(wǎng)絡(luò)中網(wǎng)絡(luò)流量數(shù)據(jù)可由成百上千個(gè)特征來(lái)刻畫(huà)，其中某些特征可能是不重要的，或不相關(guān)的， 或已經(jīng)包含在其他特征中， 甚至包含了錯(cuò)誤的相互關(guān)系[8]。因此，需要對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)進(jìn)行特征降維約簡(jiǎn)優(yōu)化。網(wǎng)絡(luò)流量特征降維旨在減少網(wǎng)絡(luò)流量數(shù)據(jù)集的維度隨機(jī)變量的數(shù)量，有兩種眾所周知的方法，即網(wǎng)絡(luò)流量特征選擇和網(wǎng)絡(luò)流量特征提取。特征選擇通常是選出重要的特征的維度，并拋棄不重要的維度;而特征提取則是更廣泛意義上地把一個(gè)高維的向量映射為一個(gè)低維向量，得到的結(jié)果特征值已經(jīng)不一定是原始的值。特征選擇保留了訓(xùn)練樣本的原始物理意義，但是當(dāng)數(shù)據(jù)間相似的依賴(lài)性很強(qiáng)時(shí)，檢測(cè)冗余信息對(duì)計(jì)算要求非常高;特征提取將原始高維特征空間映射到新的低維特征空間，可以有效地去除冗余和不相關(guān)特征[9?10]。

5? 結(jié)? 語(yǔ)

網(wǎng)絡(luò)流量數(shù)據(jù)約簡(jiǎn)在網(wǎng)絡(luò)入侵檢測(cè)中應(yīng)用非常廣泛且重要。本文對(duì)高速網(wǎng)絡(luò)環(huán)境下網(wǎng)絡(luò)入侵檢測(cè)中流量數(shù)據(jù)約簡(jiǎn)的基本概念、研究進(jìn)展和發(fā)展趨勢(shì)進(jìn)行論述、總結(jié)和展望。面對(duì)新問(wèn)題研究新方法，進(jìn)一步探索高速網(wǎng)絡(luò)入侵檢測(cè)中流量數(shù)據(jù)約簡(jiǎn)的理論和技術(shù)，對(duì)于網(wǎng)絡(luò)流量測(cè)量和網(wǎng)絡(luò)空間安全的研究和發(fā)展具有重要意義。

參考文獻(xiàn)

[1] 姜濱.基于特征選擇的網(wǎng)絡(luò)入侵檢測(cè)模型[J].現(xiàn)代電子技術(shù)，2019，42（1）：87?90.

[2] 胡志剛，李佳，鄭美光.云環(huán)境下面向負(fù)載均衡的數(shù)據(jù)密集型工作流的數(shù)據(jù)約簡(jiǎn)策略[J].計(jì)算機(jī)應(yīng)用研究，2019，36（8）： 2410?2414.

[3] 陳良臣，劉寶旭，高曙.網(wǎng)絡(luò)攻擊檢測(cè)中網(wǎng)絡(luò)流量數(shù)據(jù)抽樣技術(shù)研究[J].信息網(wǎng)絡(luò)安全，2019，19（8）：22?28.

[4] WANG W， HE Y Z， LIU J Q， et al. Constructing important features from massive network traffic for lightweight intrusion detection [J]. IET information security， 2015， 9（6）： 374?379.

[5] 杜嘉薇.網(wǎng)絡(luò)安全態(tài)勢(shì)感知：提取、理解和預(yù)測(cè)[M].北京：機(jī)械工業(yè)出版社，2019.

[6] 張忠琳.網(wǎng)絡(luò)質(zhì)量探測(cè)應(yīng)用的研究[D].北京：北京郵電大學(xué)，2015.

[7] SU Liya， YAO Yepeng. Hierarchical clustering based network traffic data reduction for improving suspicious flow detection [C]// 12th IEEE International Conference on Big Data Science and Engineering. New York： IEEE， 2018： 1?3.

[8] 郭春.基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測(cè)關(guān)鍵技術(shù)研究[D].北京：北京郵電大學(xué)，2014.

[9] 曹杰.基于SVM的網(wǎng)絡(luò)流量特征降維與分類(lèi)方法研究[D].長(zhǎng)春：吉林大學(xué)，2017.

[10] YAO Yepeng， SU Liya， LU Zhigang. DeepGFL： deep feature learning via graph for attack detection on flow?based network traffic [C]// MILCOM 2018?Military Communications Conference. Los Angeles： IEEE， 2018： 579?584.

[11] 董書(shū)琴，張斌.一種面向流量異常檢測(cè)的概率流抽樣方法[J].電子與信息學(xué)報(bào)，2019，41（6）：1450?1457.

[12] 劉珍.互聯(lián)網(wǎng)流量分類(lèi)中流量特征研究[J].計(jì)算機(jī)應(yīng)用研究，2017（1）：8?14.

[13] DONGHWOON Kwon， HYUNJOO Kim， JINOH Kim， et al. A survey of deep learning?based network anomaly detection [J]. Cluster comput， 2019， 22（1）： 949?961.

[14] ANUSHA K， SATHIYAMOORTHY E. Comparative study for feature selection algorithms in intrusion detection system [J]. Automatic control and computer sciences， 2016， 50（1）： 1?9.

[15] 陳良臣，高曙，劉寶旭，等.網(wǎng)絡(luò)加密流量識(shí)別研究進(jìn)展及發(fā)展趨勢(shì)[J].信息網(wǎng)絡(luò)安全，2019，19（3）：12?25.