李麗娟 劉榮吉 原小衛(wèi)

（1.成都九洲電子信息系統(tǒng)股份有限公司，四川 成都 610041 ；2.盲信號(hào)處理國(guó)家級(jí)重點(diǎn)實(shí)驗(yàn)室，四川 成都 610041）

0 引言

隨著新一代通信技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，通信鏈路速率快速提升，承載業(yè)務(wù)更加多樣化，信息隱匿技術(shù)廣泛應(yīng)用，網(wǎng)絡(luò)攻擊手段日趨多元化、組織化、隱蔽化，這些都使網(wǎng)絡(luò)管理工作越來越復(fù)雜，難度增加。網(wǎng)絡(luò)流量監(jiān)測(cè)是網(wǎng)絡(luò)管理、網(wǎng)絡(luò)運(yùn)營(yíng)、網(wǎng)絡(luò)優(yōu)化和網(wǎng)絡(luò)安全的重要基礎(chǔ)，是掌握網(wǎng)絡(luò)運(yùn)行規(guī)律和理解網(wǎng)絡(luò)行為的支撐技術(shù)，是網(wǎng)絡(luò)安全審計(jì)系統(tǒng)的關(guān)鍵環(huán)節(jié)[1]。目前，網(wǎng)絡(luò)流量監(jiān)測(cè)主要從4個(gè)層面展開：基于 Bit-level、基于Packet-level、基于Flow-level以及基于Stream-level的流量分析[2]。

在網(wǎng)絡(luò)管理工作中，往往存在網(wǎng)絡(luò)優(yōu)化、特定問題查找、可疑目標(biāo)鎖定、網(wǎng)絡(luò)行為溯源和取證等需求，需要從不同層面精準(zhǔn)地采集網(wǎng)絡(luò)數(shù)據(jù)，進(jìn)一步分析處理，其中包括多個(gè)層面融合采集的需求。通常使用模式匹配的方式對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行標(biāo)記、篩選，模式相對(duì)簡(jiǎn)單（例如五元組），規(guī)則相對(duì)固化，在數(shù)據(jù)匹配的靈活性方面有所欠缺，用戶體驗(yàn)欠佳；此外，由于傳統(tǒng)匹配模式多為串行處理，即對(duì)一個(gè)網(wǎng)絡(luò)數(shù)據(jù)的處理按規(guī)則進(jìn)行先后處理，該模式的處理性能較低，進(jìn)而導(dǎo)致所支持的規(guī)則集合規(guī)模無法擴(kuò)大、系統(tǒng)整體處理能力受限。因此，該文研究一種行之有效的多維度融合匹配技術(shù)，以期大幅擴(kuò)大篩選規(guī)則集合的規(guī)模，增加數(shù)據(jù)處理的靈活性，有效提升整體處理性能，滿足用戶需要，在大規(guī)模在線網(wǎng)絡(luò)數(shù)據(jù)處理環(huán)境下是很有必要的。

1 基于多維度的網(wǎng)絡(luò)數(shù)據(jù)融合篩選關(guān)鍵技術(shù)

1.1 軟件定義數(shù)據(jù)篩選規(guī)則

軟件定義數(shù)據(jù)篩選規(guī)則（Software-Defined Filter Rules，SDFR）是一套面向在線網(wǎng)絡(luò)優(yōu)化、應(yīng)用過濾、攻擊監(jiān)測(cè)與特殊數(shù)據(jù)識(shí)別等應(yīng)用的網(wǎng)絡(luò)數(shù)據(jù)篩選規(guī)則描述語(yǔ)言。

SDFR提供跨網(wǎng)絡(luò)協(xié)議棧層次的靈活數(shù)據(jù)篩選表達(dá)式描述方法，支持從鏈路層、網(wǎng)絡(luò)層、傳輸層到應(yīng)用層協(xié)議字段的全棧數(shù)據(jù)特征描述，并支持對(duì)包長(zhǎng)度等統(tǒng)計(jì)類特征描述[3]。SDFR支持掛載第三方插件的方式來提供規(guī)則的可擴(kuò)展性，并通過動(dòng)作描述來支持各類命中數(shù)據(jù)處置方案，包括采樣輸出、原始報(bào)文數(shù)據(jù)以及元數(shù)據(jù)輸出等。

SDFR定義如下。

SDFR： = [RULE_BODY] [RULE_ACTION]

規(guī)則主體包括3部分，分別為規(guī)則頭部（RULE_HEADER）、規(guī)則體（RULE_BODY）、規(guī)則動(dòng)作（RULE_ACTION）。其中，規(guī)則頭部必須存在，規(guī)則體、規(guī)則動(dòng)作均可以為空。

規(guī)則體通過多個(gè)表達(dá)式定義特征匹配、計(jì)算規(guī)則，表達(dá)式之間使用&&連接。在語(yǔ)法單元之間和前后可加入若干個(gè)空格，以增強(qiáng)規(guī)則的可讀性。

規(guī)則動(dòng)作指示規(guī)則命中后，如何進(jìn)行后續(xù)操作，每個(gè)動(dòng)作后使用“；”表示結(jié)束。在語(yǔ)法單元之間和前后可加入若干個(gè)空格，以增強(qiáng)規(guī)則的可讀性。

1.2 流程引擎驅(qū)動(dòng)

流程引擎是多維度融合篩選處理的控制中心[4]，通過對(duì)SDFR的解讀，形成篩選規(guī)則集合，并映射到規(guī)則矩陣，生成待置位結(jié)果矩陣，按需要驅(qū)動(dòng)相應(yīng)維度處理線程，最后將單維結(jié)果向量進(jìn)行按位與操作，完成整個(gè)篩選處理流程。全過程包括規(guī)則預(yù)處理、規(guī)則匹配和規(guī)則命中標(biāo)記3個(gè)部分的處理流程。

1.2.1 規(guī)則預(yù)處理

規(guī)則預(yù)處理完成規(guī)則解析，通過SDFR的語(yǔ)法分析、詞法分析，完成規(guī)則合法性檢測(cè)；將多維規(guī)則集合中每一條規(guī)則不同維度的內(nèi)容抽取出來，完成規(guī)則按維度分類，形成二維規(guī)則矩陣；同時(shí)，根據(jù)規(guī)則維度建立多個(gè)變量（bitmap）作為命中結(jié)果向量，每個(gè)bitmap代表一個(gè)維度規(guī)則集的匹配結(jié)果，bitmap每個(gè)bit位對(duì)應(yīng)一個(gè)規(guī)則，將規(guī)則集合和bitmap雙向映射起來，便于匹配后根據(jù)bitmap的下標(biāo)快速查詢規(guī)則。

創(chuàng)建bitmap命中結(jié)果向量時(shí)，bit位設(shè)為1表示對(duì)應(yīng)的規(guī)則恒命中；設(shè)為0表示匹配過程中根據(jù)匹配結(jié)果來更改。

1.2.2 規(guī)則匹配

規(guī)則匹配實(shí)現(xiàn)基于數(shù)據(jù)包、報(bào)文、深度報(bào)文的多維特征匹配，匹配對(duì)象為網(wǎng)絡(luò)數(shù)據(jù)流[5]。網(wǎng)絡(luò)數(shù)據(jù)流具有多維度屬性，包括自定義頭部、五元組和承載內(nèi)容等報(bào)文屬性以及階段屬性，包括會(huì)話創(chuàng)建、會(huì)話重組和會(huì)話超時(shí)等階段/狀態(tài)。在會(huì)話流的創(chuàng)建階段，可以解析出五元組、自定義頭部屬性，此時(shí)即可完成五元組匹配和自定義維度匹配，更新相應(yīng)的結(jié)果向量；會(huì)話重組階段不做任何匹配；會(huì)話超時(shí)后可獲取完整的承載內(nèi)容，此時(shí)完成關(guān)鍵詞匹配和正則表達(dá)式匹配。通過分階段進(jìn)行不同維度的匹配，降低了匹配次數(shù)，同時(shí)又保證了準(zhǔn)確性。

為了了解參保人員的基本情況，筆者隨機(jī)走訪了幾個(gè)村進(jìn)行實(shí)地調(diào)研，發(fā)放調(diào)查問卷120份，調(diào)查對(duì)象為男性70人，女性50人，年齡段主要集中在31-59歲，占調(diào)查總?cè)藬?shù)的91.7%；60歲以上的10人。受教育情況為，小學(xué)及以下、初中和高中的人數(shù)分別為61人、47人和12人。經(jīng)濟(jì)來源情況：純務(wù)農(nóng)的63人，這部分人員月均收入均在1000元以下；手工藝者27人，月均收入約在2000—4000元，經(jīng)商者12人，依靠子女供養(yǎng)的18人。

1.2.3 規(guī)則命中標(biāo)記

規(guī)則命中標(biāo)記處理將規(guī)則匹配后生成的多個(gè)單維bitmap結(jié)果向量進(jìn)行按位與運(yùn)算，并根據(jù)結(jié)果向量中值為1的下標(biāo)查詢出規(guī)則ID，形成命中規(guī)則列表。

1.3 矩陣處理機(jī)制

規(guī)則矩陣主要存儲(chǔ)規(guī)則集合信息，由多個(gè)單維規(guī)則向量構(gòu)成，與之相對(duì)應(yīng)為命中結(jié)果矩陣。矩陣處理機(jī)制以二維矩陣的模式處理網(wǎng)絡(luò)數(shù)據(jù)流的匹配命中情況[6]，分為行處理和列處理。行處理代表單維規(guī)則集的匹配處理，例如五元組、關(guān)鍵詞和正則表達(dá)式等，處理結(jié)果為單維bitmap結(jié)果向量；列處理代表不同維度的匹配處理結(jié)果，將不同行結(jié)果向量進(jìn)行按位與運(yùn)算，得到多維融合匹配結(jié)果向量。

2 多維網(wǎng)絡(luò)數(shù)據(jù)融合篩選技術(shù)工程實(shí)現(xiàn)

2.1 多維網(wǎng)絡(luò)數(shù)據(jù)融合篩選流程

多維網(wǎng)絡(luò)數(shù)據(jù)融合篩選流程如圖1所示，由融合匹配規(guī)則集預(yù)處理、網(wǎng)絡(luò)數(shù)據(jù)包解析和融合匹配處理3個(gè)模塊組成。其中，融合匹配規(guī)則集預(yù)處理實(shí)現(xiàn)規(guī)則拆解和各維度規(guī)則預(yù)處理，網(wǎng)絡(luò)數(shù)據(jù)包解析完成各維度屬性要素解析和抽取，融合匹配處理完成各維度并行匹配和結(jié)果集融合處理。

圖1 多維網(wǎng)絡(luò)數(shù)據(jù)融合篩選流程圖

五元組匹配采用ACL算法，實(shí)現(xiàn)對(duì)精確五元組和模糊五元組的匹配處理。ACL算法設(shè)計(jì)初衷是進(jìn)行防火墻的訪問控制，對(duì)數(shù)據(jù)包匹配的默認(rèn)操作是返回優(yōu)先級(jí)最高的規(guī)則，該設(shè)計(jì)丟棄了對(duì)規(guī)則集合中剩余規(guī)則的匹配，不滿足對(duì)多用戶多規(guī)則的數(shù)據(jù)篩選需求，因此，筆者對(duì)ACL算法進(jìn)行了修改，改為返回命中的所有規(guī)則集合。

關(guān)鍵詞匹配完成對(duì)復(fù)雜關(guān)鍵詞的匹配，對(duì)AC算法進(jìn)行優(yōu)化，使其支持前向、后向和模糊匹配。

正則表達(dá)式匹配實(shí)現(xiàn)對(duì)通用正則規(guī)則的匹配[7]，支持單幀匹配和流匹配模式。

自定義維度匹配對(duì)鏈路層屬性、數(shù)據(jù)長(zhǎng)度和TCP標(biāo)志位等信息進(jìn)行匹配處理。

多維融合篩選處理在對(duì)網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行規(guī)則矩陣匹配處理后，對(duì)結(jié)果向量進(jìn)行按位與操作，檢測(cè)結(jié)果向量每個(gè)bit位是否為1，以判定所對(duì)應(yīng)ID的規(guī)則是否命中，根據(jù)命中ID數(shù)組反查規(guī)則矩陣，得到該數(shù)據(jù)流命中的所有規(guī)則集合。

2.2 實(shí)驗(yàn)驗(yàn)證

該文提出的多維度網(wǎng)絡(luò)數(shù)據(jù)融合篩選方法已在實(shí)際場(chǎng)景中應(yīng)用，在真實(shí)環(huán)境中對(duì)不同量級(jí)的規(guī)則集合下網(wǎng)絡(luò)數(shù)據(jù)篩選能力進(jìn)行測(cè)試，分規(guī)則集合中是否包括正則表達(dá)式規(guī)則2種情況，測(cè)試結(jié)果如圖2所示。該文實(shí)驗(yàn)所用服務(wù)器配置如下：CPU為Intel Xeon E5 v2630；主頻為2.20 GHz；內(nèi)存為128G；Intel為萬兆網(wǎng)口；操作系統(tǒng)為CentOS 7.564位。

在圖2中，橫坐標(biāo)代表規(guī)則集合數(shù)，縱坐標(biāo)代表可在線處理網(wǎng)絡(luò)流量。從圖中可以看出，在10萬條多維組合規(guī)則前提下，可處理流量約為5 Gbps；另外，可以觀察到，正則規(guī)則的存在對(duì)網(wǎng)絡(luò)數(shù)據(jù)篩選整體性能有顯著影響，即使添加限定范圍內(nèi)的少量正則規(guī)則，也會(huì)大幅降低整體處理性能。

圖2 不同規(guī)模規(guī)則集合下篩選處理性能測(cè)試結(jié)果

3 結(jié)語(yǔ)

該文提出的數(shù)據(jù)篩選技術(shù)通過對(duì)多維度融合匹配規(guī)則集合進(jìn)行預(yù)處理，將融合匹配條件進(jìn)行拆解、轉(zhuǎn)換，形成多維匹配模式矩陣，將每條具有多維特征的規(guī)則轉(zhuǎn)換為規(guī)則矩陣中的一個(gè)列向量，同時(shí)將融合匹配規(guī)則的ID映射在規(guī)則矩陣行向量中，可通過數(shù)組下標(biāo)實(shí)現(xiàn)快速訪問；隨后，對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行解析處理，得到不同維度的屬性信息，并針對(duì)這些屬性信息按相應(yīng)的匹配條件分別進(jìn)行匹配處理，并形成相應(yīng)的行結(jié)果向量，最后，將多個(gè)行結(jié)果向量進(jìn)行按位與操作，實(shí)現(xiàn)對(duì)多維匹配結(jié)果的融合處理。檢測(cè)融合篩選結(jié)果向量為1的bit位及該bit位ID序號(hào)，按序號(hào)訪問規(guī)則矩陣，獲取對(duì)應(yīng)的匹配命中規(guī)則集。該技術(shù)將多個(gè)維度的篩選需求解耦到不同的處理流程，實(shí)現(xiàn)了網(wǎng)絡(luò)數(shù)據(jù)匹配的并行處理，提升了支持融合匹配規(guī)則的數(shù)量級(jí)，并大幅提升了融合匹配的處理性能。

該文提出的多維度網(wǎng)絡(luò)數(shù)據(jù)融合篩選技術(shù)，已應(yīng)用于特定場(chǎng)景下的網(wǎng)絡(luò)數(shù)據(jù)處理設(shè)備中，具備支持規(guī)則容量大、性能穩(wěn)定以及規(guī)則易擴(kuò)展等特點(diǎn)，具有很強(qiáng)的實(shí)用性。