葉朱兵
摘要:隨著我國(guó)互聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大,網(wǎng)絡(luò)通信模式和網(wǎng)絡(luò)服務(wù)也日益復(fù)雜,數(shù)據(jù)種類的增多和數(shù)據(jù)來(lái)源的多元化都不同程度地提高了網(wǎng)絡(luò)的運(yùn)維工作難度。以往對(duì)于網(wǎng)絡(luò)異常點(diǎn)的檢測(cè)工作多采用被動(dòng)的統(tǒng)計(jì)檢測(cè)技術(shù),其不足指出較多,迫切需要改進(jìn)。該文提出將網(wǎng)絡(luò)性能指標(biāo)作為監(jiān)測(cè)對(duì)象,從而實(shí)現(xiàn)快速查找和定位異常點(diǎn)的目標(biāo),構(gòu)建了基于同點(diǎn)時(shí)間序列的網(wǎng)絡(luò)性能模型,并采用SVM技術(shù)完成了對(duì)異常點(diǎn)的分析判斷任務(wù),顯著提高了網(wǎng)絡(luò)異常點(diǎn)的檢出率和識(shí)別速度,具有較好的應(yīng)用前景。
關(guān)鍵詞:SVM;分類算法;網(wǎng)絡(luò)異常點(diǎn);同點(diǎn)時(shí)間序列;檢測(cè)模型
中圖分類號(hào):TP393? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2019)21-0054-03
開(kāi)放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):
1 引言
隨著網(wǎng)絡(luò)規(guī)模的不斷擴(kuò)大,數(shù)據(jù)種類的不斷增多,以及用戶覆蓋范圍的不斷拓展,對(duì)網(wǎng)絡(luò)異常檢測(cè)的需求日益提高,不僅要求檢測(cè)精度達(dá)標(biāo),同時(shí)也要求將檢測(cè)耗時(shí)控制在一定范圍之內(nèi),即對(duì)檢測(cè)系統(tǒng)的實(shí)時(shí)性提出了更高的指標(biāo)。目前最常見(jiàn)的檢測(cè)手段依然是被動(dòng)統(tǒng)計(jì)式的,即根據(jù)某一時(shí)間點(diǎn)上的數(shù)據(jù)流量超過(guò)預(yù)定值來(lái)判別是否出現(xiàn)異常,這種方法存在許多問(wèn)題,如檢測(cè)精度不夠,容易出現(xiàn)誤報(bào)和漏報(bào)等,需要對(duì)其進(jìn)行改進(jìn)。
主動(dòng)性能檢測(cè)技術(shù)則不再針對(duì)流量進(jìn)行統(tǒng)計(jì),而是針對(duì)可能出現(xiàn)的異常指征進(jìn)行動(dòng)態(tài)的識(shí)別,從而更快的對(duì)故障點(diǎn)進(jìn)行定位;另一方面,也可根據(jù)網(wǎng)絡(luò)監(jiān)控的需求,靈活的設(shè)定性能指標(biāo)的合理范圍,一旦超出該范圍,則可判定異常點(diǎn)的出現(xiàn),并及時(shí)介入維護(hù),盡可能減輕了因故障的出現(xiàn)而導(dǎo)致的用戶體驗(yàn)度的下降程度,也避免了因連鎖反應(yīng)而帶來(lái)了嚴(yán)重網(wǎng)絡(luò)故障。在采用此方法進(jìn)行檢測(cè)時(shí),參數(shù)的合理調(diào)整環(huán)節(jié)至關(guān)重要,其調(diào)整質(zhì)量決定了整個(gè)檢測(cè)算法的運(yùn)行表現(xiàn)。為了提高參數(shù)優(yōu)化水平,本文提出構(gòu)建反映網(wǎng)絡(luò)性能變化特征的同點(diǎn)時(shí)間序列模型,并采用SVM機(jī)制對(duì)該模型進(jìn)行優(yōu)化,從而提高參數(shù)選擇的準(zhǔn)確性和實(shí)時(shí)性。
2 SVM機(jī)制概述
支持向量機(jī)SVM是人工智能領(lǐng)域內(nèi)發(fā)展較快的一種機(jī)器學(xué)習(xí)機(jī)制,其良好的自適應(yīng)性可適用于多種檢測(cè)分類場(chǎng)合。該機(jī)制最大的優(yōu)勢(shì)在于可以從高維空間對(duì)復(fù)雜的非線性問(wèn)題進(jìn)行并歸與簡(jiǎn)化,通過(guò)對(duì)解群體的分類與回歸,提高了算法的泛化性,并顯著降低了待求問(wèn)題的空間復(fù)雜度。SVM從根本上來(lái)看依舊屬于二元分類問(wèn)題,即根據(jù)預(yù)設(shè)標(biāo)準(zhǔn),自適應(yīng)的將待求問(wèn)題的解群體分為兩類,其算法如下:
設(shè)解群體為{[xi],[yj]},i,j =1,2,…n;[xi]、[yj]為n維向量,描述的系統(tǒng)的輸入與輸出,同時(shí)要求待求解問(wèn)題采用如下形式描述:
上式中[?(?)]為特征映射函數(shù),其作用是將解向量映射到高維空間,從而簡(jiǎn)化對(duì)問(wèn)題的描述,降低待求問(wèn)題的空間復(fù)雜度,因此可將上式看作是輸入和輸出之間的回歸函數(shù),基于這一結(jié)論,可采用SVM算法將其對(duì)應(yīng)轉(zhuǎn)換為:[]
其中[ω2]為復(fù)雜度參數(shù);C為懲罰系數(shù),用于糾正分類錯(cuò)誤帶來(lái)的偏差,[ε]為不靈敏損失函數(shù):
取經(jīng)驗(yàn)風(fēng)險(xiǎn)為:
結(jié)合以上兩式,可對(duì)式(2)進(jìn)行轉(zhuǎn)換,得到:
利用拉格朗日乘子法可得其對(duì)偶優(yōu)化問(wèn)題,描述為:
式(6)中的[K(xi,xj)]被稱為SVM機(jī)制中的核函數(shù),即用以評(píng)價(jià)解群體并對(duì)其進(jìn)行分類的關(guān)鍵函數(shù),因此,核函數(shù)的適應(yīng)度高低直接決定了SVM機(jī)制的分類質(zhì)量,本文選取目前成熟度最高,適用范圍最廣泛的高斯徑向基函數(shù)為核函數(shù),其描述如下:
以([a,a*])形式的解來(lái)描述以上函數(shù),則可得到:
而[b]的計(jì)算公式為:
結(jié)合以上公式,可得到SVM的最終分類函數(shù)為:
[f(x)]為+1和-1時(shí),分別表示兩種類型,本文提出的主動(dòng)預(yù)測(cè)機(jī)制借助了這種分類方法,將網(wǎng)絡(luò)中某節(jié)點(diǎn)性能同樣分為正常與異常兩類,并采用SVM機(jī)制加以實(shí)施判別。
3 網(wǎng)絡(luò)性能異常檢測(cè)方案設(shè)計(jì)
3.1 同點(diǎn)序列數(shù)據(jù)模型
時(shí)間序列模型被使用在多種檢測(cè)場(chǎng)合,通常分為兩種類型,即連續(xù)時(shí)間序列模型與同點(diǎn)時(shí)間序列模型。首先介紹連續(xù)時(shí)間序列模型,即根據(jù)某個(gè)監(jiān)測(cè)對(duì)象在一串連續(xù)的時(shí)間點(diǎn)上某種性能的波動(dòng)情況進(jìn)行采樣和分析,并構(gòu)建如式(11)所描述的數(shù)學(xué)模型作為訓(xùn)練集,其中U為訓(xùn)練集的輸入,V為輸出向量:
上式中,[l]為訓(xùn)練集中元素個(gè)數(shù);m為嵌入維數(shù);t為連續(xù)采樣點(diǎn)。該模型針對(duì)被測(cè)對(duì)象在某一時(shí)期內(nèi)的連續(xù)波動(dòng)情況具有較為精確的回歸模式,但其缺點(diǎn)是滯后性較為明顯,即系統(tǒng)檢測(cè)實(shí)時(shí)性能較差,且對(duì)于網(wǎng)絡(luò)性能監(jiān)測(cè)而言,其后果實(shí)往往會(huì)將異常點(diǎn)當(dāng)作正常情況代入分析過(guò)程,從而導(dǎo)致誤檢率明顯上升。另一方面,通過(guò)大量的觀察發(fā)現(xiàn),網(wǎng)絡(luò)性能的變化在一段連續(xù)時(shí)間內(nèi)往往呈現(xiàn)出無(wú)規(guī)律的特征,而在多日同一時(shí)刻卻表現(xiàn)出了類似的波動(dòng)特征,這也同網(wǎng)絡(luò)突發(fā)性強(qiáng)的特點(diǎn)相吻合?;谶@一結(jié)論,本文提出采用如下式所描述的同點(diǎn)時(shí)間序列模型作為構(gòu)建訓(xùn)練集的設(shè)計(jì)思路。
上式中的n為在1d周期中的采樣次數(shù);由于該模型在采樣環(huán)節(jié)采取了分散檢測(cè)的方法,因此也顯著的降低了異常點(diǎn)集中出現(xiàn)而帶來(lái)的某個(gè)樣本優(yōu)先級(jí)過(guò)高,最終干擾了整個(gè)訓(xùn)練集的分析結(jié)果這一常見(jiàn)的問(wèn)題,從而確保了檢測(cè)工作的穩(wěn)定性和可靠性。
3.2 核函數(shù)的選擇及參數(shù)優(yōu)化
如前文所述,在經(jīng)過(guò)了多次對(duì)比分析后,本文選取了目前應(yīng)用范圍最廣泛的高斯徑向基函數(shù)為SVM算法的核函數(shù),并對(duì)其關(guān)鍵參數(shù)進(jìn)行了優(yōu)化。為了在檢測(cè)實(shí)時(shí)性與精確性之間獲取最佳的平衡點(diǎn),參數(shù)優(yōu)化環(huán)節(jié)選取了兩步優(yōu)化策略,即首先采用粗略法確定參數(shù)的大致取值區(qū)間,以壓縮檢測(cè)方法的準(zhǔn)備耗時(shí),隨后采取精細(xì)尋優(yōu)法確定最佳的參數(shù)值。本次優(yōu)化工作的對(duì)象設(shè)定為SVM當(dāng)中最關(guān)鍵的兩個(gè)參數(shù),即懲罰參數(shù)[c]和核函數(shù)參數(shù)[γ],兩步尋優(yōu)的過(guò)程如圖1和圖2所示。
(1)粗略尋優(yōu)環(huán)節(jié)
尋優(yōu)結(jié)果如圖1所示:
如上圖所示,在空間坐標(biāo)系中,[x]、[y]軸分別表示[c]、[γ]取以2為底的對(duì)數(shù)后的值;[z]軸則為([c],[γ])的對(duì)應(yīng)的SVM分析結(jié)果的準(zhǔn)確度。采用SVMcgForClass函數(shù)進(jìn)行分析計(jì)算,得到[c]的粗略優(yōu)化區(qū)間為[(2-2,24)],[γ]的粗略優(yōu)化區(qū)間為[(2-4,24)],在此參數(shù)組合下,[SVM]機(jī)制對(duì)異常點(diǎn)的檢出準(zhǔn)確率達(dá)到了93%以上,效果良好。
(2)精細(xì)尋優(yōu)環(huán)節(jié)
將[c]在粗略區(qū)間內(nèi)離散化,得到[{2-2,2-1.5,2-1,…24}],同理[γ]離散為[{2-4,2-3.5,2-3,…24}],再次調(diào)用SVMcgForClass函數(shù),得到的兩個(gè)參數(shù)尋優(yōu)結(jié)果以及對(duì)應(yīng)的SVM檢出準(zhǔn)確率如圖2所示。
通過(guò)精細(xì)尋優(yōu),[c]和[γ]的最佳組合值分別為[c]=1.3272,[γ]=1,在此參數(shù)組合下,[SVM]對(duì)網(wǎng)絡(luò)異常點(diǎn)的檢出率達(dá)到了95.58%,相較于粗略尋優(yōu)結(jié)果有了明顯的改善,從而論證了本方法的有效性。通過(guò)大量的對(duì)比實(shí)驗(yàn)證明,本文提出的采用SVM機(jī)制對(duì)同點(diǎn)時(shí)間序列模型進(jìn)行網(wǎng)絡(luò)性能異常點(diǎn)的檢測(cè)方法明顯提高了網(wǎng)絡(luò)異常的檢出率,尤其在網(wǎng)絡(luò)性能不穩(wěn)定,出現(xiàn)大量集中錯(cuò)誤的關(guān)鍵時(shí)期,該機(jī)制對(duì)異常點(diǎn)的識(shí)別率較高,運(yùn)行質(zhì)量較為穩(wěn)定,持續(xù)監(jiān)測(cè)性能良好。
4 結(jié)束語(yǔ)
隨著網(wǎng)絡(luò)規(guī)模的不斷拓展,基于網(wǎng)絡(luò)平臺(tái)的信息化服務(wù)種類日益增多,廣大用戶對(duì)網(wǎng)絡(luò)性能與服務(wù)質(zhì)量的期望值也在不斷提高,網(wǎng)絡(luò)異常點(diǎn)的及時(shí)檢出與故障排查時(shí)確保網(wǎng)絡(luò)通信質(zhì)量的前提。網(wǎng)絡(luò)運(yùn)維工作必須要不斷引入新技術(shù),借鑒新理念,不斷在原有的技術(shù)基礎(chǔ)上突破創(chuàng)新,才能可靠的完成網(wǎng)絡(luò)維護(hù)目標(biāo)。本文將成熟的SVM機(jī)制與同點(diǎn)時(shí)間序列模型相結(jié)合,并構(gòu)建出了一種新的網(wǎng)絡(luò)異常檢測(cè)方案,并采用兩步交叉驗(yàn)證法提高了參數(shù)尋優(yōu)環(huán)節(jié)的質(zhì)量,顯著的提高了網(wǎng)絡(luò)性能異常點(diǎn)的檢測(cè)水平。相信隨著人工智能領(lǐng)域的不斷突破,以及隨著芯片計(jì)算能力的飛速提升,未來(lái)網(wǎng)絡(luò)異常檢測(cè)工作的可靠性、實(shí)時(shí)性與準(zhǔn)確性都將獲得大幅提升,實(shí)現(xiàn)從量變到質(zhì)變的過(guò)渡,最終為用戶提供更高質(zhì)量的網(wǎng)絡(luò)通信服務(wù)。
參考文獻(xiàn):
[1] 于艷華,宋俊德.一種基于異常點(diǎn)檢測(cè)的電信網(wǎng)絡(luò)性能監(jiān)控策略[J].電子與信息學(xué)報(bào),2009,31(9):2220-2224.
[2] 武優(yōu)西,郭磊,柴欣,等.基于優(yōu)化算法的核函數(shù)參數(shù)選擇的研究[J].計(jì)算機(jī)應(yīng)用與軟件,2014,27(1): 137-140.
[3] 吳景龍,楊淑霞,劉承水.基于遺傳算法優(yōu)化參數(shù)的支持向量機(jī)短期負(fù)荷預(yù)測(cè)方法[J].中南大學(xué)學(xué)報(bào):自然科學(xué)版,2009,40(1):180-184.
【通聯(lián)編輯:代影】