摘要:智慧城市是未來(lái)城市的發(fā)展趨勢(shì),邊緣數(shù)據(jù)存在一定的異常問(wèn)題,本文主要研究基于時(shí)序關(guān)聯(lián)的智慧城市邊緣數(shù)據(jù)異常檢測(cè),先建設(shè)系統(tǒng)架構(gòu),再設(shè)置檢測(cè)模型,最后通過(guò)實(shí)驗(yàn)仿真進(jìn)行驗(yàn)證。通過(guò)分析實(shí)驗(yàn)結(jié)果,本文設(shè)計(jì)的算法在準(zhǔn)確率、召回率方面表現(xiàn)良好,可以對(duì)其開(kāi)展更深入的研究。
關(guān)鍵詞:智慧城市;邊緣;檢測(cè)
智慧城市以智能系統(tǒng)為基礎(chǔ),優(yōu)化配置空間、資源等,以獲得最大能效,助力各個(gè)領(lǐng)域有序運(yùn)轉(zhuǎn)。由于智慧城市面臨著較復(fù)雜的數(shù)據(jù)感知應(yīng)用需求,因而對(duì)數(shù)據(jù)質(zhì)量有著更高要求。另外,智慧城市需要為大量終端設(shè)備提供服務(wù),感知數(shù)據(jù)會(huì)發(fā)生異常狀況,造成嚴(yán)重的資源浪費(fèi),因而需要科學(xué)處理異常數(shù)據(jù),以保障智慧城市的正常運(yùn)行。
一、系統(tǒng)架構(gòu)
(一)系統(tǒng)框架
要讓智慧城市獲得邊緣計(jì)算能力,需要融合物聯(lián)網(wǎng)、云計(jì)算等多種技術(shù),設(shè)計(jì)六層系統(tǒng)框架。這六層系統(tǒng)框架從底層到高層分別為類型與設(shè)計(jì)理念層、數(shù)據(jù)感知層、邊緣處理層、網(wǎng)絡(luò)傳輸層、大數(shù)據(jù)分析層、應(yīng)用層,如圖1所示。其中,類型與設(shè)計(jì)理念層通過(guò)物聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù),從設(shè)計(jì)層面管理智慧城市,讓其可以和可持續(xù)發(fā)展需求結(jié)合,從而構(gòu)建具有可持續(xù)發(fā)展能力的智慧城市;數(shù)據(jù)感知層負(fù)責(zé)對(duì)智慧城市相關(guān)數(shù)據(jù)進(jìn)行感知。城市實(shí)體和物聯(lián)網(wǎng)互動(dòng)的過(guò)程中,會(huì)產(chǎn)生覆蓋城市各領(lǐng)域的數(shù)據(jù);獲得數(shù)據(jù)后,通過(guò)邊緣處理層計(jì)算智慧城市運(yùn)行所需的資源,在感知邊緣處理數(shù)據(jù),讓智慧城市獲得更高的數(shù)據(jù)通信效率;網(wǎng)絡(luò)傳輸層借助ZigBee、LPWAN等技術(shù),結(jié)合以太網(wǎng)等,把邊緣處理層處理后的城市數(shù)據(jù)上傳到大數(shù)據(jù)分析層,并對(duì)數(shù)據(jù)作時(shí)間、空間標(biāo)記;大數(shù)據(jù)分析層獲得城市數(shù)據(jù)后,會(huì)利用異構(gòu)多協(xié)議網(wǎng)絡(luò)聚合器對(duì)其匯總處理,并將其存儲(chǔ)到數(shù)據(jù)庫(kù)中;應(yīng)用層使用數(shù)據(jù)處理應(yīng)用接口,根據(jù)數(shù)據(jù)內(nèi)容進(jìn)行城市規(guī)劃,優(yōu)化現(xiàn)有的智慧城市建設(shè)工作。
(二)邊緣服務(wù)增強(qiáng)
以智慧城市運(yùn)行需求為基礎(chǔ),搭配邊緣計(jì)算理論,可以對(duì)圖1的邊緣處理層做抽象化處理,第一層為云計(jì)算與大數(shù)據(jù)中心,第二層為由數(shù)個(gè)擁有匹配、管道傳輸、執(zhí)行階段的容器構(gòu)成的邊緣服務(wù)增強(qiáng)現(xiàn)實(shí),第三層為邊緣設(shè)備,第四層為由邊緣服務(wù)器、服務(wù)包、傳輸單位構(gòu)成的邊緣網(wǎng)關(guān),第五層為感知層,第六層為智慧城市。這種邊緣服務(wù)增強(qiáng)現(xiàn)實(shí)框架,可以進(jìn)一步提升智慧城市的邊緣服務(wù)能力。需要注意的是,邊緣設(shè)備的工作環(huán)境沒(méi)有過(guò)多差異,但邊緣設(shè)備的類型存在差異,應(yīng)用的單處理器內(nèi)核型號(hào)也有所不同,所以輸入輸出接口并不通用,會(huì)導(dǎo)致運(yùn)行數(shù)據(jù)存在差異。邊緣服務(wù)增強(qiáng)現(xiàn)實(shí)會(huì)被封裝成容器,利用服務(wù)標(biāo)識(shí),對(duì)各項(xiàng)任務(wù)內(nèi)容做詳細(xì)的編排處理。在進(jìn)行管道傳輸時(shí),要根據(jù)實(shí)現(xiàn)功能,將任務(wù)做管道流水處理,將任務(wù)轉(zhuǎn)移到下個(gè)階段。在執(zhí)行階段中,需要把任務(wù)處理獲得的數(shù)據(jù)轉(zhuǎn)移到下一階段,例如應(yīng)用層。
二、檢測(cè)模型設(shè)計(jì)
(一)異常檢測(cè)流程
要針對(duì)智慧城市的感知數(shù)據(jù)開(kāi)展適當(dāng)?shù)臅r(shí)序關(guān)聯(lián)處理,進(jìn)而獲得Sm={Sm(t1),Sm(t2),……,Sm(tw)}的原始數(shù)據(jù)集。流程處理需要應(yīng)用到時(shí)序原始數(shù)據(jù)生成、時(shí)序關(guān)聯(lián)分析等模塊。時(shí)序原始數(shù)據(jù)模塊要根據(jù)已有的關(guān)聯(lián)規(guī)則,將SN(Senor Node,感知節(jié)點(diǎn))感知數(shù)據(jù)和鏈路延遲等做關(guān)聯(lián)處理,進(jìn)而獲得所需時(shí)序關(guān)聯(lián)的原始數(shù)據(jù)。完成這項(xiàng)任務(wù)后,將數(shù)據(jù)做具體的時(shí)序關(guān)聯(lián)分析,獲得時(shí)序關(guān)聯(lián)數(shù)據(jù)集。使用本文算法,對(duì)其做異常數(shù)據(jù)檢測(cè),最后獲得異常數(shù)據(jù)與正常數(shù)據(jù)。
(二)時(shí)序關(guān)聯(lián)
SN感知與采集產(chǎn)生的數(shù)據(jù)點(diǎn),是智慧城市的感知時(shí)序。針對(duì)單個(gè)SN,向感知與采集數(shù)據(jù)增加時(shí)間特性,即可獲得時(shí)刻tj,節(jié)點(diǎn)vi的時(shí)序數(shù)據(jù):
(tj)={sd(tj),cld(tj),cn(tj),
su(tj)} (1)
其中,sd(tj)是在tj時(shí)刻,SN感知數(shù)據(jù)與時(shí)間量;cld(tj)是在tj時(shí)刻,鏈路延遲與時(shí)間量;cn(tj)是在tj時(shí)刻,網(wǎng)絡(luò)吞吐率與時(shí)間量;su(tj)是在tj時(shí)刻,SN節(jié)點(diǎn)存儲(chǔ)使用率與時(shí)間量。
在公式(1)基礎(chǔ)上,結(jié)合上文,可以設(shè)計(jì)算法1,即時(shí)序關(guān)聯(lián)分析算法,時(shí)間復(fù)雜度為O(m×n)。SDM[i][j]代表數(shù)據(jù)稀疏度矩陣,由SDVij賦值獲得。SDVij值越高,代表Sij當(dāng)前區(qū)域?yàn)橄∈鑵^(qū),SDVij值越低,代表Sij當(dāng)前區(qū)域?yàn)槌砻軈^(qū)。SDMm[i][j]代表數(shù)據(jù)稀疏度密度矩陣。通過(guò)算法1,可以獲得精簡(jiǎn)時(shí)序關(guān)聯(lián)數(shù)據(jù)集RDS。
(三)檢測(cè)算法
通過(guò)算法1,將獲得的原始數(shù)據(jù)作相應(yīng)處理,再將結(jié)果輸入到異常數(shù)據(jù)檢測(cè)中,對(duì)異常數(shù)據(jù)完善檢測(cè)工作。仍以上文為準(zhǔn),對(duì)精簡(jiǎn)時(shí)序關(guān)聯(lián)數(shù)據(jù)集,將時(shí)序關(guān)聯(lián)對(duì)齊,填充數(shù)據(jù)缺失部分,完成時(shí)序關(guān)聯(lián)計(jì)算。根據(jù)結(jié)算結(jié)果構(gòu)建相應(yīng)的關(guān)聯(lián)圖與關(guān)聯(lián)團(tuán),得到具體的檢測(cè)結(jié)果后,再次應(yīng)用異常檢測(cè)模型,從而獲得異常數(shù)據(jù)集。對(duì)于精簡(jiǎn)時(shí)序數(shù)據(jù)集,要作RPAA(Reversepiecewise Aggregate Approximation,逆向逐段聚集均值)處理。對(duì)部分?jǐn)?shù)據(jù)內(nèi)容縮減,以便后續(xù)提取各個(gè)時(shí)序數(shù)據(jù)集屬性。通常情況下,智慧城市的數(shù)據(jù)感知層產(chǎn)生的異常數(shù)據(jù),會(huì)以較低概率在單維時(shí)序數(shù)據(jù)集、多維時(shí)序數(shù)據(jù)集上出現(xiàn),并保持較長(zhǎng)時(shí)間,異常數(shù)據(jù)會(huì)以集合形式出現(xiàn)。在檢測(cè)異常數(shù)據(jù)期間,要將精簡(jiǎn)時(shí)序數(shù)據(jù)集當(dāng)成輸入內(nèi)容,利用時(shí)序段針對(duì)輸入內(nèi)容逐段檢測(cè),進(jìn)而確認(rèn)具體的異常位置與情況。
現(xiàn)基于異常檢測(cè)算法設(shè)計(jì)算法2,在開(kāi)展異常時(shí)序關(guān)聯(lián)數(shù)據(jù)檢測(cè)任務(wù)時(shí),算法2的時(shí)間成本消耗較大,主要負(fù)責(zé)計(jì)算RDS偏離度,并構(gòu)建相應(yīng)的時(shí)序關(guān)聯(lián)圖,計(jì)算最小覆蓋數(shù)據(jù)與異常時(shí)序關(guān)聯(lián)數(shù)據(jù)。如果RDS數(shù)據(jù)集是k維n個(gè)數(shù)據(jù),可以將si偏離度計(jì)算時(shí)間復(fù)雜度設(shè)為O(),構(gòu)建時(shí)序關(guān)聯(lián)圖時(shí)間復(fù)雜度為O(n×k)。在最小覆蓋數(shù)據(jù)時(shí),最差條件下的時(shí)間復(fù)雜度為O()。為提升本文算法的實(shí)用性,在計(jì)算最小覆蓋時(shí),使用匈牙利算法,即在多項(xiàng)式時(shí)間內(nèi),求解任務(wù)分配問(wèn)題的最優(yōu)組合。在計(jì)算異常時(shí)序關(guān)聯(lián)數(shù)據(jù)時(shí),使用禁忌搜索算法,以最初已知的可行解為起點(diǎn),確定特定搜索方向,對(duì)結(jié)果做大量的試驗(yàn),從結(jié)果中獲得可以讓目標(biāo)函數(shù)值擁有最多變化頻率的搜索模式。
三、實(shí)驗(yàn)與仿真
(一)實(shí)驗(yàn)準(zhǔn)備
根據(jù)上文可知,需要搭設(shè)基于時(shí)序關(guān)聯(lián)的智慧城市邊緣數(shù)據(jù)異常檢測(cè)的實(shí)驗(yàn)數(shù)據(jù)環(huán)境,讓其具備圖1中的數(shù)據(jù)感知層與邊緣處理層功能。使用3臺(tái)搭載英特爾酷睿i9處理器的PC機(jī)作為邊緣服務(wù)器使用,3臺(tái)配置ZigBee網(wǎng)關(guān)的設(shè)備,通過(guò)以太網(wǎng)應(yīng)用的PC機(jī),進(jìn)而滿足邊緣服務(wù)通信需求。再接入8臺(tái)感知設(shè)備,使用ZigBee和網(wǎng)關(guān)通信。感知設(shè)備采集數(shù)據(jù)頻率可以達(dá)到8次/s,每個(gè)數(shù)據(jù)占據(jù)1字節(jié)空間,在一個(gè)月內(nèi)連續(xù)采集數(shù)據(jù),包含127列時(shí)間序列。通過(guò)算法1,對(duì)數(shù)據(jù)做預(yù)處理后,可以獲得97列數(shù)據(jù),共計(jì)117.3萬(wàn)個(gè)時(shí)間點(diǎn)。如果DoC={doc1,doc2,……,doc}為數(shù)據(jù)對(duì)象集,則DcS可以設(shè)備集合DoC的分類。如果Cf(doci)(1≤i≤n)為doci的分類,可以設(shè)定Cnum(doci)作為DcS中doci的分類號(hào),現(xiàn)對(duì)doci、docj對(duì)象的分類正確性定義為如下內(nèi)容:
Ccorr(doci,docj)=1,如果Cf(doci)=Cf(docj)Cnum(doci)=Cnum(docj)
Cf(doci)=Cf(docj)=0,其他 (2)
通過(guò)公式(2),可以獲得數(shù)據(jù)處理準(zhǔn)確率為:
Pecr=1/n×(3)
召回率準(zhǔn)確率為:
Pecr=1/n× (4)
公式(3)與公式(4),是本文算法與對(duì)比算法的參考指標(biāo)。這里的對(duì)比算法是基于拓?fù)涓兄臅r(shí)間序列異常檢測(cè)算法。算法實(shí)驗(yàn)可以選擇4000時(shí)間長(zhǎng)度的數(shù)據(jù),開(kāi)展相應(yīng)的測(cè)試作業(yè),從127列時(shí)序數(shù)據(jù)中整理出400組數(shù)據(jù),借助算法2,獲得1800個(gè)時(shí)間長(zhǎng)度超過(guò)800的異常數(shù)據(jù)。實(shí)驗(yàn)過(guò)程中某個(gè)時(shí)刻感知的時(shí)序數(shù)據(jù)集,如表1所示。
使用本文算法,可以獲得氣壓傳感器在ti5時(shí)序中產(chǎn)生異常數(shù)據(jù),即99031Pa;溫度傳感器在ti2時(shí)序產(chǎn)生異常數(shù)據(jù),即18.53℃;光照傳感器在ti6時(shí)序中產(chǎn)生異常數(shù)據(jù),即158.4lux。在這個(gè)時(shí)刻,濕度傳感器并沒(méi)有產(chǎn)生異常數(shù)據(jù)。
(二)仿真分析
當(dāng)維度k值從10上升至40,隨機(jī)選擇維度使用算法1與PRAA,對(duì)數(shù)據(jù)進(jìn)行處理,將獲得結(jié)果作為算法2的輸入內(nèi)容,獲得在不同k值條件下的運(yùn)行時(shí)間曲線。當(dāng)增加k值時(shí),會(huì)產(chǎn)生更多的數(shù)據(jù)量,運(yùn)行時(shí)間會(huì)趨近線性增加。而在數(shù)據(jù)量較小時(shí),算法2只能運(yùn)行較短的一段時(shí)間。而維度增加,數(shù)據(jù)量快速提升,算法2運(yùn)行時(shí)間出現(xiàn)大幅提升,這意味著數(shù)據(jù)維度會(huì)影響算法2的效率;控制數(shù)據(jù)量,針對(duì)不同維度做仿真實(shí)驗(yàn),可以發(fā)現(xiàn),本文算法準(zhǔn)確率始終保持在0.8~0.9之間,不會(huì)產(chǎn)生過(guò)大的起伏。但對(duì)比算法的準(zhǔn)確率與召回率會(huì)有所下降。即使是持續(xù)增加序列數(shù)據(jù)的輸入,也可以獲得較高的準(zhǔn)確率,擁有較穩(wěn)定的召回率。利用這種方式,可以證明多維時(shí)序關(guān)聯(lián)的異常數(shù)據(jù)檢測(cè)算法在異常檢測(cè)方面,擁有較強(qiáng)的應(yīng)用性能;如果異常數(shù)據(jù)總量不斷增加影響,本文算法準(zhǔn)確率可維持在0.77~0.91之間,擁有較為緩慢的下降趨勢(shì),對(duì)比算法準(zhǔn)確率會(huì)出現(xiàn)較大幅下降。
從這方面可以看出,即使是在增加異常數(shù)據(jù)的條件下,也可以擁有良好的準(zhǔn)確率與召回率,確保檢測(cè)結(jié)果的穩(wěn)定性。如果輸入的數(shù)據(jù)量不大,本文算法擁有0.9的準(zhǔn)確率。在額外添加更多的處理數(shù)據(jù)時(shí),算法的準(zhǔn)確率會(huì)呈現(xiàn)緩慢下降趨勢(shì)。對(duì)于對(duì)比算法,在增加數(shù)據(jù)量時(shí),會(huì)產(chǎn)生明顯的準(zhǔn)確率下降情況。而在數(shù)據(jù)量較小時(shí),本文算法的召回率會(huì)有略微的上升趨勢(shì)。在數(shù)據(jù)量達(dá)到0.5GB時(shí),召回率會(huì)從原本的平穩(wěn)狀態(tài)下轉(zhuǎn)變成下降狀態(tài)。如果輸入的數(shù)據(jù)量偏小,對(duì)比算法會(huì)出現(xiàn)較為明顯的起伏式狀態(tài)。在輸入數(shù)據(jù)量達(dá)到0.4GB時(shí),召回率會(huì)產(chǎn)生明顯的下降趨勢(shì)。
根據(jù)以上仿真數(shù)據(jù)分析,在數(shù)據(jù)集維度、數(shù)據(jù)量、異常數(shù)據(jù)量等因素增加時(shí),本文算法在穩(wěn)定性、準(zhǔn)確率、召回率等方面要強(qiáng)于對(duì)比算法,即本文設(shè)計(jì)的基于時(shí)序關(guān)聯(lián)智慧城市邊緣數(shù)據(jù)異常檢測(cè)算法擁有良好的有效性。而數(shù)據(jù)量增加時(shí),會(huì)產(chǎn)生更多的異常數(shù)據(jù)量,但本文算法仍具有良好的可靠性,異常數(shù)據(jù)檢測(cè)的準(zhǔn)確率、召回率依舊高于對(duì)比算法。
四、結(jié)語(yǔ)
綜上所述,本文主要研究基于時(shí)序關(guān)聯(lián)的智慧城市邊緣數(shù)據(jù)異常檢測(cè),具有一定的參考價(jià)值,建議在研究智慧城市邊緣數(shù)據(jù)異常時(shí),從實(shí)際需求出發(fā),科學(xué)分析時(shí)序關(guān)聯(lián)應(yīng)用內(nèi)容,設(shè)計(jì)更完整的檢測(cè)方案,做好細(xì)節(jié)優(yōu)化處理,從而獲得更加精準(zhǔn)的分析結(jié)論,助力智慧城市穩(wěn)定運(yùn)行。
參考文獻(xiàn):
[1]張嬌陽(yáng),孫黎.基于深度學(xué)習(xí)的網(wǎng)絡(luò)異常檢測(cè)和智能流量預(yù)測(cè)方法[J].無(wú)線電通信技術(shù),2022,48(01):81-88.
[2]歐陽(yáng)金源,馮安琪,錢(qián)麗萍,等.邊緣計(jì)算構(gòu)架下基于孤立森林算法的DoS異常檢測(cè)[J].計(jì)算機(jī)科學(xué),2020,47(02):287-293.
[3]張哲敏,李琪林,成貴學(xué),等.基于CFSFDP算法的邊緣電力數(shù)據(jù)異常檢測(cè)[J].四川電力技術(shù),2021,44(04):6-10.
[4]蘇榮,張斌,陳俊生,等.基于邊緣檢測(cè)與方差變點(diǎn)的風(fēng)功率數(shù)據(jù)清洗方法[J].廣東電力,2021,34(05):48-56.
[5]謝小川,周紹軍,黎力,黎明.基于時(shí)序關(guān)聯(lián)智慧城市邊
緣數(shù)據(jù)異常檢測(cè)算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2022,43(07):1879-1889.
[6]曹輝,楊理踐,劉俊甫,等.基于數(shù)據(jù)融合的小波變換漏磁異常邊緣檢測(cè)[J].儀器儀表學(xué)報(bào),2019,40(12):71-79.
作者簡(jiǎn)介:王飛鴻(1999),男,浙江省溫州市人,碩士研究生,主要研究方向?yàn)橹腔坜r(nóng)業(yè)物聯(lián)網(wǎng)數(shù)據(jù)異常檢測(cè)、智慧城市物聯(lián)網(wǎng)異常檢測(cè),郵箱:2281777777@qq.com。