趙洪山 孫京杰 彭軼灝 趙仕策 許俊洋 王羽豐

基于多尺度窗口和區(qū)域注意力殘差網(wǎng)絡(luò)的無(wú)線電力終端身份識(shí)別方法

趙洪山1孫京杰1彭軼灝2趙仕策1許俊洋1王羽豐1

（1. 華北電力大學(xué)電力工程系 保定 071000 2. 國(guó)網(wǎng)南昌供電公司 南昌 330000）

針對(duì)現(xiàn)有無(wú)線通信設(shè)備信號(hào)識(shí)別方法需對(duì)信號(hào)進(jìn)行域變換、增加網(wǎng)絡(luò)輸入數(shù)據(jù)維數(shù)的問(wèn)題，該文提出基于多尺度窗口區(qū)域注意力殘差網(wǎng)絡(luò)的無(wú)線電力終端身份識(shí)別方法。首先，通過(guò)所提多尺度窗口模塊完成信號(hào)前導(dǎo)碼在各個(gè)周期尺度下的信息交互，使網(wǎng)絡(luò)能夠直接處理并識(shí)別原始無(wú)線通信信號(hào)數(shù)據(jù)；然后，設(shè)計(jì)區(qū)域注意力模塊，以顯著特征區(qū)域均值為評(píng)價(jià)指標(biāo)對(duì)通道資源進(jìn)行重新分配，提高了網(wǎng)絡(luò)對(duì)信號(hào)局部特征的學(xué)習(xí)能力；最后，以池化分類器替代全連接層，采用Adam優(yōu)化器進(jìn)行梯度更新完成訓(xùn)練過(guò)程。實(shí)際采集無(wú)線信號(hào)數(shù)據(jù)實(shí)驗(yàn)結(jié)果表明，設(shè)計(jì)的各模塊可顯著提升網(wǎng)絡(luò)的訓(xùn)練與識(shí)別性能，相同型號(hào)設(shè)備識(shí)別準(zhǔn)確率提高至97.316%，非法設(shè)備的檢測(cè)率達(dá)82.8%，可有效增強(qiáng)電力系統(tǒng)的無(wú)線通信安全。

無(wú)線通信安全 殘差網(wǎng)絡(luò) 身份識(shí)別 物理層安全 注意力機(jī)制

0 引言

隨著電力系統(tǒng)“數(shù)字化”轉(zhuǎn)型的全面加快建設(shè)[1-2]，大量電力物聯(lián)網(wǎng)無(wú)線終端應(yīng)用于電力系統(tǒng)的各個(gè)環(huán)節(jié)中，實(shí)現(xiàn)對(duì)電力設(shè)備的信息感知與狀態(tài)評(píng)估[3-5]。但現(xiàn)有無(wú)線終端因制造成本等約束，主要采用傳統(tǒng)密碼算法或安全協(xié)議的身份認(rèn)證機(jī)制，容易遭受惡意攻擊，給電力系統(tǒng)的無(wú)線通信帶來(lái)安全隱患[6-7]。對(duì)于已部署的無(wú)線終端，不易增設(shè)影響其現(xiàn)有通信方式與協(xié)議的安全機(jī)制[8]。因此，亟須一種更安全且不影響已部署設(shè)備的身份認(rèn)證機(jī)制，有效提升電力系統(tǒng)的無(wú)線通信安全，為電力系統(tǒng)“數(shù)字化”轉(zhuǎn)型提供有力支撐。

近年來(lái)，基于無(wú)線網(wǎng)絡(luò)物理層安全的身份認(rèn)證機(jī)制受到了學(xué)者的廣泛關(guān)注[9-10]。由于無(wú)線設(shè)備存在硬件制造差異，致使所發(fā)送的信號(hào)出現(xiàn)細(xì)微畸變，形成可用于設(shè)備身份識(shí)別的信號(hào)特征。硬件差異的隨機(jī)性導(dǎo)致對(duì)應(yīng)唯一的信號(hào)特征可用于識(shí)別設(shè)備身份，進(jìn)而實(shí)現(xiàn)對(duì)合法設(shè)備的認(rèn)證與非法設(shè)備的檢測(cè)[11]。相對(duì)于目前的信息安全機(jī)制，基于物理層的身份識(shí)別方法因不需改變已部署設(shè)備的通信協(xié)議與硬件結(jié)構(gòu)，在電力系統(tǒng)無(wú)線通信安全方面具有很大優(yōu)勢(shì)。

目前的無(wú)線信號(hào)識(shí)別技術(shù)可分為基于人工特征的傳統(tǒng)方法和基于深度學(xué)習(xí)的方法。傳統(tǒng)方法方面，文獻(xiàn)[12-13]提取信號(hào)的時(shí)域統(tǒng)計(jì)特征實(shí)現(xiàn)對(duì)設(shè)備身份的識(shí)別；文獻(xiàn)[14-15]利用信號(hào)的頻譜特征來(lái)區(qū)分不同設(shè)備的無(wú)線信號(hào)。文獻(xiàn)[16]提出基于稀疏表示的信號(hào)分類方案實(shí)現(xiàn)設(shè)備身份識(shí)別。傳統(tǒng)方法可較高精度地識(shí)別不同型號(hào)的設(shè)備，但存在網(wǎng)絡(luò)泛化能力差、相同型號(hào)設(shè)備識(shí)別精度低等問(wèn)題。

基于深度學(xué)習(xí)的方法是利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)信號(hào)樣本的多層次特征，提取信號(hào)內(nèi)在的細(xì)微差異，實(shí)現(xiàn)無(wú)線通信設(shè)備的身份識(shí)別。深度學(xué)習(xí)避免了人為提取信號(hào)特征的不完備性，具有泛化能力強(qiáng)及相同型號(hào)設(shè)備識(shí)別率高等優(yōu)點(diǎn)[17-18]。文獻(xiàn)[19-21]利用卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network, CNN）和殘差網(wǎng)絡(luò)（Residual Network, ResNet）實(shí)現(xiàn)對(duì)多種信號(hào)的分類識(shí)別。文獻(xiàn)[22]將信號(hào)時(shí)域波形轉(zhuǎn)換成二維頻譜圖，通過(guò)對(duì)多層感知器、長(zhǎng)短期記憶（Long Short Term Memory, LSTM）人工神經(jīng)網(wǎng)絡(luò)及CNN的對(duì)比分析，最終采用CNN學(xué)習(xí)信號(hào)頻譜圖實(shí)現(xiàn)對(duì)相同設(shè)備的高精度識(shí)別；文獻(xiàn)[23]提出改進(jìn)CNN模型對(duì)時(shí)域信號(hào)轉(zhuǎn)換后的差分星座軌跡圖進(jìn)行學(xué)習(xí)，實(shí)現(xiàn)了對(duì)無(wú)線設(shè)備較高的識(shí)別準(zhǔn)確率；文獻(xiàn)[24]將信號(hào)時(shí)域波形轉(zhuǎn)換成二維時(shí)頻圖像，采用擴(kuò)張殘差網(wǎng)絡(luò)提取信號(hào)視頻圖像特征，實(shí)現(xiàn)信號(hào)分類識(shí)別。然而，目前的深度學(xué)習(xí)方法主要對(duì)信號(hào)預(yù)處理轉(zhuǎn)化后的二維數(shù)據(jù)進(jìn)行識(shí)別分類，信號(hào)預(yù)處理復(fù)雜且數(shù)據(jù)擴(kuò)維在一定程度上提高了網(wǎng)絡(luò)對(duì)無(wú)線信號(hào)特征的尋覓難度。

針對(duì)上述問(wèn)題，提出了基于多尺度窗口區(qū)域注意力殘差網(wǎng)絡(luò)（Multiscale Window Region Attention Residual Network, MWRA-ResNet）的無(wú)線電力終端身份識(shí)別技術(shù)。本文首先針對(duì)無(wú)線信號(hào)前導(dǎo)碼特征，提出多尺度窗口（Multiscale Window, MW）模塊對(duì)前導(dǎo)碼各子幀信息進(jìn)行關(guān)聯(lián)學(xué)習(xí)，使得網(wǎng)絡(luò)可直接處理與學(xué)習(xí)信號(hào)原始數(shù)據(jù)；在此基礎(chǔ)上，設(shè)計(jì)區(qū)域注意力（Region Attention, RA）模塊，利用區(qū)域的評(píng)價(jià)指標(biāo)調(diào)整特征通道的分配占比，提升網(wǎng)絡(luò)對(duì)局部信號(hào)特征的提取性能，最終進(jìn)行了無(wú)線終端身份識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，本文方法顯著提升了對(duì)相同型號(hào)設(shè)備的識(shí)別精度，30個(gè)相同型號(hào)傳感設(shè)備的實(shí)驗(yàn)識(shí)別精度可達(dá)97.316%，同時(shí)對(duì)非法設(shè)備識(shí)別率達(dá)82.8%。

1 電力物聯(lián)網(wǎng)終端身份識(shí)別系統(tǒng)

由于無(wú)線通信終端的發(fā)射機(jī)元件制造差異、印制電路板印刷工藝等的影響，導(dǎo)致其發(fā)送的無(wú)線信號(hào)發(fā)生微弱畸變。差異的隨機(jī)性導(dǎo)致對(duì)應(yīng)的信號(hào)畸變可唯一反映終端身份，且作為物理層安全機(jī)制不會(huì)影響已部署電力終端的通信方式，僅需加設(shè)裝置系統(tǒng)即可，可有效增強(qiáng)電力系統(tǒng)無(wú)線通信的安全性。

圖1為基于MWRA-ResNet電力物聯(lián)網(wǎng)終端身份識(shí)別系統(tǒng)，在無(wú)線終端接入電網(wǎng)前采集其無(wú)線通信信號(hào)，導(dǎo)入MWRA-ResNet模型中訓(xùn)練網(wǎng)絡(luò)并提取設(shè)備特征，存儲(chǔ)在合法設(shè)備庫(kù)中并注冊(cè)。模型訓(xùn)練完成并驗(yàn)證后，基于MWRA-ResNet身份認(rèn)證系統(tǒng)可與無(wú)線通信終端一同入網(wǎng)。

圖1 基于MWRA-ResNet電力物聯(lián)網(wǎng)終端身份識(shí)別系統(tǒng)

當(dāng)無(wú)線終端接入電力物聯(lián)網(wǎng)進(jìn)行通信時(shí)，系統(tǒng)首先采集終端無(wú)線通信的原始信號(hào)數(shù)據(jù)，接著利用MWRA-ResNet模型對(duì)終端進(jìn)行身份識(shí)別，最后與設(shè)備入網(wǎng)前記錄的合法設(shè)備庫(kù)進(jìn)行身份比對(duì)。當(dāng)采集到的信號(hào)來(lái)源于合法設(shè)備庫(kù)中時(shí)，判定為合法設(shè)備并通過(guò)認(rèn)證；當(dāng)信號(hào)來(lái)源的特征不屬于合法設(shè)備庫(kù)時(shí)，判定為非法設(shè)備進(jìn)行報(bào)警并終止通信。

2 基于MWRA-ResNet的身份識(shí)別模型

傳統(tǒng)殘差網(wǎng)絡(luò)模型雖在分類問(wèn)題中得到了廣泛的應(yīng)用，但存在無(wú)法直接處理信號(hào)原始數(shù)據(jù)以精確識(shí)別設(shè)備差異等問(wèn)題。鑒于傳統(tǒng)ResNet在原始信號(hào)識(shí)別上的缺陷，提出了多尺度窗口和區(qū)域注意力殘差網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，其中，input為無(wú)線通信信號(hào)的原始數(shù)據(jù)；output為設(shè)備身份認(rèn)證結(jié)果，即合法設(shè)備與設(shè)備ID或非法設(shè)備；MWM為提出的多尺度窗口模塊；RARN為提出的區(qū)域注意力殘差網(wǎng)絡(luò)模塊；Conv為卷積層；BatchNorm為批量歸一化層；PReLU為激活函數(shù)層；PC為池化分類器。

圖2 多尺度窗口區(qū)域注意力殘差網(wǎng)絡(luò)

2.1 無(wú)線通信信號(hào)特性分析

由于無(wú)線終端發(fā)射機(jī)的電子元器件存在制造容差、電路板走線及封裝工藝、元件類型及布局等硬件差異，導(dǎo)致無(wú)線信號(hào)出現(xiàn)相應(yīng)的參數(shù)偏差，產(chǎn)生因硬件差異隨機(jī)性的可反映設(shè)備身份的唯一特征，例如：直流偏置、I/Q增益不平衡、I/Q正交偏移誤差、I/Q兩路濾波器偏差及功放非線性等特點(diǎn)，可用基于人工特征的傳統(tǒng)方法進(jìn)行身份識(shí)別，也為基于深度學(xué)習(xí)算法提供了理論依據(jù)[11,25-26]。

在無(wú)線通信中，由于IQ（in-phase quadrature）采樣相較于傳統(tǒng)實(shí)值采樣的優(yōu)點(diǎn)，軟件無(wú)線電系統(tǒng)接收端采集得到的無(wú)線信號(hào)原始數(shù)據(jù)多為時(shí)域I/Q信號(hào)，分為同相分量與正交分量?jī)陕窋?shù)據(jù)。I/Q信號(hào)兩路數(shù)據(jù)間相互正交且信息相關(guān)，且存在硬件差異導(dǎo)致的信號(hào)畸變特征，滿足卷積神經(jīng)網(wǎng)絡(luò)卷積核需求的空間相關(guān)性?？舍槍?duì)性地改進(jìn)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，進(jìn)而實(shí)現(xiàn)對(duì)原始I/Q信號(hào)的學(xué)習(xí)與設(shè)備的身份識(shí)別認(rèn)證。

圖3為采集得到的無(wú)線信號(hào)前導(dǎo)碼的原始I/Q信號(hào)波形，目前無(wú)線通信技術(shù)中，普遍在信號(hào)數(shù)據(jù)前加入前導(dǎo)碼，由于前導(dǎo)碼具有與通信數(shù)據(jù)無(wú)關(guān)、形式固定和易于采集等優(yōu)點(diǎn)，故選擇無(wú)線信號(hào)的前導(dǎo)碼進(jìn)行無(wú)線信號(hào)差異特征的學(xué)習(xí)與設(shè)備識(shí)別。

圖3 原始I/Q信號(hào)波形

若利用神經(jīng)網(wǎng)絡(luò)直接對(duì)整個(gè)信號(hào)進(jìn)行學(xué)習(xí)，網(wǎng)絡(luò)不易學(xué)習(xí)信號(hào)局部特征，且容易受信號(hào)傳輸數(shù)據(jù)信息、噪聲及環(huán)境因素的干擾，會(huì)降低網(wǎng)絡(luò)的學(xué)習(xí)性能和識(shí)別甚至于無(wú)法實(shí)現(xiàn)識(shí)別。由于前導(dǎo)信號(hào)的幀格式基本固定，導(dǎo)致前導(dǎo)信號(hào)在時(shí)域波形上呈現(xiàn)周期性，因此可根據(jù)此特性設(shè)計(jì)模塊處理局部區(qū)域信息并強(qiáng)化特征學(xué)習(xí)。

2.2 多尺度窗口模塊

針對(duì)上述影響因素，基于前導(dǎo)碼信號(hào)中存在的宏觀波形周期性，在網(wǎng)絡(luò)的第一層構(gòu)建了多尺度窗口模塊。

提出的多尺度窗口模塊結(jié)構(gòu)如圖4所示，其中，MWE為多尺度窗口提取，GC為分組卷積，CS為通道堆疊，淺色部分為奇數(shù)列窗口，深色部分為偶數(shù)列窗口。對(duì)于輸入的I/Q信號(hào)，首先通過(guò)倍窗口與/2倍橫移步長(zhǎng)（取1/2,1/4,1/8）對(duì)信號(hào)進(jìn)行提取重組。由于奇數(shù)列與偶數(shù)列的周期相似性不同，對(duì)提取窗口按奇偶進(jìn)行分組排列。然后利用分組卷積對(duì)各尺度窗口進(jìn)行特征提取，通過(guò)設(shè)定橫向卷積步長(zhǎng)（stride=1, 2, 4），將提取的通道特征控制在同一大小。最后，將各尺度通道特征進(jìn)行堆疊輸出。

圖4 多尺度窗口模塊

該操作通過(guò)對(duì)信號(hào)周期相似性部分進(jìn)行聯(lián)動(dòng)學(xué)習(xí)，使得網(wǎng)絡(luò)具備學(xué)習(xí)并分辨子幀信息及抑制噪聲干擾的能力，從而提升網(wǎng)絡(luò)學(xué)習(xí)無(wú)線信號(hào)并區(qū)分差異的能力。

2.3 區(qū)域注意力模塊

注意力機(jī)制是一種資源分配的機(jī)制，對(duì)于原本平均分配的資源，通過(guò)對(duì)注意力對(duì)象的部分特性進(jìn)行重要性評(píng)價(jià)，最終重新分配資源。而硬件差異帶來(lái)的信號(hào)畸變一般體現(xiàn)為局部的特征差異，現(xiàn)有的傳統(tǒng)注意力機(jī)制考慮的是特征通道的整體，無(wú)法有效識(shí)別網(wǎng)絡(luò)的局部特征差異。

鑒于傳統(tǒng)注意力機(jī)制在無(wú)線信號(hào)識(shí)別中的上述問(wèn)題，提出了區(qū)域注意力機(jī)制模塊，在殘差網(wǎng)絡(luò)的批量歸一層之后添加了區(qū)域注意力機(jī)制模塊，以最大區(qū)域特征均值為評(píng)價(jià)指標(biāo)，完成通道占比的重新分配。

區(qū)域注意力機(jī)制的單元結(jié)構(gòu)如圖5所示，其中，、為特征圖大小，特征圖為網(wǎng)絡(luò)中卷積核輸出的特征；為特征通道數(shù)量，在圖4中信號(hào)經(jīng)MWE重組后，GC分組卷積后的紅色、藍(lán)色及黃色部分為特征通道，即為各部分對(duì)應(yīng)的數(shù)量；Avg為全局自適應(yīng)均值池化層，為池化輸出個(gè)數(shù)，本文取標(biāo)簽種類個(gè)數(shù)且與已知類別數(shù)相同，Max為全局最大池化層，F(xiàn)C為全連接層，Mul為乘法運(yùn)算。區(qū)域注意力機(jī)制通過(guò)全局自適應(yīng)均值池化，對(duì)特征通道按標(biāo)簽種類數(shù)進(jìn)行區(qū)域劃分并分別計(jì)算區(qū)域特征均值，隨后利用全局最大池化層提取顯著區(qū)域均值作為評(píng)價(jià)指標(biāo)，最后采用三層全連接層擬合指標(biāo)分配函數(shù)，獲得最終的通道權(quán)重為

圖5 區(qū)域注意力機(jī)制

該模塊通過(guò)對(duì)通道進(jìn)行區(qū)域劃分，提取最大特征區(qū)域均值作為評(píng)價(jià)指標(biāo)，隨后利用指標(biāo)分配函數(shù)完成特征通道占比的重新分配，有效增加了顯著區(qū)域信息對(duì)通道的影響力，提高了網(wǎng)絡(luò)對(duì)局部信號(hào)的提取性能。

2.4 MWRA-ResNet識(shí)別流程

MWRA-ResNet實(shí)現(xiàn)無(wú)線電力終端身份識(shí)別的完整流程如圖6所示，該方法通過(guò)采集待入網(wǎng)無(wú)線電力終端的原始I/Q信號(hào)進(jìn)行訓(xùn)練，利用提出的MW模塊在不對(duì)信號(hào)數(shù)據(jù)進(jìn)行重構(gòu)的前提下實(shí)現(xiàn)對(duì)信號(hào)的分類，提出的RA模塊加速了網(wǎng)絡(luò)的訓(xùn)練速度。訓(xùn)練好的網(wǎng)絡(luò)可對(duì)采集到的信號(hào)進(jìn)行識(shí)別，并與入網(wǎng)前記錄的合法設(shè)備庫(kù)進(jìn)行比對(duì)，實(shí)現(xiàn)對(duì)設(shè)備身份的識(shí)別。

3 實(shí)驗(yàn)及性能分析

為評(píng)估所提方法的識(shí)別效果與所提出的各模塊的性能，實(shí)際采集30個(gè)相同型號(hào)設(shè)備，共計(jì)30 000個(gè)數(shù)據(jù)進(jìn)行設(shè)備身份識(shí)別實(shí)驗(yàn)。為更全面地分析所提出的各模塊具體表現(xiàn)，對(duì)包含不同所提出模塊的共五種改進(jìn)模型進(jìn)行訓(xùn)練與測(cè)試集驗(yàn)證，從中選取50%為訓(xùn)練集，剩余50%為測(cè)試集。

圖6 MWRA-ResNet識(shí)別流程

3.1 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)室利用軟件定義無(wú)線電（Software Defined Radio, SDR）設(shè)備USRP N210采集設(shè)備的無(wú)線信號(hào)，共采集了30個(gè)相同廠商及型號(hào)的LoPy4設(shè)備，設(shè)備所用芯片為SX1276，可工作頻率范圍為137～1 020MHz，可工作帶寬為7.8～500kHz。實(shí)驗(yàn)設(shè)置其工作頻率為868.1MHz，信號(hào)傳輸間隔為0.3s，信號(hào)數(shù)據(jù)選自文獻(xiàn)[27]，數(shù)據(jù)包長(zhǎng)度為8 192，USRP N210采樣率為1MHz，每個(gè)設(shè)備采集1 000個(gè)前導(dǎo)序列的信號(hào)樣本，共計(jì)30 000個(gè)信號(hào)樣本數(shù)據(jù)。

算法代碼基于PyTorch框架，深度學(xué)習(xí)服務(wù)的GPU為NVIDIA GTX3070，運(yùn)行環(huán)境為16G，CUDA11.3，CUDNN8.2.0的硬件環(huán)境。訓(xùn)練實(shí)時(shí)監(jiān)控為T(mén)ensorboard框架。

實(shí)驗(yàn)傳統(tǒng)殘差網(wǎng)絡(luò)（ResNet）及包含不同所提子模塊的四種優(yōu)化模型：?jiǎn)纬叨却翱跉埐罹W(wǎng)絡(luò)（Single-Scale Window Residual Network, SW-ResNet）、多尺度窗口殘差網(wǎng)絡(luò)（Multiscale Window Residual Network, MW-ResNet）、多尺度窗口傳統(tǒng)注意力殘差網(wǎng)絡(luò)（Multiscale Window Attention Residual Network, MWA-ResNet）與多尺度窗口區(qū)域注意力殘差網(wǎng)絡(luò)（MWRA-ResNet）進(jìn)行性能分析比較，進(jìn)一步驗(yàn)證所提各模塊的有效性。不同模型差別及各模塊參數(shù)設(shè)定見(jiàn)表1。

表1 不同模型模塊設(shè)置參數(shù)

Tab.1 Setting parameters for different model modules

3.2 傳統(tǒng)ResNet模型性能分析

由于傳統(tǒng)ResNet模型的訓(xùn)練時(shí)間過(guò)長(zhǎng)，選擇先采用每組100條共3 000條信號(hào)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練 2 500次，再采用每組500條共15 000組數(shù)據(jù)進(jìn)行訓(xùn)練，ResNet模型的訓(xùn)練集與測(cè)試集的識(shí)別結(jié)果如圖7所示，其中，由于測(cè)試集數(shù)據(jù)存在波動(dòng)性，所有測(cè)試集結(jié)果均采取50 pts平滑度參數(shù)的相鄰平均法進(jìn)行平滑處理，以便觀察及分析比較。

圖7 傳統(tǒng)ResNet模型訓(xùn)練集與測(cè)試集識(shí)別結(jié)果

由圖7可以看出，傳統(tǒng)ResNet模型不僅訓(xùn)練至擬合所需時(shí)間過(guò)長(zhǎng)，在測(cè)試集的識(shí)別準(zhǔn)確率上也較低，不適用于直接對(duì)信號(hào)原始數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練與身份識(shí)別。

3.3 所提四種優(yōu)化模型性能分析

圖8為所提四種優(yōu)化模型訓(xùn)練集的Loss曲線，可以看出，相較于ResNet模型，迭代3 000次趨于收斂，所提的SW-ResNet、MW-ResNet、MWA-ResNet及MWRA- ResNet四種優(yōu)化模型均進(jìn)行300次迭代訓(xùn)練至網(wǎng)絡(luò)趨于穩(wěn)定。加入尺度模塊后的SW-ResNet與MW-ResNet兩種模型訓(xùn)練趨于穩(wěn)定所需時(shí)間大大減少，且多尺度模塊的MW-ResNet模型提升效果更加明顯。

圖8 四種優(yōu)化模型訓(xùn)練集與測(cè)試集識(shí)別結(jié)果

對(duì)于在MW-ResNet模型的基礎(chǔ)上加入傳統(tǒng)的通道注意力后的MWA-ResNet模型，并未對(duì)訓(xùn)練時(shí)間有所提升，而加入?yún)^(qū)域注意力機(jī)制的MWRA-ResNet模型可進(jìn)一步提升訓(xùn)練性能，且在迭代50次后趨于穩(wěn)定，證明所提的多尺度模塊與區(qū)域注意力機(jī)制可有效提升殘差網(wǎng)絡(luò)的學(xué)習(xí)性能。

最好的慰藉，自然是更公平的環(huán)境。“嚴(yán)夫人”和“曬官譜求關(guān)照”輿情之后，都得到了有關(guān)方面比較迅速的介入，這或許算是積極的信號(hào)。

圖9為四種優(yōu)化模型測(cè)試集識(shí)別準(zhǔn)確率結(jié)果，可以看出，相較于傳統(tǒng)ResNet模型64.791%的測(cè)試集識(shí)別率，加入單尺度模塊的SW-ResNet模型識(shí)別準(zhǔn)確率可達(dá)95.943%，加入多尺度模塊的MW-ResNet模型識(shí)別準(zhǔn)確率可達(dá)96.641%，極大提升了傳統(tǒng)ResNet模型的識(shí)別精度。驗(yàn)證了綜合考慮前導(dǎo)碼信號(hào)各子幀信息的多尺度模塊對(duì)網(wǎng)絡(luò)性能提高的有效性。此外，對(duì)于在MW-ResNet模型的基礎(chǔ)上加入傳統(tǒng)的通道注意力后的MWA-ResNet模型，并未對(duì)識(shí)別精度有所提升，而加入?yún)^(qū)域注意力機(jī)制的MWRA-ResNet模型識(shí)別準(zhǔn)確率可達(dá)97.316%，在提升訓(xùn)練性能的同時(shí)進(jìn)一步提高了識(shí)別準(zhǔn)確率。驗(yàn)證了區(qū)域注意力機(jī)制可有效提高網(wǎng)絡(luò)識(shí)別信號(hào)畸變特征的性能。

圖9 不同模型測(cè)試集識(shí)別準(zhǔn)確率對(duì)比

由于傳統(tǒng)的分類網(wǎng)絡(luò)在網(wǎng)絡(luò)的輸出層后采用Softmax激活函數(shù)進(jìn)行歸一化處理，得到輸出概率，取輸出概率的最大值對(duì)應(yīng)標(biāo)簽作為信號(hào)的設(shè)備型號(hào)，當(dāng)所有設(shè)備輸出概率都較低時(shí)，僅選擇最大輸出概率的設(shè)備作為結(jié)果容易導(dǎo)致誤判，造成識(shí)別結(jié)果的不準(zhǔn)確。為進(jìn)一步精確識(shí)別結(jié)果，使評(píng)判更為客觀，在采取傳統(tǒng)識(shí)別準(zhǔn)確率作為評(píng)價(jià)指標(biāo)的同時(shí)，對(duì)最終設(shè)備身份判定加入概率閾值條件，提出90%置信識(shí)別準(zhǔn)確率指標(biāo)，即當(dāng)識(shí)別結(jié)果的最大輸出概率達(dá)到90%及以上時(shí)定義為90%置信識(shí)別。

圖10為四種模型測(cè)試集90%置信準(zhǔn)確率結(jié)果，可以看出，在90%置信識(shí)別下，多尺度模塊較單尺度模塊性能提升更為明顯。加入通道注意力后，對(duì)識(shí)別效果沒(méi)有提升，而加入?yún)^(qū)域注意力機(jī)制后，識(shí)別準(zhǔn)確率繼續(xù)提升。

圖10 不同模型測(cè)試集90%置信準(zhǔn)確率結(jié)果

綜上所述，構(gòu)建的多尺度模塊由于考慮前導(dǎo)碼信號(hào)各子幀的信息，避免對(duì)信號(hào)整體分析導(dǎo)致的局部差異特征丟失，顯著提升了訓(xùn)練性能與識(shí)別準(zhǔn)確率；提出的區(qū)域注意力機(jī)制通過(guò)對(duì)通道進(jìn)行區(qū)域劃分，進(jìn)一步加強(qiáng)對(duì)區(qū)域差異特征的學(xué)習(xí)，在多尺度模塊的基礎(chǔ)上實(shí)現(xiàn)對(duì)訓(xùn)練性能與識(shí)別精度進(jìn)一步提升。進(jìn)一步驗(yàn)證了所構(gòu)建模塊的性能。

3.4 設(shè)備識(shí)別結(jié)果分析

截尾平均準(zhǔn)確率為剔除最優(yōu)與最差結(jié)果后的剩余迭代次數(shù)的識(shí)別準(zhǔn)確率均值，避免了隨機(jī)性對(duì)各模型測(cè)試集識(shí)別結(jié)果的影響，使得分析更為科學(xué)合理。

表2 不同模型身份識(shí)別結(jié)果

Tab.2 Identification result of different models

3.5 非法設(shè)備識(shí)別結(jié)果分析

為了進(jìn)一步驗(yàn)證模型的有效性，測(cè)試對(duì)非法設(shè)備識(shí)別的效果，選取5個(gè)未參與訓(xùn)練過(guò)的LoPy4設(shè)備作為非法設(shè)備，未參與訓(xùn)練過(guò)的LoPy4發(fā)送相同前導(dǎo)信號(hào)進(jìn)行實(shí)驗(yàn)，其余采集參數(shù)與先前完全一致，每個(gè)非法設(shè)備各采集400個(gè)信號(hào)樣本，以模擬非法設(shè)備進(jìn)行通信的情形。

表3為非法設(shè)備身份識(shí)別結(jié)果，可以看出，設(shè)置置信識(shí)別后網(wǎng)絡(luò)可成功檢測(cè)非法設(shè)備，且置信度越高非法設(shè)備成功識(shí)別率越高，當(dāng)為99%置信時(shí)，非法設(shè)備的平均識(shí)別率為82.80%。

表3 非法設(shè)備身份識(shí)別結(jié)果

Tab.3 Identification result of illegal devices

4 結(jié)論

本文針對(duì)電力系統(tǒng)無(wú)線通信安全提出了基于多尺度窗口區(qū)域注意力殘差網(wǎng)絡(luò)的無(wú)線電力終端身份識(shí)別方法，通過(guò)實(shí)際采集的無(wú)線通信數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證，得出如下結(jié)論：

1）針對(duì)信號(hào)前導(dǎo)碼幀結(jié)構(gòu)存在一定周期相似性，提出了多尺度窗口模塊，使網(wǎng)絡(luò)具備學(xué)習(xí)與分辨硬件差異導(dǎo)致信號(hào)畸變特征的能力。通過(guò)實(shí)驗(yàn)證明了該模塊能夠有效規(guī)正網(wǎng)絡(luò)在分類任務(wù)中的學(xué)習(xí)方向，針對(duì)性地學(xué)習(xí)設(shè)備差異對(duì)信號(hào)帶來(lái)的影響。

2）針對(duì)傳統(tǒng)殘差網(wǎng)絡(luò)在局部特征分析上的缺陷，構(gòu)建了區(qū)域注意力機(jī)制模塊，以通道劃分區(qū)域的均值最大值作為評(píng)價(jià)指標(biāo)，對(duì)通道占比進(jìn)行重新分配，增加了顯著區(qū)域?qū)νǖ赖挠绊懥?。通過(guò)實(shí)驗(yàn)證明了該模塊相對(duì)通道注意力機(jī)制，能夠更好地?cái)U(kuò)大差異，提高信號(hào)分類任務(wù)的識(shí)別性能。

3）提出的基于多尺度窗口區(qū)域注意力殘差網(wǎng)絡(luò)的身份識(shí)別方法實(shí)現(xiàn)了對(duì)無(wú)線信號(hào)原始I/Q數(shù)據(jù)的差異特征自學(xué)習(xí)。實(shí)驗(yàn)結(jié)果表明，提出的MWRA-ResNet模型與其他四種模型相比在學(xué)習(xí)性能上有較大提升，MWRA-ResNet模型對(duì)相同型號(hào)設(shè)備的識(shí)別準(zhǔn)確率可達(dá)97.316%，非法設(shè)備的識(shí)別率達(dá)82.80%。

[1] 黃彥欽, 余浩, 尹鈞毅, 等. 電力物聯(lián)網(wǎng)數(shù)據(jù)傳輸方案：現(xiàn)狀與基于5G技術(shù)的展望[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(17): 3581-3593.

Huang Yanqin, Yu Hao, Yin Junyi, et al. Data transmission schemes of power Internet of Things: present and outlook based on 5G technology[J]. Transactions of China Electrotechnical Society, 2021, 36(17): 3581-3593.

[2] 王紅霞, 王波, 董旭柱, 等. 面向多源電力感知終端的異構(gòu)多參量特征級(jí)融合：融合模式、融合框架與場(chǎng)景驗(yàn)證[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(7): 1314-1323.

Wang Hongxia, Wang Bo, Dong Xuzhu, et al. Heterogeneous multi-parameter feature-level fusion for multi-source power sensing terminals: fusion mode, fusion framework and application scenarios[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1314-1323.

[3] 劉云鵬, 李歡, 田源, 等. 基于分布式光纖傳感的繞組變形程度檢測(cè)[J]. 電工技術(shù)學(xué)報(bào), 2021, 36(7): 1347-1355.

Liu Yunpeng, Li Huan, Tian Yuan, et al. Winding deformation detection based on distributed optical fiber sensing[J]. Transactions of China Electrotechnical Society, 2021, 36(7): 1347-1355.

[4] 陳偉根, 張知先, 李劍, 等. 電氣設(shè)備狀態(tài)參量智能傳感技術(shù)[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2020, 40(增刊1): 323-342.

Chen Weigen, Zhang Zhixian, Li Jian, et al. Intelligent sensing technology for power equipment state parameters[J]. Proceedings of the CSEE, 2020, 40(S1): 323-342.

[5] 趙仕策, 趙洪山, 壽佩瑤. 智能電力設(shè)備關(guān)鍵技術(shù)及運(yùn)維探討[J]. 電力系統(tǒng)自動(dòng)化, 2020, 44(20): 1-10.

Zhao Shice, Zhao Hongshan, Shou Peiyao. Discussion on key technology and operation & maintenance of intelligent power equipment[J]. Automation of Electric Power Systems, 2020, 44(20): 1-10.

[6] 肖勇, 錢(qián)斌, 蔡梓文, 等. 電力物聯(lián)網(wǎng)終端非法無(wú)線通信鏈路檢測(cè)方法[J]. 電工技術(shù)學(xué)報(bào), 2020, 35(11): 2319-2327.

Xiao Yong, Qian Bin, Cai Ziwen, et al. Malicious wireless communication link detection of power Internet of thing devices[J]. Transactions of China Electrotechnical Society, 2020, 35(11): 2319-2327.

[7] 蘇盛, 汪干, 劉亮, 等. 電力物聯(lián)網(wǎng)終端安全防護(hù)研究綜述[J]. 高電壓技術(shù), 2022, 48(2): 513-525.

Su Sheng, Wang Gan, Liu Liang, et al. Review on security of power Internet of Things terminals[J]. High Voltage Engineering, 2022, 48(2): 513-525.

[8] 徐爭(zhēng)光. 無(wú)線通信中物理層認(rèn)證關(guān)鍵技術(shù)的研究綜述[J]. 華南理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2018, 46(5): 47-52.

Xu Zhengguang. Review of physical-layer authentication key technology in wireless communication[J]. Journal of South China University of Technology (Natural Science Edition), 2018, 46(5): 47-52.

[9] 劉銘, 劉念, 韓曉藝, 等. 一種基于射頻指紋的電力物聯(lián)網(wǎng)設(shè)備身份識(shí)別方法[J]. 中國(guó)電力, 2021, 54(3): 80-88.

Liu Ming, Liu Nian, Han Xiaoyi, et al. A RF fingerprint based EIoT device identification method[J]. Electric Power, 2021, 54(3): 80-88.

[10] 陳子驍, 周小明, 李釗, 等. 一種基于射頻指紋的電網(wǎng)無(wú)線設(shè)備入侵檢測(cè)算法[J]. 無(wú)線電工程, 2021, 51(5): 352-359.

Chen Zixiao, Zhou Xiaoming, Li Zhao, et al. An intrusion detection algorithm for power grid wireless equipment based on radio frequency fingerprint[J]. Radio Engineering, 2021, 51(5): 352-359.

[11] 袁紅林, 胡愛(ài)群. 射頻指紋的產(chǎn)生機(jī)理與惟一性[J]. 東南大學(xué)學(xué)報(bào)(自然科學(xué)版), 2009, 39(2): 230-233.

Yuan Honglin, Hu Aiqun. Fountainhead and uniqueness of RF fingerprint[J]. Journal of Southeast University (Natural Science Edition), 2009, 39(2): 230-233.

[12] Bihl T J, Bauer K W, Temple M A. Feature selection for RF fingerprinting with multiple discriminant analysis and using ZigBee device emissions[J]. IEEE Transactions on Information Forensics and Security, 2016, 11(8): 1862-1874.

[13] Uzundurukan E, Ali A M, Dalveren Y, et al. Performance analysis of modular RF front end for RF fingerprinting of bluetooth devices[J].Wireless Personal Communications, 2020, 112(4): 2519-2531.

[14] 王歡歡, 張濤. 結(jié)合時(shí)域分析和改進(jìn)雙譜的通信信號(hào)特征提取算法[J]. 信號(hào)處理, 2017, 33(6): 864-871.

Wang Huanhuan, Zhang Tao. Extraction algorithm of communication signal characteristics based on improved bispectra and time-domain analysis[J]. Journal of Signal Processing, 2017, 33(6): 864-871.

[15] Suski W C, Temple M, Mendenhall M, et al. Radio frequency fingerprinting commercial communication devices to enhance electronic security[J]. International Journal of Electronic Security and Digital Forensics, 2008, 1(3): 301-322.

[16] Yang K, Kang J, Jang J, et al. Multimodal sparse representation-based classification scheme for RF fingerprinting[J]. IEEE Communications Letters, 2019, 23(5): 867-870.

[17] 趙洪山, 彭軼灝, 劉秉聰, 等. 基于邊緣注意力生成對(duì)抗網(wǎng)絡(luò)的電力設(shè)備熱成像超分辨率重建[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2022, 42(10): 3564-3572.

Zhao Hongshan, Peng Yihao, Liu Bingcong, et al. Super-resolution reconstruction of electric equipment's thermal imaging based on generative adversarial network with edge-attention[J]. Proceedings of the CSEE, 2022, 42(10): 3564-3572.

[18] 曲岳晗, 趙洪山, 馬利波, 等. 多深度神經(jīng)網(wǎng)絡(luò)綜合的電力變壓器故障識(shí)別方法[J]. 中國(guó)電機(jī)工程學(xué)報(bào), 2021, 41(23): 8223-8230.

Qu Yuehan, Zhao Hongshan, Ma Libo, et al. Multi-depth neural network synthesis method for power transformer fault identification[J]. Proceedings of the CSEE, 2021, 41(23): 8223-8230.

[19] O’Shea T J, Corgan J, Clancy T C. Convolutional radio modulation recognition networks[C]//International Conference on Engineering Applications of Neural Networks, Cham, Springer, 2016: 213-226.

[20] O’Shea T J, Roy T, Clancy T C. Over-the-air deep learning based radio signal classification[J]. IEEE Journal of Selected Topics in Signal Processing, 2018, 12(1): 168-179.

[21] West N E, O'Shea T. Deep architectures for modulation recognition[C]//2017 IEEE International Symposium on Dynamic Spectrum Access Networks (DySPAN), Baltimore, MD, USA, 2017: 1-6.

[22] Shen Guanxiong, Zhang Junqing, Marshall A, et al. Radio frequency fingerprint identification for LoRa using deep learning[J]. IEEE Journal on Selected Areas in Communications, 2021, 39(8): 2604-2616.

[23] Peng Linning, Zhang Junqing, Liu Ming, et al. Deep learning based RF fingerprint identification using differential constellation trace figure[J]. IEEE Transactions on Vehicular Technology, 2020, 69(1): 1091-1095.

[24] 秦鑫, 黃潔, 查雄, 等. 基于擴(kuò)張殘差網(wǎng)絡(luò)的雷達(dá)輻射源信號(hào)識(shí)別[J]. 電子學(xué)報(bào), 2020, 48(3): 456-462.

Qin Xin, Huang Jie, Zha Xiong, et al. Radar emitter signal recognition based on dilated residual network[J]. Acta Electronica Sinica, 2020, 48(3): 456-462.

[25] Wang Wenhao, Sun Zhi, Piao Sixu, et al. Wireless physical-layer identification: modeling and validation[J]. IEEE Transactions on Information Forensics and Security, 2016, 11(9): 2091-2106.

[26] Shi Yan, Jensen M A. Improved radiometric identification of wireless devices using MIMO transmission[J]. IEEE Transactions on Information Forensics and Security, 2011, 6(4): 1346-1354.

[27] Shen Guanxiong, Zhang Junqing, Marshall A, et al. Towards scalable and channel-robust radio frequency fingerprint identification for LoRa[J]. IEEE Transactions on Information Forensics and Security, 2022, 17: 774-787.

Wireless Power Terminal Identification Method Based on Multiscale Windowed Deep Residual Network

Zhao Hongshan1Sun Jingjie1Peng Yihao2Zhao Shice1Xu Junyang1Wang Yufeng1

（1. Department of Electrical Engineering North China Electric Power University Baoding 071000 China 2. State Grid Nanchang Power Supply Company Nanchang 330000 China）

The technique of wireless terminal identification based on the differential characteristics of wireless signals is currently an important physical layer security mechanism. However, traditional wireless signal identification methods generally require signal-signal domain conversion. Therefore, the dimensionality of the data and the arithmetic power requirements are enhanced. This can increase the application cost of this security mechanism. To solve this problem, a residual network-based wireless power terminal identification method is proposed. With the designed multiscale window module and area attention module, it can directly process the signal raw data to accurately identify the legal device identity and illegal device detection.

First, the proposed multiscale window module completes the information interaction of the signal precursor code at each cycle scale, enabling the network to directly process and identify the raw wireless communication signal data. Then, the regional attention module is designed to reallocate channel resources with the mean value of significant feature regions as the evaluation index, which improves the network's ability to learn local features of signals. Finally, a pooling classifier is used to replace the fully connected layer, and the Adam optimizer is used for gradient update to complete the training process. In this model, the multiscale window module makes use of the leading code subframe feature, which can directly process the original signal data and greatly improve the learning performance recognition effect.

The experimental results on the actual collected wireless terminal signal data show that the multiscale module improves the recognition accuracy by 31% compared with the traditional residual network due to the comprehensive consideration of the information of each subframe of the leading code signal. The recognition accuracy and learning performance of the network are significantly improved, which verifies the effectiveness of the module on network performance improvement. The addition of the regional attention mechanism further improves the recognition accuracy while improving the training performance. It is verified that the region attention mechanism can effectively improve the performance of the network in recognizing signal distortion features. The recognition accuracy is up to 97.316% for 30 identical models of commercial devices. Also, the maximum value of the output probability corresponding to the label is selected as the identification result of the identity, and the threshold of the output probability is defined as the confidence level, which can also detect the illegal devices while further scientific evaluation. Five experiments of uninvolved training devices are selected for illegal detection, and the results show that when the confidence level is 99%, the detection rate of illegal devices reaches 82.8%.

The following conclusions can be drawn from the analysis of the experimental results: ① The constructed multiscale module avoids the loss of local difference features caused by the analysis of the signal as a whole because it considers the information of each subframe of the leading code signal, which significantly improves the training performance and recognition accuracy. ② The proposed regional attention mechanism further enhances the learning of regional difference features by dividing the channel into regions, which achieves a significant improvement in the training performance and This achieves further improvement of training performance and recognition accuracy. ③ The proposed identification method based on multi-scale windowed regional attention residual network achieves self-learning of the difference features of the original I/Q data of wireless signals. The recognition accuracy of the same model device can reach 97.316%, and the recognition rate of illegal devices reaches 82.8%.

Wireless communication security, residual networks, identity authentication, physical layer security, attention mechanism

10.19595/j.cnki.1000-6753.tces.221122

TN92

趙洪山 男，1965年生，教授，博士生導(dǎo)師，研究方向?yàn)殡娏υO(shè)備的智能感知與狀態(tài)評(píng)估，電力系統(tǒng)信息通信技術(shù)等。E-mail：zhaohshcn@126.com

孫京杰 男，1999年生，碩士，研究方向?yàn)殡娏ο到y(tǒng)無(wú)線通信安全。E-mail：jingjie_sun@ncepu.edu.cn（通信作者）

2022-06-14

2022-08-12

（編輯 郭麗軍）