余興華，黃 河，羅淑丹，周 佳，王夢寒，李雨鍇

（1.中國電子科技集團公司第三十研究所，四川 成都 610041；2.中國人民解放軍61660 部隊，北京 100089；3.西南交通大學，四川 成都 611756）

0 引言

視頻監(jiān)控是當前敏感區(qū)域物理安全防護的主要手段，主要通過實時查看、事后回放等方式來肉眼識別非法人員和非法行為。圖像識別等人工智能技術的發(fā)展，使得基于人臉識別的門禁系統(tǒng)、基于車牌識別的車輛管控等應用得到了飛速發(fā)展[1]。然而，一方面，基于電磁、紅外等雷達技術雖然可以實現(xiàn)對移動物體的識別，但難以識別靜止物體、小型物體并對物體進行區(qū)分[2]。另一方面，隨著物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的發(fā)展，關鍵行業(yè)物理環(huán)境中的電子設備呈現(xiàn)多樣化發(fā)展趨勢，需要技術手段來輔助進行安全管理。此外，物理隔離雖然是網(wǎng)絡安全防護較為有效的手段，但也面臨著非法電子設備、無人駕駛裝置帶來的監(jiān)聽、拍照、聯(lián)網(wǎng)等入侵威脅[3]。因此，亟需一種以電子設備為中心的身份識別、行為識別、威脅評估新方法，擺脫傳統(tǒng)人工識別、人臉識別或行為識別的局限，實現(xiàn)分等級的監(jiān)測預警。

本文針對敏感區(qū)域，通過智能圖像識別、定位與軌跡跟蹤方法，提出一種新的電子設備監(jiān)測定位方法，實現(xiàn)對不同安全等級電子設備軌跡行為的實時智能監(jiān)測和預警，從而為關鍵信息基礎設施及其敏感區(qū)域提供增強的物理環(huán)境安全與網(wǎng)絡信息安全保障。

1 相關識別定位方法介紹

隨著智能化時代的到來，越來越多的研究學者提出了相關的目標識別定位技術，嘗試打破目前在室內環(huán)境下目標識別定位領域面臨的諸多瓶頸，其中具有代表性的方法有：

（1）紅外線技術[4]。紅外線技術主要是利用紅外成像方法實現(xiàn)定位，因具有較好的環(huán)境適應能力以及較高的空間分辨能力，常用于目標檢測。

（2）射頻識別（Radio Frequency Identification，RFID）定位技術[2]。RFID 定位技術因具有快速精準識別、價格低廉以及非接觸式的優(yōu)勢，非常適合對室內移動目標進行識別，其信號是以電磁波的方式進行傳播。

（3）超聲波技術[5]。超聲波技術通過多邊定位等方式來估算目標坐標，即根據(jù)接收器接收到由發(fā)射器發(fā)射的信號并隨即返回給發(fā)射器的時間差，估算出目標到環(huán)境中各個接收器的距離，進而確定目標位置。

（4）計算機視覺技術[5]。計算機視覺技術是通過視覺傳感器確定圖像中待測目標的位置。通過對圖像進行特征提取，建立特征庫。當待測目標進入檢測范圍后，通過比較目標所在位置的特征和庫中的環(huán)境特征來確定目標位置。

除了以上方法，在目標檢測與圖像識別領域，深度學習技術是目前最有效的手段?；谏疃葘W習技術的目標檢測算法中比較有代表性的有：

（1）深度卷積神經(jīng)網(wǎng)絡算法[6（]Region-Convolutional Neural Networks，R-CNN）。該算法采用卷積神經(jīng)網(wǎng)絡進行特征提取，并采用支持向量機（Support Vector Machine，SVM）方法進行分類。該算法于2014 年發(fā)布時，在目標檢測領域的影響很大。

（2）Fast R-CNN 算法[7-9]。Fast R-CNN 算法在原有的R-CNN 基礎上進行了優(yōu)化，聚焦單任務訓練，同時更新了所有網(wǎng)絡層，在檢測準確率與檢測速度上均有很大提升，實現(xiàn)了在卷積神經(jīng)網(wǎng)絡下的端到端檢測。在應用領域該方法可以運用于安防、人臉檢測、輔助駕駛等多個方面，目前已經(jīng)取得了很多重要成果。

本文采用Faster R-CNN 方法實現(xiàn)電子設備的檢測，并基于檢測到的目標中心位置進行軌跡與行為分析驗證。

2 電子設備監(jiān)測識別與定位過程

本文針對敏感區(qū)域中電子設備的監(jiān)測識別與定位問題，綜合考慮了目標檢測、機器視覺識別定位等不同方法的思想。首先，利用識別算法判斷是否有新的電子設備進入，以及是否有非法電子設備進入等情況；其次，通過定位算法實時監(jiān)測設備在區(qū)域內的坐標變化，分析是否出現(xiàn)原有電子設備被移動或移出等行為；最后，根據(jù)設備的安全等級與設備的軌跡行為對區(qū)域內的威脅等級進行劃分，針對不同的威脅等級智能輸出語義描述，進行及時預警響應。

敏感區(qū)域電子設備監(jiān)測定位方法實現(xiàn)過程如圖1 所示，包含設備安全級別劃分、設備行為獲取、威脅等級劃分和預警響應4 個過程，針對敏感區(qū)域，實現(xiàn)對不同安全等級電子設備軌跡行為的實時智能監(jiān)測和預警。

圖1 敏感區(qū)域電子設備監(jiān)測定位方法描述過程

2.1 設備安全等級劃分

設備安全等級劃分模塊根據(jù)敏感區(qū)域的具體情況，將監(jiān)控區(qū)域內外不同設備根據(jù)敏感程度及安全類別劃分為普通設備（授權）、敏感設備（授權）和非法設備（未授權），以便作為分類識別與評定威脅等級的依據(jù)。

2.2 設備行為獲取

設備行為獲取模塊通過固定廣角攝像頭對固定監(jiān)測區(qū)域進行設備圖像采集，并對不同安全級別的設備圖像進行深度學習預處理，訓練形成電子設備模型。通過對監(jiān)控區(qū)域內電子設備進行識別、定位，判斷是否出現(xiàn)新設備，以及是否有非法設備進入監(jiān)測區(qū)域，并通過電子設備的定位提取設備在監(jiān)控區(qū)域的坐標，實時對比坐標變化，根據(jù)坐標變化、運動軌跡獲取所監(jiān)控設備的行為。設備行為獲取主要包括以下3 個步驟：

（1）確定電子設備模型，采集場景模板。根據(jù)設備安全等級劃分模塊對不同安全類別的設備或其他特殊或新型設備進行深度學習訓練，形成電子設備模型，然后將監(jiān)控區(qū)域內的圖像記錄作為比對模板。

（2）識別并定位區(qū)域內電子設備。先對步驟1采集的環(huán)境模板中的設備進行提取，判斷其中電子設備的種類、數(shù)量和位置；然后對圖像采集記錄的實時畫面進行分析，實時識別并定位區(qū)域中的電子設備，判斷是否有新的授權設備或非法設備進入監(jiān)測區(qū)域。

（3）提取監(jiān)測區(qū)域內設備坐標，與模板比對分析。先根據(jù)步驟2 中對環(huán)境模板和實時畫面中電子設備的識別定位，分別提取相關設備坐標；然后將實時畫面中電子設備的坐標位置與環(huán)境模板中電子設備坐標進行比對，以此判斷環(huán)境模板原有設備的位置變化情況；再根據(jù)監(jiān)測區(qū)域內對電子設備的定位，來計算具體設備的坐標變化，確定設備的移動軌跡。若監(jiān)測到原有電子設備發(fā)生移動或有新的設備進入監(jiān)測區(qū)域，對其進行記錄，并記錄監(jiān)測區(qū)域內不同安全類別設備的移動軌跡、位移時間、設備行為畫面等關鍵信息，形成記錄日志。其中，對于與模板比對后未發(fā)生變化或位移較小在可設范圍0.1 m 內的設備不進行記錄，有變化的設備形成的記錄日志的時間頻率預設為0.2 s。具體時間間隔可根據(jù)不同環(huán)境及需求進行調整。

2.3 威脅等級劃分

敏感區(qū)域威脅程度可根據(jù)電子設備的安全類別和設備的不同軌跡行為劃分成四級，如表1 所示。

表1 敏感區(qū)域電子設備威脅等級對照表

（1）一級威脅：原有普通設備在監(jiān)測區(qū)域內移動。

（2）二級威脅：新的普通設備進入監(jiān)測區(qū)域，原有敏感設備在監(jiān)測區(qū)域內移動。

（3）三級威脅：原有普通設備被移出監(jiān)測區(qū)域，新的敏感設備進入監(jiān)測區(qū)域。

（4）四級威脅：原有敏感設備被帶出監(jiān)測區(qū)域，非法設備進入監(jiān)測區(qū)域。

對于確定的威脅等級，結合日志記錄，進行智能語義描述輸出，具體是針對監(jiān)測區(qū)域內確定的威脅等級，輸出相應文字和語音告警信息。例如，有非法設備×××進入，則輸出的描述性語音和文字為“四級威脅：區(qū)域內出現(xiàn)非法設備×××”；若出現(xiàn)原有普通設備×××被移出監(jiān)測區(qū)域的情況，則輸出“三級威脅：普通設備×××被移出監(jiān)控區(qū)域”；其他情況依據(jù)威脅等級輸出相應的語義描述。

2.4 預警響應

根據(jù)評定的威脅等級與相應的語義描述作出相應預警處理，具體預警措施參照表2。在預警措施中，記錄的日志供管理人員隨時查看。

表2 具體預警措施對照表

（1）一級威脅預警措施：輸出設備運動軌跡。

（2）二級威脅預警措施：輸出設備運動軌跡，閃爍警示燈。警示燈持續(xù)閃爍一定時間后自動關閉，此處預設為30 s，也可以根據(jù)具體需求對閃爍時間進行設置。

（3）三級威脅預警措施：輸出設備運動軌跡，閃爍警示燈，聲音警報。此處閃爍的警示燈不會自動關閉，需要管理人員確認后進行手動關閉。對于聲音警報，不設置警報間隔，從而達到持續(xù)警示的效果，也可根據(jù)具體需要設置警報間隔。

（4）四級威脅預警措施：輸出設備運動軌跡，閃爍警示燈，聲音警報，通知安保部門。此處閃爍的警示燈不會自動關閉，需要管理人員確認后手動關閉；對于聲音警報，不設置警報間隔，從而達到持續(xù)警示的效果，也可根據(jù)具體需要設置警報間隔；將持續(xù)通知安保部門，并經(jīng)安保部門相關人員確認收到消息后，結束通知。

3 電子設備監(jiān)測識別與定位實現(xiàn)原理

采用深度學習模型Inception 網(wǎng)絡對電子設備進行分類[10]。Inception 網(wǎng)絡通過卷積分解法對卷積層進行分解，并通過卷積層降維減少通道數(shù)，同時去掉了全連接層，使用多層感知器和全局平均池化，增加了網(wǎng)絡對尺度的適應性，進一步提高了網(wǎng)絡非線性能力。

基于Inception 網(wǎng)絡對電子設備進行分類，首先對區(qū)域采集的電子設備圖像，根據(jù)設備安全等級進行標簽化預處理，并建立電子設備類型樣本庫；其次通過搭建人工智能分析平臺，對電子設備圖像進行反復學習與深度網(wǎng)絡訓練，形成電子設備分類模型；最后識別過程將測試特征圖像與設備類型樣本庫進行比對，并將普通設備（授權）、敏感設備（授權）和非法設備（未授權）的分類結果進行輸出反饋。若發(fā)現(xiàn)有新設備或非法設備進入，則啟動報警功能并記錄，同時將其擴充到現(xiàn)有樣本庫。電子設備分類識別實現(xiàn)過程如圖2 所示。

圖2 電子設備分類識別過程

采用Faster R-CNN 方法[9]對電子設備進行定位識別，主要是在視頻幀或圖像中實時識別目標電子設備，并定位出所識別設備的位置。Faster R-CNN 結構主要由區(qū)域建議網(wǎng)絡（Region Proposal Network，RPN）和Fast R-CNN 兩部分構成。在電子設備檢測的過程中，原始圖像通過Faster R-CNN共享網(wǎng)絡提取特征后，分別送入RPN 和Fast R-CNN中進行處理。

在網(wǎng)絡訓練過程中，損失函數(shù)Loss 需要達到收斂。損失函數(shù)所計算的是實際輸出結果與期望輸出結果之間的距離，計算結果越小，說明結果與實際結果差距越小，訓練效果越好，準確率越高。Faster R-CNN 損失函數(shù)及函數(shù)優(yōu)化目標表達式分別為：

式中：pi為預測目標概率；為坐標向量；Φ5為輸入特征圖組成的特征向量；為需要學習的參數(shù)；λ為函數(shù)優(yōu)化目標表達式系數(shù)。最終w*可由梯度下降法求得。

Faster R-CNN 方法同樣需要在使用前進行有監(jiān)督學習，對大量目標電子設備的圖片進行標注，通過標注使計算機能夠識別目標設備的名稱和外貌。對目標電子設備的已標注樣本進行訓練后，通過實時判斷監(jiān)控畫面，標記輸出目標電子設備的位置，實現(xiàn)對場景內該類別電子設備的實時識別及定位。如果發(fā)現(xiàn)存在如設備行為獲取部分所描述的異常，則進行記錄并報警。針對每一幀圖像的具體處理流程如圖3 所示。

圖3 每一幀圖像的具體處理流程

針對每一幀圖像的具體處理流程描述如下：

（1）由圖像采集模塊采集環(huán)境模板，只在開機準備工作時采集一次。

（2）持續(xù)采集監(jiān)控畫面的幀圖片，對幀畫面中電子設備進行識別并定位。根據(jù)環(huán)境模板與實時畫面的比對結果，判斷是否出現(xiàn)新設備。

（3）若出現(xiàn)新設備，則判斷設備的安全類別是否屬于普通設備、敏感設備或非法設備。

（4）根據(jù)設備的安全類型以及威脅等級劃分標準，確定威脅等級。

（5）根據(jù)確定的威脅等級進行相應的預警處理。

（6）若在比對中未識別到新設備，則對幀畫面的電子設備進行坐標提取，并與前一幀的畫面比較坐標是否發(fā)生變化。

（7）若無變化，則對該幀畫面的處理結束。

（8）若有變化，根據(jù)設備移動情況以及威脅等級劃分標準，確定威脅等級，并在實施相應的預警措施后，結束對該幀畫面的處理。

4 電子設備軌跡行為驗證

把識別結果中的物體目標中心位置的連續(xù)變化連接成軌跡，結果如圖4、圖5、圖6 和圖7 所示。其中，圖4 為3 臺電子設備移動軌跡的融合圖，從上到下依次為顯示器、手機、鼠標。圖5 為手機拍照時的手機移動局部放大軌跡，圖6 為辦公室顯示器搬動時的局部放大軌跡，圖7 為鼠標操作時的局部放大軌跡。橫坐標、縱坐標均歸一化為[0,1]區(qū)間，用于表示目標中心點在圖像中的相對位置。每秒采集10 幀圖像進行識別，共采集3 s，獲取目標在圖像中的相對位置后，連接并繪制成軌跡圖。

圖4 多設備移動軌跡

從圖4、圖5、圖6 和圖7 可以分析得出，不同目標電子設備具有不同特點的移動軌跡，不同行為有不同的軌跡特征，可以通過包含時序信息的多維軌跡對電子設備安全狀態(tài)與人員行為進行區(qū)分。

圖5 手機拍照移動軌跡

圖6 顯示器搬動移動軌跡

圖7 鼠標操作移動軌跡

5 結語

本文從敏感區(qū)域信息安全監(jiān)測與防護需求出發(fā)，通過設備安全級別劃分、設備行為獲取、威脅等級劃分以及預警響應過程，實現(xiàn)對敏感區(qū)域電子設備的監(jiān)測識別與定位。本文提出的電子設備監(jiān)測識別與定位手段可以為敏感區(qū)域電子設備的管理提供增強的安全手段。后續(xù)研究中，在方法層面上需要優(yōu)化網(wǎng)絡模型，提高對設備識別的準確率和檢測速度；在應用層面上需要考慮形態(tài)各異的設備特征、動態(tài)變化的復雜場景，以及人員行為、業(yè)務安全等方面的異常檢測，從而為關鍵信息基礎設施及其敏感區(qū)域提供增強的物理環(huán)境安全與網(wǎng)絡信息安全保障。