劉禹澤，潘明明，鄒華，王白根，王歐，趙騫，劉輝舟

（1.北京郵電大學 網(wǎng)絡與交換技術國家重點實驗室，北京 100876；2.中國電力科學研究院有限公司，北京 100192；3.國網(wǎng)安徽省電力有限公司安慶供電公司，安徽 安慶 246000；4.國網(wǎng)安徽省電力有限公司，安徽 合肥 230061）

0 引言

工業(yè)企業(yè)價值鏈是指將原材料轉(zhuǎn)化為最終產(chǎn)品或服務的整個過程，包括從產(chǎn)品設計、原材料采購、生產(chǎn)制造、銷售與分銷等環(huán)節(jié)，用電安全檢查事關生產(chǎn)制造這個重要環(huán)節(jié)，保證工業(yè)企業(yè)價值鏈正常運作。

2020 年4月，國務院安全生產(chǎn)委員會印發(fā)了《全國安全生產(chǎn)專項整治三年行動計劃》，明確要求各地區(qū)、各企業(yè)全面排查現(xiàn)有風險，認真辨識、科學評估，從而制定有效的防控措施。客戶安全用電檢查服務是政府賦予電網(wǎng)企業(yè)的基本職責，國家電網(wǎng)有限公司全面貫徹國務院安委會《全國安全生產(chǎn)專項整治三年行動計劃》，進一步提升客戶用電安全管理水平，服務客戶保障用電安全。

目前，安全用電檢查工具無法確?，F(xiàn)場人員完整按照標準作業(yè)流程對設備、人員、管理安全隱患檢查進行全面檢查和評價，容易存在管理盲區(qū)，難以及時識別風險。主要體現(xiàn)為缺乏智能識別工具，難以實時對現(xiàn)場進行記錄、測量及輔助判定。典型如作業(yè)人員在現(xiàn)場觀察相關設備狀態(tài)時，出現(xiàn)人工錯誤，對用電設備存在的安全隱患產(chǎn)生漏判等。

為了解決上述問題，本文擬借助移動終端攝像頭的拍攝能力以及后臺的處理能力提出一種基于圖像識別的用電安全檢查子系統(tǒng)。該系統(tǒng)將改變現(xiàn)有安全用電檢查的現(xiàn)狀，實現(xiàn)安全檢查作業(yè)現(xiàn)場數(shù)據(jù)狀態(tài)與后臺實時比對，實現(xiàn)用電安全檢查的智能化。

1 相關工作

目前安全用電檢查智能監(jiān)管主要有以下幾個主技術：(1)通過安裝傳感器和智能設備，將用電設備的實時運行數(shù)據(jù)傳輸?shù)皆贫?，并通過物聯(lián)網(wǎng)技術進行實時監(jiān)測和預警，及時發(fā)現(xiàn)異常情況。(2)通過對大量數(shù)據(jù)進行分析，比如用電設備的歷史運行數(shù)據(jù)、電費數(shù)據(jù)、異常報警記錄等，可以快速發(fā)現(xiàn)潛在的安全隱患，并進行預測分析和智能優(yōu)化。(3)通過機器學習和深度學習等技術，可以對用電設備進行自動化分析和識別，發(fā)現(xiàn)設備的異常狀態(tài)，提高安全監(jiān)管的精度和效率。

本文將研究計算機視覺領域中的目標檢測算法，為指示燈狀態(tài)的正常與異常情況比對，人員安全帽是否佩戴，是否有火情發(fā)生等提供支持。目前目標檢測網(wǎng)絡主要分為基于區(qū)域建議的雙階段目標檢測網(wǎng)絡與無區(qū)域建議的單階段目標檢測方法。Ren 等人提出Faster RCNN[1]模型，在不犧牲檢測精度的前提下大大提高檢測速度。在Faster R-CNN[1]的啟發(fā)下，提出了更多雙階段檢測模型如R-FCN[2]、Cascade R-CNN[3]、CBNet[4]等,這些檢測模型都有識別準確度的增強。Redmon 等提出YOLO[5]模型，在無區(qū)域建議的單階段目標檢測有較高性能。Liu 等人提出了SSD[6]模型，提高對于密集場景與小目標的檢測識別效果，并提高異常尺度目標的魯棒性。同時對于訓練數(shù)據(jù)是否帶有標簽也分為有監(jiān)督、半監(jiān)督、無監(jiān)督方法，Wang K 等人提出偽標簽自訓練方法[7]，該半監(jiān)督方法有效利用了無標注數(shù)據(jù)進行訓練，從而擴充訓練集，提高模型的泛化能力。Jeong J 等人提出對無標注圖像計算一致性約束損失[8]，該損失有效避免生成圖像出現(xiàn)鋸齒狀、失真、模糊等問題，從而提高生成圖像的質(zhì)量。對于視頻處理等任務，Wang L 等人提出TSN[9]網(wǎng)絡，通過對視頻進行分段處理，實現(xiàn)了較高的計算效率。Zhou 等人在TSN 的基礎上提出了TRN[10]網(wǎng)絡，可以更好地理解視頻中的動作。Lin J 等人的工作致力于輕量級在線視頻理解，提出TSM[11]模型結(jié)構，通過將時間維度的操作轉(zhuǎn)換為空間維度的操作，提升計算效率。

2 基于圖像識別的用電安全隱患識別子系統(tǒng)架構（場景）

該子系統(tǒng)場景為通過攝像頭對待檢測場景進行圖像獲取，保存并傳輸給服務器。服務器在對圖像進行目標檢測識別之后，將檢測結(jié)果與現(xiàn)場待檢測場景的圖像進行比對，按照用電安全的需求進行比較，比對出其中的隱患并提出警告信息，如圖1 所示。

圖1 系統(tǒng)場景圖

3 基于Yolo 的安全隱患識別算法

3.1 算法流程圖

基于Yolo 安全隱患識別算法流程圖如圖2 所示。

圖2 安全隱患識別算法流程圖

其流程為首先通過攝像頭獲取圖像數(shù)據(jù)，然后將其傳給服務器，服務器先用目標檢測Yolo 模塊對其進行檢測，然后將處理后的目標圖像傳輸?shù)綌?shù)據(jù)提取模塊中，數(shù)據(jù)提取模塊定義將通過檢測框坐標來進行目標物體定位，在該模塊提取物體信息之后，與系統(tǒng)要求物體狀態(tài)進行比對，將不符合的信息生成警告信息，最后將警告圖片發(fā)送給客戶端。

在目標檢測模塊中，首先進行了數(shù)據(jù)預處理。在訓練目標檢測模型中加入了數(shù)據(jù)增強，通過將圖像翻轉(zhuǎn)、平移、旋轉(zhuǎn)、縮放、添加噪聲等方法對圖像樣本進行了增廣補充，這樣既彌補了樣本量小的缺點，同時還有助于提高目標檢測準確度。然后參照Yolo 框架，利用神經(jīng)網(wǎng)絡對樣本數(shù)據(jù)進行訓練學習，生成目標檢測模型。

3.2 算法網(wǎng)絡結(jié)構圖

系統(tǒng)的目標檢測網(wǎng)絡結(jié)構如圖3 所示。

圖3 目標檢測網(wǎng)絡結(jié)構

輸入圖像首先需要經(jīng)過一個卷積層，將其特征圖的分辨率縮小為原始分辨率的一半，同時提取出一些基礎特征。

之后網(wǎng)絡采用CSP 模塊來進行特征提取。CSP 模塊的核心是將輸入的特征圖分為兩部分，一部分進行卷積和特征處理，另一部分直接輸出。通過這種方式，可以有效地減少模型中的參數(shù)數(shù)量，并提高模型的計算效率。網(wǎng)絡一共使用了3 個CSP 模塊。在CSP 模塊之后，網(wǎng)絡采用SPP 模塊來進行特征處理。SPP 模塊能夠有效地處理特征圖中的不同尺度信息，提高模型的檢測能力。網(wǎng)絡的SPP 模塊分別處理了輸入特征圖的1/8、1/16和1/32 尺度。

最后，通過一個卷積層來輸出檢測結(jié)果。網(wǎng)絡中每個檢測框需要輸出5 個參數(shù)：x、y、w、h和置信度分數(shù)，同時還需要輸出80 個類別的置信度分數(shù)。通過使用特殊的損失函數(shù)來優(yōu)化這些參數(shù)，從而使得模型能夠有效地進行目標檢測。

在預測邊界框的坐標時，采取相對于網(wǎng)格的坐標，這意味著邊界框的坐標值是相對于其所在框的左上角位置計算的。為了使邊界框更加準確，還采用了錨點框的選擇和多尺度的特征圖預測的技術。在對所有的預測框進行篩選時，選擇最可能是目標的框，并使用非極大值抑制算法來消除冗余的框。這樣就可以得到圖像中所有目標的準確位置和種類預測結(jié)果。

3.3 檢測結(jié)果處理

在對比指示燈是否符合安全需求時，首先對現(xiàn)場圖片進行指示燈狀態(tài)檢測，獲得檢測結(jié)果后對檢測到的全部指示燈進行編號，獲取其檢測的全部指示燈各自的標注，并根據(jù)指定指示燈的具體要求，定位到該指定指示燈處，檢測該指定指示燈是否正常開啟或關閉，若出現(xiàn)異常則發(fā)送警告。例如在圖4中，將其從左到右編號為1，2，3，4，此時編號2 和編號4 指示燈亮起，編號1 和編號3 指示燈滅，若此時與指示燈具體要求的亮滅不同，會根據(jù)要求進行比對并發(fā)送警告。

圖4 指示燈訓練集圖像標注處理

檢測目標有三個，一個是對于火情的檢測，一個是對于人員是否佩戴頭盔的檢測，另一個是對于指示燈狀態(tài)的檢測。對于火情的檢測，使用開源火情數(shù)據(jù)集進行訓練。對于人員是否佩戴頭盔的檢測，收集了現(xiàn)場人員的圖片作為數(shù)據(jù)集進行訓練。對于指示燈狀態(tài)的檢測，收集了現(xiàn)場指示燈圖片作為數(shù)據(jù)集進行訓練。指示燈狀態(tài)檢測結(jié)果如圖5 所示。

圖5 指示燈狀態(tài)檢測結(jié)果圖

4 系統(tǒng)目標檢測實驗

使用系統(tǒng)進行火情檢測的訓練指標結(jié)果如圖6、圖7所示。

圖6 火情檢測loss 指標圖

圖7 火情檢測mAP 指標圖

其中模型的訓練集定位損失box_loss 遠低于0.04，置信度損失obj_loss 接近0.015，分類損失cls_loss 遠低于0.001。驗證集定位損失box_loss 為0.045，置信度損失obj_loss 在0.022 之下，分類損失cls_loss 遠低于0.001。表示閾值大于0.5 的平均mAP 為0.6。可見模型的火情檢測效果良好。

使用系統(tǒng)進行人員頭盔檢測的訓練指標結(jié)果如圖8、圖9 所示。

圖8 人員佩戴頭盔檢測loss 指標圖

其中模型的訓練集定位損失box_loss 在0.04 之下，置信度損失obj_loss 接近0.060，分類損失cls_loss 遠低于0.005。驗證集定位損失box_loss 接近0.035，置信度損失obj_loss 在0.060 之下，分類損失cls_loss 為0.002。表示閾值大于0.5 的平均mAP 接近0.93?？梢娔Ｐ偷娜藛T佩戴頭盔檢測效果良好。

使用系統(tǒng)進行指示燈狀態(tài)檢測的訓練指標結(jié)果如圖10、圖11 所示。

圖10 指示燈狀態(tài)檢測loss 指標圖

圖11 指示燈狀態(tài)檢測mAP 指標圖

其中模型的訓練集定位損失box_loss 在0.04 之下，置信度損失obj_loss 在0.015 之下，分類損失cls_loss 遠低于0.005。驗證集定位損失box_loss 遠低于0.04，置信度損失obj_loss 遠低于0.015，分類損失cls_loss 遠低于0.005。表示閾值大于0.5 的平均mAP 接近0.95?？梢娔Ｐ偷闹甘緹魻顟B(tài)檢測效果良好。

在實際用電場所中，當不應亮起的指示燈亮起紅燈或綠燈時，可以準確判斷并發(fā)出警告。當應該亮起的指示燈未亮燈時，可以準確判斷并發(fā)出警告。

使用實際監(jiān)控圖像進行實驗，火情監(jiān)測、人員頭盔檢測和指示燈狀態(tài)的平均檢測置信度和平均檢測執(zhí)行時間如表1 所示。使用的監(jiān)控視頻數(shù)據(jù)包含從2022 年12 月1 日到2022 年12 月30 日的圖像數(shù)據(jù)。

表1 檢測平均置信度和平均執(zhí)行時間

5 結(jié)論

目前的目標檢測模型可以為公司提供安全自動監(jiān)測技術支持，通過監(jiān)控圖像檢測火情、人員是否佩戴頭盔以及指示燈狀態(tài)是否異常，為公司監(jiān)管人員提供方便快捷的監(jiān)管手段，以便更迅速地發(fā)現(xiàn)安全隱患并第一時間防止危害發(fā)生。

本文應用實現(xiàn)了監(jiān)控圖像分析系統(tǒng)，該系統(tǒng)通過基于Yolo 的目標檢測網(wǎng)絡進行火情、人員頭盔以及指示燈狀態(tài)的訓練與學習，通過真實現(xiàn)場場景作為訓練數(shù)據(jù)集提升了檢測準確率。

未來的改進方向可以關注監(jiān)控圖像中玻璃反光的情況，這種圖像遮擋對于本算法的識別造成影響，一種可能的解決手段是利用閃光圖像進行輔助區(qū)別圖像中的反光部分和非反光部分。閃光圖像是一種針對原圖像反光部分進行閃光燈補償再次取景，并通過新產(chǎn)生的閃光圖片對原圖片進行影響，在此進行舉例說明。兩個物體，一個是玻璃前的紅色物體，另一個是玻璃后的藍色物體，在原圖片中，得到了環(huán)境光影響下的藍物體和紅物體圖片。如果加上只對藍物體進行照射的閃光燈，那么就會獲得環(huán)境光影響下的藍物體，紅物體和閃光燈影響下藍色物體的圖片。當后者減去前者后，就只剩下了閃光燈影響下的藍色物體，也就從理論上消除了玻璃反光的影響。但是這個用于實際時，效果一般。由于計算機視覺技術中去反光方向研究還不是很深入，因此這里僅僅提出一個解決思路。

總之，基于Yolo 的目標檢測算法是檢測監(jiān)控圖像中的安全隱患的最佳選擇之一，監(jiān)管人員和公司都可以從中受益，并能提高安全質(zhì)量。