劉子豪,趙智龍,楊世博,孟 榮,孟延輝

(國網(wǎng)河北省電力有限公司超高壓分公司,河北 石家莊 050000)

0 引言

在當前變電站實際生產(chǎn)作業(yè)中,巡檢作業(yè)人員安全意識不強,忽視電力系統(tǒng)規(guī)章制度的違章作業(yè)行為(如未規(guī)范佩戴安全帽、未穿著工作服等)較為常見,給巡檢人員的人身安全以及電力系統(tǒng)的安全穩(wěn)定運行都會帶來極大的隱患[1-2]。目前,針對工況下巡檢人員安全問題主要依賴人工監(jiān)督檢查,存在工作量大、效率低、安全隱患高等缺點,無法實現(xiàn)對整個變電站工況現(xiàn)場作業(yè)人員安全的實時、高效、全局管控[3]。因此,提升對變電站工況現(xiàn)場的安全管控水平,對于保障變電站安全與電力系統(tǒng)的安全穩(wěn)定運行具有重要意義。

在變電站安全施工監(jiān)測管控方面,國內外學者已進行了相關研究[4-6]。結合物聯(lián)網(wǎng)技術,文獻[4]提出了一種“傳統(tǒng)安全+物聯(lián)網(wǎng)安全”的創(chuàng)新管控模式,建立可移動電子圍欄系統(tǒng)、人員行為軌跡監(jiān)控系統(tǒng)、車輛定位監(jiān)控系統(tǒng)以及一體化智慧監(jiān)管云平臺等,實現(xiàn)了對作業(yè)現(xiàn)場全方位、一體化的遠程管控;文獻[5]利用可穿戴設備無線傳感自組網(wǎng)技術,實現(xiàn)了人體與環(huán)境的信息反饋以及工作人員的精準定位,提升了電力施工安全性。但上述方法大都只能完成對變電站巡檢人員行動軌跡及位置信息的管理,無法實現(xiàn)對變電站施工現(xiàn)場護具佩戴情況的有效監(jiān)管,且無法滿足變電站安全管控的實時可視化。

隨著人工智能技術的發(fā)展,將計算機視覺和深度學習等技術應用于變電站內人員安全管控成為了可能?；趥鹘y(tǒng)機器視覺技術,文獻[7]提出了一種施工區(qū)安全帽智能識別方法,該方法采用混合高斯模型進行前景檢測,通過對連通區(qū)域人體邊緣的檢測處理,實現(xiàn)對作業(yè)人員的自動判別和跟蹤,最后對估測矩形內的像素進行統(tǒng)計分析,實現(xiàn)了安全帽佩戴情況的自動識別檢測,但該方法較為復雜,計算量大,無法滿足復雜施工場景下的實時檢測。

近年來,深度學習目標檢測算法日益成熟,相關學者也逐漸將深度學習算法應用于變電站管控場景中[8-10]。針對小目標安全帽識別、數(shù)據(jù)集中類別不平衡以及安全帽預測區(qū)域不匹配等問題,文獻[8]對Faster R-CNN 網(wǎng)絡框架進行改進,提升了對施工現(xiàn)場個人防護用品佩戴情況的有效監(jiān)管;文獻[9]運用SSD 目標檢測框架和自注意力機制,通過對原始SSD 目標檢測框架進行調參并添加自注意力模塊,提升了小目標檢測的準確率;文獻[10]利用人體關鍵點檢測模型從攝像頭拍攝視頻中提取現(xiàn)場人員圖像,而后利用YOLOv3算法完成對現(xiàn)場作業(yè)人員安全帽佩戴情況的檢測;但上述方法大都只針對安全帽佩戴情況進行離線檢測,無法實現(xiàn)對“未穿著工作服”、“未佩戴絕緣手套”等違規(guī)施工行為的有效檢測,且無法實現(xiàn)變電站復雜施工場景下的算法部署應用與在線實時安全管控。

針對變電站安全管控現(xiàn)狀的不足以及管控的實時性和準確性需求,提出一種“深度學習+邊緣計算”變電站安全管控方法。通過在變電站實地拍攝,構建變電站巡檢人員行為數(shù)據(jù)集,將深度學習算法模型在服務器計算平臺進行訓練以及測試;開發(fā)變電站安監(jiān)邊緣計算設備,并部署所訓練的深度學習算法模型,從而實現(xiàn)變電站復雜施工場景下巡檢人員違規(guī)施工行為的實時精準識別檢測與預警。

1 深度學習理論依據(jù)

隨著深度學習理論的發(fā)展,目標檢測算法日益成熟。以R-CNN 系列算法為代表的基于區(qū)域建議網(wǎng)絡的目標檢測算法精準度較高,但速度較慢,無法滿足目標檢測的實時性需求;以YOLO系列算法為代表的one-stage目標檢測算法,沒有使用區(qū)域建議網(wǎng)絡(Region Proposal Network,RPN),檢測速度較快,可應用于變電站工作人員安全的實時管控。

1.1 YOLO 系列網(wǎng)絡模型

YOLO 系列算法為典型one-stage目標檢測算法。2015年,one-stage目標檢測算法的開山之作YOLOv1正式發(fā)布,大大提升了目標檢測的速度;YOLOv2算法的提出從識別準確率、速度、識別類別數(shù)3個角度對YOLOv1算法進行了改進;YOLOv3算法利用殘差模型Darknet-53 實現(xiàn)了對特征的提取,并利用特征金字塔FPN 網(wǎng)絡結構實現(xiàn)了多尺度檢測;YOLOv4在YOLOv3的基礎上,針對數(shù)據(jù)處理、主干網(wǎng)絡、網(wǎng)絡訓練、激活函數(shù)、損失函數(shù)等方面進行優(yōu)化,實現(xiàn)了檢測速度與精度的最佳權衡,此外,YOLOv4 較前幾代YOLO 算法更適合在單GPU 上部署應用。

1.2 YOLOv4網(wǎng)絡模型

YOLOv4[11]網(wǎng) 絡 是Alexey Bochkovskiy 在YOLOv3網(wǎng)絡模型上進行的改進。YOLOv4 網(wǎng)絡模型結構主要由輸入端Input、特征提取骨干網(wǎng)絡Backbone、進行特征融合的Neck 部分和檢測頭Head四部分組成[12],如圖1所示。在輸入端,YOLOv4網(wǎng)絡引入Mosaic數(shù)據(jù)增強技術[13],增加了小目標圖像數(shù)據(jù),豐富了檢測數(shù)據(jù)集,提升了網(wǎng)絡的魯棒性,且減少了對GPU 的性能需求。

圖1 YOLOv4網(wǎng)絡框架

在YOLOv3主干網(wǎng)絡Darknet53的基礎上,YOLOv4借鑒跨階段局部網(wǎng)絡(Cross Stage Paritial Network,CSPNet)思想,形成準確性高、計算瓶頸小、內存成本低的主干網(wǎng)絡CSPDarknet53。CSPDarknet53結構包含5個CSP模塊,可以減少網(wǎng)絡計算量,同時可以保證準確率。

YOLOv4的Neck部分由空間金字塔池化網(wǎng)絡[14](Spatial Pyramid Pooling,SPP)、特征金字塔網(wǎng)絡(Feature Pyramid Network,FPN)和路徑聚合網(wǎng)絡(Path Aggregation Network,PAN)組成。SPP網(wǎng)絡可增加網(wǎng)絡的感受野,在FPN 網(wǎng)絡基礎上通過PAN 網(wǎng)絡加入自下向上的路徑增強,有效避免了路徑丟失的問題,可實現(xiàn)骨干網(wǎng)絡深層特征與淺層特征的融合。

YOLOv4檢測頭Head 部分沿用YOLOv3檢測頭,進行兩次卷積完成檢測。FPN+PAN 網(wǎng)絡如圖2所示。

圖2 FPN+PAN網(wǎng)絡

2 模型訓練與測試

2.1 變電站巡檢人員行為數(shù)據(jù)集構建

變電站巡檢人員行為數(shù)據(jù)集拍攝的地點為國家電網(wǎng)有限公司某變電站。采用高清相機對變電站室內室外不同場景以及不同光照條件、攝像頭角度下的巡檢人員施工行為進行拍攝存儲,構建了一個包含“違規(guī)施工行為”和“正常施工行為”共計8 000張的變電站巡檢人員施工行為數(shù)據(jù)集,變電站巡檢人員施工行為樣圖如圖3所示。

圖3 變電站巡檢人員行為數(shù)據(jù)集樣圖

2.2 數(shù)據(jù)集劃分與數(shù)據(jù)標注

變電站巡檢人員施工行為數(shù)據(jù)集中6 400張圖像用于模型訓練,剩余1 600張圖像用于模型的測試與評價。采用LabelImg圖像標注工具對數(shù)據(jù)集進行標注,其中bounding box標簽YesHelmet表示佩戴施工安全帽、No Helmet表示未佩戴施工安全帽、YesClothes表示穿著工作服、NoClothes表示未穿著工作服、YesGlove表示佩戴絕緣手套、NoGlove表示未佩戴絕緣手套、Body表示人體、ElectricPole表示驗電桿、EarthedPole表示接地桿、BlackoutPole表示絕緣桿。變電站巡檢人員行為數(shù)據(jù)集標注樣如圖4所示。

圖4 變電站巡檢人員行為數(shù)據(jù)集標注樣

2.3 模型訓練

選用服務器作為目標檢測模型的訓練測試計算平臺,其相關性能參數(shù)如表1所示。選用具有12 G 顯存的NVIDA GeForce1080Ti顯卡來滿足模型訓練對GPU 計算力的需求。

表1 服務器計算平臺參數(shù)

在Ubuntu系統(tǒng)中采用Darknet深度學習框架分別搭建YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny 4種代表性YOLO 網(wǎng)絡模型。根據(jù)變電站巡檢人員施工行為數(shù)據(jù)集對預訓練模型參數(shù)進行微調,并通過調整訓練過程中的學習率(learning_rate)、動量常數(shù)(momentum)、權值衰減系數(shù)(decay)等參數(shù),使各網(wǎng)絡模型訓練效果良好。

2.4 檢測結果及分析

YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型的識別準確率對比結果如圖5所示。

圖5 迭代次數(shù)與準確率關系

由圖5可知,YOLOv4、YOLOv3模型與輕量化的YOLOv4-Tiny、YOLOv3-Tiny模型相比,擁有較高的準確率,且YOLOv4網(wǎng)絡模型的準確率要高于YOLOv3。YOLOv4 模型在迭代了前2 000次后,識別準確率上升到0.8左右,最終穩(wěn)定在93.80%。

測試集中,YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型對不同目標類別的檢測準確率與平均檢測準確率對比見表2。

表2 __模型準確率對比 %

由表2可知,YOLOv4模型針對不同目標類別的檢測準確率以及平均檢測準確率高于其他3種模型。YOLOv4模型針對復雜施工背景下大目標類別(Helmet類、Clothes類、Body類)的檢測準確率與YOLOv4-Tiny和YOLOv3模型相近,但針對小目標類別(Glove類、ElectricPole等)的檢測準確率要明顯高于其他模型;YOLOv3-Tiny模型除Clothes類和Body類目標檢測準確率與其他算法相近外,其他目標類別的檢測準確率明顯低于其他3種模型。

YOLOv4模型檢測結果如圖6所示。

圖6 YOLOv4檢測結果

3 現(xiàn)場應用

3.1 變電站安監(jiān)裝置設計

變電站安監(jiān)裝置為監(jiān)督變電站施工作業(yè)的邊緣計算終端設備,可部署深度學習算法,實現(xiàn)對現(xiàn)場施工情況的本地端記錄以及違規(guī)施工行為的實時識別預警。變電站安監(jiān)裝置的核心處理器為NVIDIA Jetson XAVIER NX 模塊,其體積小巧、接口資源豐富、計算功能強大,且擁有NVIDIA 深度學習加速器引擎,可滿足深度學習算法的嵌入以及邊緣端計算的需要;本裝置采用STM32F103RBT6單片機模塊作為協(xié)處理器,其為一款基于ARM 架構的32 位微處理器,支持I2C、USART、SPI、CAN、USB 等通信;本裝置選用螢石無極巡航系列互聯(lián)網(wǎng)攝像機作為第三視角攝像頭,搭配3D 數(shù)字降噪算法,畫質清晰,攝像頭云臺支持水平360°循環(huán)轉動,垂直俯仰轉動,且攝像頭模塊支持本地存儲、云存儲等功能;本裝置選用10.1英寸電容式可觸控IPS屏幕,分辨率高,亮度可達500 cd/m2;本裝置選用鋰電池供電方案,鋰電池容量為6 000 m Ah,滿電狀態(tài)下裝置續(xù)航時間可達5 h。

3.2 模型部署與應用驗證

上述變電站安監(jiān)邊緣計算設備的核心處理器為NVIDIA Jetson XAVIER NX,在該計算平臺下進行OpenCV 的編譯,開啟DNN[15](Deep Neural Networks)模塊,可以實現(xiàn)深度學習網(wǎng)絡的正向推理加速。

將 訓 練 好 的 YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型部署在變電站安監(jiān)邊緣計算設備,并開啟OpenCV DNN 推理加速進行模型的應用測試;YOLOv4等模型在NVIDIA Jetson XAVIER NX上的正向推理速度如表3所示。

表3 模型正向推理速度對比

由表3可見,YOLOv4模型的正向推理速度為28.12 FPS,雖低于其他3種模型的正向推理速度,但YOLOv4模型的檢測準確率相對較高,且該推理速度可滿足實時檢測的應用需求,因此YOLOv4模型相比于其他3種模型可實現(xiàn)邊緣端識別定位準確度與推理速度的最優(yōu)平衡,滿足變電站巡檢人員安全的管控需求。

4 結論

本文提出了一種基于“深度學習+邊緣計算”的變電站安全管控方法。通過在服務器計算平臺對YOLOv4、YOLOv4-Tiny、YOLOv3、YOLOv3-Tiny模型進行訓練與測試,并將其部署到開發(fā)的變電站安監(jiān)邊緣計算終端設備進行應用對比分析,得出YOLOv4 模型檢測準確率最高,可達93.80%,在邊緣端的正向平均推理速度為28.12 FPS,可實現(xiàn)邊緣端識別定位準確度與推理速度的最優(yōu)平衡。針對變電站復雜施工場景下巡檢人員違規(guī)施工行為的實時精準識別檢測與預警,具有一定的推廣應用價值,為深度學習與邊緣計算在變電站安全管控中的綜合應用提供了參考。在后續(xù)的研究工作中,可嘗試加強安監(jiān)邊緣計算終端設備與工況現(xiàn)場視頻監(jiān)控設備的通信連接,并實現(xiàn)與電力系統(tǒng)內網(wǎng)運維系統(tǒng)之間的數(shù)據(jù)共享與融合應用。