青島大學(xué) 張 雯 山炳強(qiáng) 王 貞
隨著我國經(jīng)濟(jì)的快速發(fā)展,社會(huì)各界對(duì)電能的用量和質(zhì)量都有了更多的需求[1]。電力部件的完整性是電力系統(tǒng)穩(wěn)定運(yùn)行的重要保障,對(duì)輸電線路進(jìn)行巡檢能夠及時(shí)排除故障,確保供電的安全性和可靠性。在無人機(jī)技術(shù)日益成熟的基礎(chǔ)上,融合了圖像識(shí)別等技術(shù)的無人機(jī)在多種領(lǐng)域受到了廣泛的青睞。利用無人機(jī)進(jìn)行輸電線路的巡檢,在確保供電的安全性和可靠性的同時(shí),能夠克服地形約束和環(huán)境限制,降低巡檢的風(fēng)險(xiǎn),并一定程度上提高巡檢的效率[2]。
無人機(jī)在輸電線路巡檢中的應(yīng)用提高了巡檢效率,降低了巡檢作業(yè)人員的安全風(fēng)險(xiǎn)以及巡檢成本。然而,無人機(jī)巡檢中所采集的大量圖像信息基本依賴于人力來進(jìn)行識(shí)別,其準(zhǔn)確率和效率仍有待提高。近年來,圖像處理技術(shù)的不斷發(fā)展和深度學(xué)習(xí)的逐步引入,顯著提高了對(duì)電力部件識(shí)別的效率和準(zhǔn)確率。本文系統(tǒng)總結(jié)了取得的成果,主要對(duì)巡檢圖像去噪預(yù)處理和電力部件識(shí)別兩方面進(jìn)行評(píng)述,同時(shí)展望了未來的研究趨勢,期望對(duì)該領(lǐng)域的進(jìn)一步研究提供參考。
由于輸電線路固有的電磁特性,不可避免會(huì)對(duì)無人機(jī)巡檢時(shí)采集的圖像有一定的噪聲干擾,影響圖像質(zhì)量。為了避免影響巡檢圖像中電力部件的識(shí)別效果,去除圖像中的噪聲干擾便非常重要。其中,椒鹽和高斯噪聲是影響所采集圖像的主要噪聲,可以通過對(duì)巡檢圖像去噪預(yù)處理的方式來解決該問題。
為消除噪聲干擾,主要通過濾波的方法來解決。中值濾波法算法簡單,是一種經(jīng)典算法,對(duì)處理椒鹽噪聲有較好的效果。但是該算法容易引起原來的樣本圖像失真以及邊緣模糊的現(xiàn)象發(fā)生,且僅僅在低密度噪聲時(shí)效果較好。針對(duì)該問題文獻(xiàn)[3]提出了一種開關(guān)中值濾波算法,利用特定值對(duì)噪點(diǎn)進(jìn)行分類,一定程度上改善了邊緣模糊的問題。
文獻(xiàn)[4]提出了一種基于三維直方圖的算法,全面引入建立像素點(diǎn)各種特征之間的關(guān)系,圖像去噪性能有了更高的水平,但僅在噪聲密度較小時(shí)改善效果明顯且運(yùn)算量較大。在此基礎(chǔ)上文獻(xiàn)[5]對(duì)算法進(jìn)行改進(jìn),提出一種三維軸距的算法,消除了圖像邊緣噪聲和塊狀噪聲的影響,隨著計(jì)算機(jī)運(yùn)算性能的提高而擁有更好的去噪性能,三位軸距結(jié)構(gòu)示意圖見圖1。
圖1 三維軸距結(jié)構(gòu)示意圖
文獻(xiàn)[6]在此基礎(chǔ)上檢測出噪聲點(diǎn)后,結(jié)合改進(jìn)權(quán)重公式的非局部均值濾波算法,提出了一種基于三維軸距與非局部均值的算法。該算法不僅能夠很好的去除椒鹽噪聲,同時(shí)解決了圖像失真和邊緣模糊的問題。文獻(xiàn)[7]提出了一種模糊去噪濾波算法,在圖像椒鹽噪聲去噪應(yīng)用中優(yōu)勢明顯且對(duì)圖像還原度較高,同樣擁有不錯(cuò)的去噪效果。
高斯濾波是一種經(jīng)典的去除圖像中高斯噪聲的方法,但存在致使邊緣信息模糊的問題。文獻(xiàn)[8]提出的雙邊濾波是一種改進(jìn)的高斯濾波方法,且同時(shí)能夠改善圖像邊緣模糊的問題,但是容易出現(xiàn)“塊效應(yīng)”。文獻(xiàn)[9]通過指數(shù)-Turky 型權(quán)值核函數(shù)改進(jìn)算法,并融合結(jié)構(gòu)相似性和歐氏距離來有效選擇權(quán)值,提出一種改進(jìn)的非局部均值(NLM)濾波算法,在去除高斯噪聲上有很好的表現(xiàn)能力。文獻(xiàn)[10]提出了一種基于伽馬范數(shù)最小化的算法,在有效去除高斯噪聲的同時(shí),能夠避免圖像邊緣模糊的問題,且在細(xì)節(jié)內(nèi)容上有更好的表現(xiàn)。
可以發(fā)現(xiàn),以上所述濾波算法基本只針對(duì)某一種圖像噪聲有顯著的去噪效果,但圖像去噪能力比較單一。針對(duì)該問題,文獻(xiàn)[11]提出了一種基于非局部自相似性的混合噪聲濾波算法,能夠同時(shí)有效去除椒鹽噪聲和高斯噪聲,并在很大程度上保證圖像不失真。文獻(xiàn)[12]提出了一種中值濾波和改進(jìn)的閾值函數(shù)濾波算法,通過改進(jìn)小波閾值函數(shù)來克服硬閾值和軟閾值缺陷,并結(jié)合中值濾波,在去除混合噪聲上擁有很好的表現(xiàn)能力。同時(shí),能夠較好地恢復(fù)原圖像豐富的細(xì)節(jié),具有較高的實(shí)用性。
由于無人機(jī)巡檢采集的圖像數(shù)量眾多,單純依靠人力對(duì)海量數(shù)據(jù)信息進(jìn)行識(shí)別效率低下,無法實(shí)現(xiàn)對(duì)電力系統(tǒng)的實(shí)時(shí)和持續(xù)性監(jiān)測,可靠性較低。一些魯棒性較好的特征提取算法,比較經(jīng)典的有尺度不變的特征變換(SIFT)、梯度直方圖(HOG)和SURF 等,通過融合支持向量機(jī)(SVM)以及增強(qiáng)學(xué)習(xí)中的Adaboost 迭代算法和Random Forest等算法,來實(shí)現(xiàn)對(duì)被檢測物的識(shí)別。
文獻(xiàn)[13]提出了一種基于HOG 和改進(jìn)SVM參數(shù)的方法,實(shí)現(xiàn)對(duì)絕緣子的識(shí)別。但是,該方法僅在小樣本容量時(shí)表現(xiàn)較好,無法滿足對(duì)無人機(jī)巡檢時(shí)采集的大量圖像中電力部件識(shí)別的要求。文獻(xiàn)[14]利用聚類分析和Adaboost 算法實(shí)現(xiàn)對(duì)絕緣子的識(shí)別,提高了識(shí)別的效率。文獻(xiàn)[15]提出了一種利用Candy 邊緣特征與SURF 來達(dá)到對(duì)絕緣子智能識(shí)別的算法,識(shí)別效率較高,魯棒性較好。但這些方法依賴于人工設(shè)計(jì)的特征,可拓展性差,效率和準(zhǔn)確率都不能滿足要求。
隨著計(jì)算機(jī)視覺技術(shù)和硬件性能不斷進(jìn)步,卷積神經(jīng)網(wǎng)絡(luò)逐漸取代以往特征提取方法,基于深度學(xué)習(xí)的算法不斷發(fā)展并成為熱門,主要包括基于回歸的一階段算法和基于區(qū)域興趣的二階段算法。一階段算法以SDD 和YOLO 為代表,只經(jīng)過一個(gè)卷積神經(jīng)網(wǎng)絡(luò);二階段算法則以R-CNN 系列為代表,通過先提取候選區(qū)再進(jìn)行識(shí)別的方法來實(shí)現(xiàn)對(duì)目標(biāo)的檢測。
基于區(qū)域提議的卷積神經(jīng)網(wǎng)絡(luò)方法,是一種經(jīng)典的方案。與以往不同的是,其通過深度卷積網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)目標(biāo)特征的提取,并通過Selective Search替代原滑動(dòng)窗口的方式,使得效率和準(zhǔn)確率有了明顯的提高。但是,由于需要對(duì)卷積神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)和回歸分類器單獨(dú)訓(xùn)練,并對(duì)所有的特征區(qū)域進(jìn)行特征提取,存在訓(xùn)練階段耗時(shí)和預(yù)測階段較慢的問題。
文獻(xiàn)[16]針對(duì)該問題提出一種空間金字塔池化網(wǎng)絡(luò)(SPPnet)的算法,利用共享計(jì)算改善預(yù)測階段速度較慢的問題。但是由于僅對(duì)Pyramid Pooling Layer 后的Layer 進(jìn)行微調(diào),在深層網(wǎng)絡(luò)準(zhǔn)確率上表現(xiàn)一般,仍舊有待提高。Fast R-CNN算法,不同于R-CNN 的是該算法將整張目標(biāo)圖像輸入到CNN 網(wǎng)絡(luò)中來得到特征圖進(jìn)而得到特征矩陣,并通過引入Adaptive Pooling 方法對(duì)整個(gè)網(wǎng)絡(luò)調(diào)優(yōu),具有較高的識(shí)別效率,同時(shí)解決了SPPnet 在深層網(wǎng)絡(luò)上準(zhǔn)確率較低的問題。由于仍采用Selective Search 算法生成候選區(qū)域、比較耗時(shí),識(shí)別效率上仍有提升的空間。針對(duì)該問題,利用Regional Proposal Network(RPN)代替以往所用的Selective Search 方法的Faster R-CNN 算法,進(jìn)一步提高了識(shí)別的效率,但是在具有干擾物的情況下表現(xiàn)一般。
文獻(xiàn)[17]針對(duì)此問題提出了一種MASK LSTM-CNN 算法,能夠在有干擾和遮擋的環(huán)境下同樣保持較高的準(zhǔn)確率。文獻(xiàn)[18]采用“Hot Anchors”采樣代替滑動(dòng)窗口均勻采樣的錨點(diǎn),對(duì)Regional Proposal Network layer 進(jìn)行修改,提出了一種改進(jìn)的Faster R-CNN 算法,避免了大量的額外計(jì)算從而減輕了計(jì)算負(fù)擔(dān),并進(jìn)一步提高了識(shí)別的效率和準(zhǔn)確率。改進(jìn)的RPN 結(jié)構(gòu)見圖2。
圖2 改進(jìn)的RPN 結(jié)構(gòu)示意圖
二階段目標(biāo)檢測算法的R-CNN 系列隨著不斷地發(fā)展已經(jīng)達(dá)到了無論在識(shí)別的精度還是識(shí)別效率上都已具備很高的水準(zhǔn),基本能夠滿足對(duì)無人機(jī)巡檢圖像中電力部件識(shí)別的要求。但是由于需要先進(jìn)行候選區(qū)域的提取,其在檢測速度上仍有提高的空間。一階段目標(biāo)檢測算法由于省去了候選區(qū)域提取的步驟,具有更高的檢測效率。
SSD 算法具有更快的識(shí)別速度,但是由于僅通過VGG16來提取網(wǎng)絡(luò)conv4_3layer,不具備足夠豐富的語義信息而導(dǎo)致識(shí)別準(zhǔn)確率相對(duì)稍遜一籌。YOLO 算法同樣具有識(shí)別速度高,但識(shí)別準(zhǔn)確率較低的問題。
文獻(xiàn)[19]提出了一種基于改進(jìn)的YOLO9000框架,在保證較高識(shí)別速度的同時(shí),提高了識(shí)別的準(zhǔn)確率。但是,存在分割精度較低和易受圖像背景影響的問題。隨著YOLO 系列不斷迭代升級(jí),YOLOv3算法在識(shí)別的效率和準(zhǔn)確率上都達(dá)到了更高的水平,而且在目標(biāo)被干擾或者被遮擋的情況下依舊具有不俗的表現(xiàn)。文獻(xiàn)[20]在此基礎(chǔ)上,引入最小凸集的損失函數(shù),解決了目前算法所存在的僅針對(duì)某種部件或者缺陷的問題,并利用級(jí)聯(lián)網(wǎng)絡(luò)分步操作實(shí)現(xiàn)了多目標(biāo)識(shí)別檢測的效果,其最小凸集示意圖見圖3。
圖3 最小凸集示意圖
無人機(jī)巡檢所采集的圖像容易受到噪聲的干擾,進(jìn)而影響對(duì)電力部件的識(shí)別效果。隨著圖像處理技術(shù)的不斷發(fā)展,已經(jīng)達(dá)到了能夠很好的去除掉圖像中的混合噪聲的水平。在電力部件識(shí)別方面,隨著深度學(xué)習(xí)的引入和不斷地發(fā)展,無論在識(shí)別效率還是準(zhǔn)確率上都達(dá)到了很高的水準(zhǔn),具有很高的魯棒性,而且能夠達(dá)到對(duì)目標(biāo)實(shí)時(shí)識(shí)別的程度。在無人機(jī)巡檢的廣泛深度應(yīng)用中,發(fā)揮了重要的貢獻(xiàn)作用。
未來,隨著5G 技術(shù)的不斷發(fā)展和普及,無論在傳輸速度還是質(zhì)量上都將有很大的飛躍。通過搭建云平臺(tái)實(shí)現(xiàn)實(shí)時(shí)識(shí)別,對(duì)無人機(jī)減負(fù),將會(huì)有助于解決無人機(jī)續(xù)航的問題。同時(shí),配合無人機(jī)自主導(dǎo)航技術(shù),實(shí)現(xiàn)無人機(jī)的全自動(dòng)巡檢將是未來的研究趨勢。