鐘力強(qiáng)，屈娟娟，姜新麗，黃炎

(1.南方電網(wǎng)電力科技股份有限公司 a.廣東省特殊行業(yè)特種機(jī)器人工程技術(shù)研究中心；b.中國南方電網(wǎng)電力機(jī)器人聯(lián)合實(shí)驗(yàn)室，廣東 廣州 510080；2.廣州新華學(xué)院，廣東 廣州 510520；3.許昌開普電氣研究院有限公司，河南 許昌 461000)

變電站是電網(wǎng)電能傳輸?shù)年P(guān)鍵節(jié)點(diǎn)，對設(shè)備安全的要求較高。傳統(tǒng)人工巡檢勞動強(qiáng)度大，工作效率低，且存在一定的人身安全風(fēng)險(xiǎn)，而固定式視頻監(jiān)控由于盲區(qū)較多，也難以滿足變電站全面巡檢的需求。近年來，大量變電站開始采用機(jī)器人執(zhí)行常規(guī)巡檢任務(wù)，智能化巡檢逐漸成為行業(yè)的發(fā)展趨勢[1-3]。其中，表計(jì)讀數(shù)識別是變電站巡檢工作的重要內(nèi)容[4]，如氣壓表、溫度表、油溫表、避雷器表等均為機(jī)器人采集表計(jì)讀數(shù)的主要對象。然而，目前變電站機(jī)器人對表計(jì)讀數(shù)的讀取仍以預(yù)設(shè)模板匹配為主[4-5]，這就要求在機(jī)器人部署調(diào)試階段，針對每一個表計(jì)單獨(dú)進(jìn)行模板歸類、設(shè)定識別范圍等工作，不僅部署周期長，可擴(kuò)展性差，且效果參差不齊，與部署人員的經(jīng)驗(yàn)、責(zé)任心密切相關(guān)。

針對指針表計(jì)的識別讀數(shù)問題，研究人員從不同角度開展研究。在預(yù)處理方面，劉晶[6]等基于視覺識別進(jìn)一步提高了機(jī)器人拍攝的精確程度；黃炎[4]等基于擴(kuò)展掃描區(qū)域的方法，對模板匹配算法進(jìn)行改進(jìn)，提高了讀取準(zhǔn)確率。在讀數(shù)算法方面，黃炎[5]等通過設(shè)置識別基線，將刻度區(qū)域轉(zhuǎn)化為一維線性信號，并通過灰度突變獲取指針角度；李治瑋等[7]使用最大灰度法計(jì)算無指針的儀表模板圖像，然后通過模板圖像與實(shí)際圖像相減得到指針位置；施健等[8]使用減影法得到指針位置，然后利用Hough變換計(jì)算指針夾角；張文杰等[9]利用視覺顯著性區(qū)域檢測先驗(yàn)知識，提取儀表圖像指針區(qū)域，再計(jì)算指針與橫軸的夾角，最后采用最小二乘法擬合指針夾角與指針刻度之間的線性函數(shù)參數(shù)，計(jì)算儀表讀數(shù)。上述研究均建立在一定的人工標(biāo)注(指定模板、劃分區(qū)域、標(biāo)注圓心刻度等)基礎(chǔ)上，均難以實(shí)現(xiàn)對部分或者大部分表計(jì)的自動識讀。

針對這一問題，本文融合Faster-RCNN[10](faster region-based convolutional network)識別方法和快速傅里葉變換(fast Fourier transform，F(xiàn)FT)頻域分析等技術(shù)進(jìn)行指針刻度位置識別的研究。首先對表計(jì)圖像進(jìn)行顏色過濾預(yù)處理；再通過Faster-RCNN對預(yù)處理結(jié)果進(jìn)行篩選與調(diào)整，從而獲取表盤刻度的初步位置和指針圓心初步位置；最后通過微調(diào)周期、起始位置等操作，實(shí)現(xiàn)軸坐標(biāo)轉(zhuǎn)換后的曲線對齊，以及采用一維線性映射[5]方法獲得指針與刻度的相對位置，實(shí)現(xiàn)無人工干預(yù)的表計(jì)智能識讀。

1 預(yù)處理與樣本擴(kuò)展

已有的表計(jì)讀數(shù)方法中，典型標(biāo)注信息如圖1所示，圖1(b)所示輔助線均為人工標(biāo)注。

圖1 原圖與典型輔助線

以圖1中的空氣壓力表為例，首先對原圖進(jìn)行分通道顏色濾波和拆分預(yù)處理。對圖像進(jìn)行此類預(yù)處理的主要目的是增加算法的普適性和神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的準(zhǔn)確性，降低因表盤顏色設(shè)計(jì)、光影、反光問題造成的識別誤差，同時也有利于增加樣本量，提高識別準(zhǔn)確率。

圖2所示為1(b)的RGB直方圖，各通道上均存在多個峰值，但3個通道并不重合，每個峰值處均為顏色趨向一致的圖像元素。分別對3個顏色通道進(jìn)行單獨(dú)的峰值濾波，進(jìn)而生成多張圖像，如圖3所示。其中部分通道通過峰值篩選后的部分圖像刻度區(qū)域信息被突出顯示出來，也有部分圖像的刻度信息并不明顯，但并不影響Faster-RCNN的識別與訓(xùn)練。

圖2 圖1(b)RGB直方圖

圖3 直方圖波峰篩選后的樣例圖像(未列出特征完全不明顯圖像)

2 標(biāo)記與識別

預(yù)處理后，同一張圖片擴(kuò)展為10余張黑白圖像。由于變電站表計(jì)種類繁多，且部署期間經(jīng)常會遇到新的表計(jì)種類，傳統(tǒng)特征識別等方法需要預(yù)先對表計(jì)特征有所描述，因此考慮使用深度學(xué)習(xí)方法進(jìn)行表盤識別。

2.1 Faster-RCNN簡介

Faster-RCNN是近年來應(yīng)用比較廣泛的二階段檢測模型的神經(jīng)網(wǎng)絡(luò)方法[11-15]，是Ross B. Girshick在2016年結(jié)合RCNN和Fast-RCNN提出的改進(jìn)算法[11]。相比于傳統(tǒng)RCNN，F(xiàn)aster-RCNN在結(jié)構(gòu)上將特征抽取、區(qū)域提名、邊界框校正歸類等整合在1個網(wǎng)絡(luò)中，使得速度和準(zhǔn)確率有了較大的提高。與SSD、YOLO等基于回歸的經(jīng)典檢測算法相比，F(xiàn)aster-RCNN算法在速度上雖有一定不足，但定位精確度較高，而機(jī)器人在表計(jì)識別上對實(shí)時性的要求并不高。因此，選用Faster-RCNN算法進(jìn)行表計(jì)初步定位。圖4所示為Faster-RCNN的基本結(jié)構(gòu)。

圖4 Faster-RCNN基本結(jié)構(gòu)

Faster-RCNN算法的基本識別流程如下。

a)提取特征：通過預(yù)訓(xùn)練網(wǎng)絡(luò)，提取圖片特征。

b)區(qū)域提名：利用提取的圖片特征，經(jīng)過區(qū)域提名網(wǎng)絡(luò)(region proposal networks，RPN)，找出一定數(shù)量的感興趣區(qū)域。

c)分類與回歸：將感興趣區(qū)域和圖像特征輸入到全連接層，對感興趣區(qū)域進(jìn)行分類，判斷分別屬于什么類別，同時對其位置進(jìn)行微調(diào)。

其中，該算法的關(guān)鍵性創(chuàng)新在于使用其獨(dú)創(chuàng)RPN代替?zhèn)鹘y(tǒng)的滑動窗口或圖像金字塔法生成檢測框，大幅提升了算法的綜合性能。

2.1.1 骨干網(wǎng)絡(luò)

Faster-RCNN中，對輸入圖像進(jìn)行語義信息提取的部分稱為骨干網(wǎng)絡(luò)或主干網(wǎng)絡(luò)，視覺幾何組(visual geometry group，VGG)網(wǎng)絡(luò)[16]和深度殘差網(wǎng)絡(luò)(residual network，ResNet)[17]均為較傳統(tǒng)的Faster-RCNN骨干網(wǎng)絡(luò)，其中ResNet增加了臨近網(wǎng)絡(luò)層之間的信息傳遞，在對速度影響不大的前提下，可大幅提升網(wǎng)絡(luò)的可設(shè)置深度。考慮平衡識別時間，本文選用ResNet中經(jīng)典的ResNet_50網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)。

2.1.2 區(qū)域提名網(wǎng)絡(luò)

RPN主要用于在骨干網(wǎng)絡(luò)輸出特征圖的基礎(chǔ)上，確定目標(biāo)候選位置，再對這一位置的目標(biāo)類別進(jìn)行預(yù)測。首先在特征圖上生成各尺度和長寬比的錨點(diǎn)(Anchor)，通過Softmax分類器[11]判斷錨點(diǎn)框內(nèi)是前景還是背景，將前景部分作為目標(biāo)候選區(qū)域。其損失函數(shù)為

(1)

其中分類損失函數(shù)

(2)

預(yù)測損失函數(shù)

(3)

式中：x、y為預(yù)測框的中心點(diǎn)坐標(biāo)；w、h為預(yù)測框?qū)捄透?；fsmooth表示為

(4)

最后通過線性回歸對輸出框(預(yù)測框)的位置進(jìn)行微調(diào)，獲得檢測結(jié)果。

2.2 刻度位置識別實(shí)驗(yàn)

整體學(xué)習(xí)模型采用python-Keras框架搭建，選取變電站各類型表計(jì)圖像共計(jì)1 200余張作為原始樣本庫，并通過預(yù)處理進(jìn)行單通道濾波，形成最終學(xué)習(xí)樣本共14 325張，其中含有完整刻度信息文件約6 000余張；標(biāo)注采用VOC2007格式，僅標(biāo)注較為明顯的刻度段位置，標(biāo)注時盡可能保持標(biāo)注框中心在刻度尺度上。圖5所示為Faster-RCNN訓(xùn)練樣本；圖6所示為采用Faster-RCNN模型經(jīng)過樣本庫訓(xùn)練后，對圖1(a)及其相關(guān)圖片(原圖及圖3所有圖片)的預(yù)測結(jié)果。

圖5 Faster-RCNN訓(xùn)練樣本示例

圖6 圖1(a)部分峰值濾波圖像的識別預(yù)測框

由于不同濾波圖像差異較大，預(yù)測框定位并不完全準(zhǔn)確一致，不同圖像找到的預(yù)測框數(shù)量也不同。將所有預(yù)測框中心坐標(biāo)(表1為圖7中所有點(diǎn)的具體坐標(biāo))在原始圖象上用紅點(diǎn)標(biāo)出，如圖7所示。

表1 多圖預(yù)測框參數(shù)

圖7 預(yù)測框中心點(diǎn)位置(紅點(diǎn)有重疊)

3 基于預(yù)測結(jié)果的后處理

如表1、圖7所示，F(xiàn)aster-RCNN具備基本定位刻度位置的能力，但對部分形狀或方向不規(guī)則的刻度區(qū)域，定位并不準(zhǔn)確，識別率也有一定的偏差。不考慮Faster-RCNN本身對定位精度和標(biāo)注時存在誤差的原因，刻度分布和方向不規(guī)則也必然造成此類誤差?；敬_定表盤刻度位置后，采用一維信號處理方法進(jìn)一步精確定位刻度盤成為可能。

3.1 表盤圓心和刻度圓半徑初步確定

如表1所示，F(xiàn)aster-RCNN算法共定位39個疑似刻度所在區(qū)域中心點(diǎn)，采用最小二乘法[17]對點(diǎn)進(jìn)行擬合以獲取圓心和半徑。假設(shè)平面上1個圓的圓心為(xc,yc)，半徑為R，則圓上任一點(diǎn)(xi,yi)的方程為

(xi-xc)2+(yi-yc)2=R2.

(5)

因此，任一點(diǎn)(xi,yi)到最小二乘圓上的距離的平方和最小時，殘差

ei=(xi-xc)2+(yi-yc)2-R2，

(6)

則平方和

min∑(xi2+yi2+Axi+Byi+C)2.

(7)

式中A、B為多項(xiàng)式分解后的一次項(xiàng)系數(shù)，C為常量。

當(dāng)f取極小值時有

(8)

令

(9)

式中n為需擬合點(diǎn)的總個數(shù)。

可得

(10)

則

(11)

因此，可計(jì)算得出表1中39個點(diǎn)擬合圓的圓心為(855,600)，半徑為372。

3.2 關(guān)鍵區(qū)域截取與頻域篩選

將圖1(a)按照圖8所示圓心進(jìn)行軸坐標(biāo)轉(zhuǎn)換(如圖9所示)，并取與(xc,yc)點(diǎn)距離為R×(1±30%)的范圍進(jìn)行FFT頻域分析(如圖10所示)。由圖9和圖10可見，在有刻度的曲線上，存在較明顯的周期性分量，可利用頻率特征對曲線進(jìn)行篩選。

圖8 預(yù)測框中心點(diǎn)及刻度圓擬合

圖9 軸坐標(biāo)轉(zhuǎn)換

圖10 刻度區(qū)域的FFT頻域分析

篩選步驟如下：

步驟1，初步篩選。調(diào)用scipy的signal庫中find_peaks，通過遍歷波峰間距的方式獲取最高的5個頻域峰值，因曲線總長定為1，考慮基頻信號干擾較多，取4 kHz后峰值仍大于周邊平均值1倍以上的曲線作為候選曲線。

步驟2，精確篩選。①統(tǒng)計(jì)篩選后曲線在4～6 kHz間的峰值所在位置均方根平均值，排除均方根值大于平均值2倍的曲線；②統(tǒng)計(jì)①所篩選曲線的間隔，與周邊曲線無法形成5組以上連續(xù)分布的曲線應(yīng)為誤篩選值，需要進(jìn)行排除。據(jù)此，圖9中刻度區(qū)域半徑最終限定為384～461像素區(qū)域(如圖11所示)。

步驟3，曲線對齊。由于Faster-RCNN識別后，預(yù)測框位置存在一定誤差，圓心位置也必然存在偏差；因此，以圖11所示的中心線為基準(zhǔn)，進(jìn)行曲線周期和起始位置的微調(diào)。①周期統(tǒng)一，即通過插值微調(diào)曲線長度，將所有曲線的周期/頻率調(diào)整為均方根平均值；②互相關(guān)對齊，即以篩選后中心曲線為基準(zhǔn)，計(jì)算所有曲線與該曲線的互相關(guān)值，并根據(jù)最大相關(guān)值位置將所有曲線與中心曲線對齊(如圖12所示)。

圖11 篩選后的刻度區(qū)域

圖12 周期調(diào)整和互相關(guān)對齊

步驟4，計(jì)算灰度平均值確定刻度線位置。將篩選后的曲線疊加，其均值曲線的谷值點(diǎn)角度即為表計(jì)刻度所在位置(如圖13所示)，具體角度位置見表2。

圖13 曲線均值及谷值點(diǎn)位置

表2 刻度位置角度表

3.3 指針角度確定

參考文獻(xiàn)[5]對指針角度的確定方法，取R×(1±30%)范圍內(nèi)除刻度區(qū)域以外的區(qū)域進(jìn)行灰度值統(tǒng)計(jì)后，計(jì)算得到指針位置為153.5°(如圖14所示)。從圖9直接讀取數(shù)據(jù)可知指針尖端覆蓋的角度范圍約為153.1°～154.0°，鄰近2段刻度線覆蓋角度分別為152.4°～153.5°和157.1°～158.0°，與表3、圖14的結(jié)果基本一致。根據(jù)表盤信息，對刻度讀數(shù)進(jìn)行人工標(biāo)注后程序自動讀數(shù)為1.488 3(星號處)，人工讀數(shù)約為1.49，誤差為0.3%。

圖14 指針位置

4 各類型表計(jì)的實(shí)驗(yàn)驗(yàn)證

為驗(yàn)證算法的有效性，取機(jī)器人在變電站拍攝的表計(jì)圖像共60張進(jìn)行實(shí)驗(yàn)驗(yàn)證。表3列出了實(shí)驗(yàn)中程序智能識別的各環(huán)節(jié)準(zhǔn)確率和性能參數(shù)。

由表3可見，在神經(jīng)網(wǎng)絡(luò)成功識別的基礎(chǔ)上，本文方法對指針、刻度相對位置的識別較為準(zhǔn)確，與人工讀數(shù)基本處于同一水平或優(yōu)于人工識別，但受限于訓(xùn)練樣本、模型適配性等原因，部分表計(jì)(如圖15所示)仍存在無法識別的情況，有待進(jìn)一步研究。

圖15 無法識別表計(jì)示例

表3 各類型表計(jì)程序自動識讀驗(yàn)證試驗(yàn)結(jié)果

5 結(jié)束語

針對變電站巡檢機(jī)器人部署過程中需針對每一個表計(jì)人工配置模板的現(xiàn)實(shí)問題，本文介紹了一種基于Faster-RCNN并進(jìn)行一維信號處理的識別方法，從而實(shí)現(xiàn)無需人工干預(yù)智能識別指針與刻度相對位置的方法。首先借助分通道的峰值濾波預(yù)處理，降低不同類型間表計(jì)設(shè)計(jì)可能引入的識別誤差；接著通過Faster-RCNN算法初步確定刻度區(qū)域范圍，并獲得擬合圓的圓心完成軸坐標(biāo)展開，再通過頻域分析對疑似刻度區(qū)域進(jìn)行篩選，獲取刻度區(qū)域的準(zhǔn)確范圍；然后通過微調(diào)刻度所在曲線的周期和刻度對齊、疊加，獲得區(qū)域在各角度上的灰度平均值，從而讀取各刻度的角度信息；最后統(tǒng)計(jì)刻度區(qū)域外的灰度分布獲得指針角度信息，從而最終實(shí)現(xiàn)表計(jì)刻度與指針相對位置的準(zhǔn)確識讀。

對60張典型變電站表計(jì)圖像的實(shí)驗(yàn)結(jié)果顯示，本文方法對訓(xùn)練數(shù)據(jù)較多的表計(jì)識別準(zhǔn)確率較高，但對訓(xùn)練數(shù)據(jù)較少的表計(jì)仍存在無法識別的可能。此外，在解決了指針、刻度相對位置的準(zhǔn)確識別后，有待引入表盤印刷體數(shù)字的識別能力[18-20]，最終解決表計(jì)無人工干預(yù)的智能識別問題。