張世琦 苗俊杰 李峻宇 陳辰辰 龍 彬

(1.國網(wǎng)河北省電力有限公司衡水供電分公司,河北 衡水 053000;2.國網(wǎng)河北省電力有限公司,河北 石家莊 050021;3.西安交通大學(xué),陜西 西安 710049;4.武漢康普常青軟件技術(shù)股份有限公司,湖北 武漢 430073)

0 引言

過去考慮到數(shù)字儀表對(duì)變電站電磁環(huán)境的敏感,使用了大量的模擬儀表用于監(jiān)視變電站設(shè)備的規(guī)則狀態(tài)[1-2]。而模擬儀表的數(shù)據(jù)讀取通常是人工完成的,這帶來了效率低、精度低和耗時(shí)長等一系列問題。目前,很多變電站通過傳感器將模擬儀表的指針位置轉(zhuǎn)換為數(shù)字信號(hào)并傳輸?shù)骄W(wǎng)絡(luò)的方式,進(jìn)行變電站的相關(guān)改造,但改造過程中一些新技術(shù)標(biāo)準(zhǔn)也會(huì)帶來新的問題,同時(shí)也存在大量老舊變電站受制于投資過大、周期過長而無法進(jìn)行此類改造,因此需要探索一種穩(wěn)定可靠的新型模擬儀表智能識(shí)別方法。隨著視頻技術(shù)和網(wǎng)絡(luò)的發(fā)展,基于機(jī)器視覺的圖像識(shí)別技術(shù)已逐漸應(yīng)用于該類電表的自動(dòng)識(shí)別[3-4],該技術(shù)以一種視頻輔助的形式完成了模擬儀表的智能讀取,投資少,改造周期短,且大大提高了全站的工作效率,具有重要的應(yīng)用價(jià)值。近些年,許多學(xué)者對(duì)模擬儀表檢測(cè)和識(shí)別做出了貢獻(xiàn)。文獻(xiàn)[5]為了實(shí)現(xiàn)基于機(jī)器視覺的指針識(shí)別系統(tǒng),提出了一種通過搜索指針區(qū)域的最小邊界矩形來定位指針的算法。考慮機(jī)器視覺識(shí)別指針式儀表讀數(shù)的準(zhǔn)確性常受到圖像亮度、背景復(fù)雜度、圖像清晰度等影響,文獻(xiàn)[6]提出了一種新的魯棒的指針讀數(shù)識(shí)別方法。文獻(xiàn)[7]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別模型,該模型采用虛擬樣本生成技術(shù),從少量的真實(shí)儀器圖像中生成大量的圖像,以訓(xùn)練識(shí)別模型。文獻(xiàn)[8]設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的指針式儀表智能讀數(shù)系統(tǒng),該系統(tǒng)使用特征識(shí)別算法YOLOv3來檢測(cè)和捕獲圖像中的面板區(qū)域,并采用卷積神經(jīng)網(wǎng)絡(luò)讀取和預(yù)測(cè)特征圖像。文獻(xiàn)[9]提出了一種基于反透視圖的機(jī)器視覺測(cè)量多指針儀表的方法,該方法通過旋轉(zhuǎn)變換矩陣和外部參數(shù)將獲取的儀表圖像變換到既平行于儀表平面又靠近主點(diǎn)的位置,從而消除了獲取圖像的透視效果。文獻(xiàn)[10]提出了一種新的自適應(yīng)檢測(cè)不同指針儀表的算法,引入了深度學(xué)習(xí)以檢測(cè)和識(shí)別儀表盤中的刻度值文本。文獻(xiàn)[11]提出了一種基于機(jī)器視覺的自動(dòng)檢測(cè)指針儀表讀數(shù)的新方法。文獻(xiàn)[12]對(duì)現(xiàn)有的Mask-RCNN 網(wǎng)絡(luò)進(jìn)行了改進(jìn),提出了一種新的基于深度學(xué)習(xí)的指針儀表的讀數(shù)識(shí)別算法,該方法對(duì)電表盤和指針區(qū)域進(jìn)行分段,然后在擬合指針的同時(shí)對(duì)電表類型進(jìn)行分類和識(shí)別。

據(jù)此本文提出了一種基于深度學(xué)習(xí)的變電站表計(jì)智能識(shí)別方法。先后使用模糊局部信息C均值(Fuzzy Local Informoction C-Means,FLICM)聚類算法、Faster R-CNN 檢測(cè)、霍夫變換檢測(cè)來實(shí)現(xiàn)。

1 變電站表計(jì)識(shí)別方案設(shè)計(jì)

指針式儀表讀數(shù)識(shí)別方法通常為了消除干擾,需要使用傳統(tǒng)的圖像處理方法進(jìn)行復(fù)雜且耗時(shí)長的預(yù)處理,對(duì)圖像的清晰度也有相當(dāng)高的要求,且繁雜的分析步驟會(huì)導(dǎo)致累計(jì)誤差逐步增加,直接影響最后的識(shí)別效果,不能滿足當(dāng)前對(duì)穩(wěn)定性和準(zhǔn)確性的要求。因此,有必要開發(fā)一種穩(wěn)定可靠的指針式儀表智能識(shí)別方法。鑒于卷積神經(jīng)網(wǎng)絡(luò)在許多領(lǐng)域的應(yīng)用中都有不俗的表現(xiàn)[13],其優(yōu)點(diǎn)在于無需復(fù)雜的預(yù)處理,對(duì)各類圖片具有較高的魯棒性,可直接實(shí)現(xiàn)端到端的識(shí)別效果[14]。深度學(xué)習(xí)計(jì)算平臺(tái)的出現(xiàn)解決了過去因算力不足而無法大規(guī)模數(shù)據(jù)訓(xùn)練的問題[15],諸如Faster RCNN 等新模型的提出也為實(shí)時(shí)目標(biāo)檢測(cè)提供了更為快速和有效的方法[16-17]。對(duì)于變電站中表計(jì)的檢測(cè)和識(shí)別方案,具體流程如圖1所示。

圖1 表計(jì)的檢測(cè)和識(shí)別方案

1.1 變電站表計(jì)識(shí)別圖像分類

本文采用FLICM 聚類方法實(shí)現(xiàn)不同場(chǎng)景下的表計(jì)圖像分類。對(duì)不同圖像進(jìn)行分類后,可以減少不同場(chǎng)景下的檢測(cè)難度。同一場(chǎng)景下進(jìn)行表計(jì)表盤檢測(cè)可提高檢測(cè)準(zhǔn)確性。文獻(xiàn)[18]提出了一種利用圖像局部空間信息的模糊局部C均值聚類算法,其是一種具有約束的模糊C 均值聚類的改進(jìn)。具有約束的模糊C均值聚類的目標(biāo)函數(shù)為

式中:N是樣本數(shù);c是給定的聚類數(shù);uij是樣本xj屬于聚類中心vi的隸屬度;m是模糊系數(shù);dij是像素xj和聚類中心vi的空間歐式距離;NR是xj領(lǐng)域像素?cái)?shù);并且Nj表示xj的領(lǐng)域像素集;dir表示xj的鄰近像素與聚類中心vi之間的空間歐式距離;α是相鄰像素對(duì)調(diào)整中心像素的影響因子。參數(shù)α直接影響最終的聚類性能,從而平衡了噪聲的魯棒性并保留了圖像細(xì)節(jié)的有效性。然而,當(dāng)沒有關(guān)于噪聲的先驗(yàn)知識(shí)時(shí),很難選擇α。此外,對(duì)于整個(gè)圖像的所有相鄰窗口,α都是固定的,很容易導(dǎo)致忽略局部灰度和空間信息。

為了克服上述問題,FLICM 引入了一種模糊因子Gki作為局部相似性度量,以同時(shí)消除噪聲并保留圖像細(xì)節(jié)。Gki表示為

引入Gki后,FLICM 的目標(biāo)函數(shù)可描述為

Jm達(dá)到最小的2個(gè)必要的條件為

1.2 變電站表計(jì)檢測(cè)與定位分析

在FLICM 聚類算法實(shí)現(xiàn)圖像分類后,在不同類別下基于Faster R-CNN 方法檢測(cè)目標(biāo)儀表的位置,并根據(jù)檢測(cè)框調(diào)整圖像位置。

在表計(jì)目標(biāo)監(jiān)測(cè)階段,本文選擇Faster RCNN 方法檢測(cè)目標(biāo)儀表的位置。在計(jì)算機(jī)視覺領(lǐng)域,目標(biāo)檢測(cè)主要解決2個(gè)問題:圖像上多個(gè)目標(biāo)的位置以及每個(gè)目標(biāo)的類別。Faster R-CNN引入了基于Fast R-CNN 的區(qū)域提議網(wǎng)絡(luò)(Regional Proposal Network,RPN),取代了慢速搜索選擇性搜索算法。區(qū)域提議網(wǎng)絡(luò)使用圖像中的紋理,邊緣和顏色等信息來預(yù)先確定道路上目標(biāo)可能出現(xiàn)的位置,并可以通過選擇較少的窗口來確保更高的召回率。這大大降低了后續(xù)操作的時(shí)間復(fù)雜度,并且比更高質(zhì)量的滑動(dòng)窗口獲得了候選窗口?？紤]到目標(biāo)檢測(cè)是基于圖像的紋理,邊緣并確定目標(biāo)。本文認(rèn)為,與背景相比,從Faster RCNN 中選擇的對(duì)象更有助于隱藏信息。

十八屆三中全會(huì)以來，不僅進(jìn)入了“掃黑除惡”的元年，也進(jìn)入了司法保護(hù)企業(yè)產(chǎn)權(quán)的元年。在全面鏟除黑惡勢(shì)力的經(jīng)濟(jì)基礎(chǔ)的工作中，一定要做好區(qū)分“關(guān)聯(lián)性企業(yè)”和合法企業(yè)、“涉黑”財(cái)產(chǎn)和企業(yè)合法經(jīng)營財(cái)產(chǎn)的界限，嚴(yán)格規(guī)范涉案財(cái)產(chǎn)的法律程序，堅(jiān)持審慎把握處理產(chǎn)權(quán)和經(jīng)濟(jì)糾紛的司法政策，提高掃黑除惡工作的規(guī)范性、公正性與合理性。

Faster R-CNN 網(wǎng)絡(luò)模型的檢測(cè)流程如圖2所示。主要分為4個(gè)內(nèi)容。

圖2 表計(jì)檢測(cè)流程

(1)卷積層:包括卷積層和池化層,用于提取圖像特征圖。后續(xù)的RPN 層和全連接層共享特征圖。

(2)區(qū)域提案網(wǎng)絡(luò):用于生成區(qū)域提案。RPN網(wǎng)絡(luò)首先通過3×3卷積層,分別生成前景錨點(diǎn)和檢測(cè)框回歸偏移,然后計(jì)算提案。通過Softmax函數(shù)確定錨點(diǎn)屬于前景或背景。

(3)關(guān)注區(qū)池化:此層根據(jù)特征圖和區(qū)域提案將提案特征圖提取到后續(xù)的全連接層中。

(4)分類和檢測(cè)框回歸:使用提案特征圖來計(jì)算提案的類型,然后使用檢測(cè)框回歸獲得檢測(cè)框的最終精確位置。

在RPN 訓(xùn)練期間,Faster R-CNN 為每個(gè)候選框分配一個(gè)二進(jìn)制標(biāo)簽以進(jìn)行網(wǎng)絡(luò)訓(xùn)練。圖像的損失函數(shù)定義為

式中:i是批處理中錨點(diǎn)i的索引;而pi是錨點(diǎn)i在目標(biāo)表計(jì)的概率。如果錨點(diǎn)是目標(biāo)表計(jì),則標(biāo)記為1,如果不是,則為0。ti={tx,ty,tw,th}是代表候選框的4個(gè)坐標(biāo)的向量是與目標(biāo)對(duì)象關(guān)聯(lián)的坐標(biāo)向量,表示為

式中:w、h、x和y分別表示框的寬度、高度、x坐標(biāo)和y坐標(biāo);wa、w*分別定義為檢測(cè)框和真實(shí)框的相應(yīng)參數(shù)。定義分類的對(duì)數(shù)損失函數(shù)為

其中R是

另外,對(duì)于表計(jì)位置調(diào)整方面,當(dāng)檢測(cè)到表計(jì)在當(dāng)前視野中后,需要從復(fù)雜的背景中提取表計(jì)表盤。根據(jù)第一部分提取的結(jié)果調(diào)整圖像的位置和比例,然后獲得放大并居中的表計(jì)表盤,如圖3所示。當(dāng)檢測(cè)位置偏離視場(chǎng)中心時(shí),調(diào)整表計(jì)表盤的位置,以使圖像的中心點(diǎn)與邊框的中心點(diǎn)對(duì)齊,可表示為

圖3 表計(jì)位置調(diào)整

式中:W×H是中心點(diǎn)坐標(biāo)為(Xc,Yc)的拍攝圖像的尺寸;w×h是檢測(cè)框的尺寸,其中心點(diǎn)坐標(biāo)為(xc,yc),左上角的坐標(biāo)為(wc,hc)。根據(jù)上述的位置描述就可以調(diào)整攝像機(jī)使圖像處于視野中間。

1.3 變電站表計(jì)刻度校正及讀數(shù)

通常,當(dāng)肉眼識(shí)別表計(jì)讀數(shù)時(shí),如果視線垂直于表計(jì)平面,則捕獲的表計(jì)就是前視圖圖像。但是,如果在使用攝像機(jī)捕獲圖像時(shí)相機(jī)平面不平行于表計(jì)平面,則將獲得的表計(jì)成像為橢圓形。因此,本文應(yīng)用透視變換來校準(zhǔn)圖像以獲得正視圖圖像。

式中:(U,V)是原始圖像中一個(gè)點(diǎn)的坐標(biāo);(X,Y)是正視圖圖像中相應(yīng)點(diǎn)的坐標(biāo);(u,v,w)是(U,V)在齊次空間的坐標(biāo);(x,y,w′)是(X,Y)在齊次空間的坐標(biāo)。橢圓的長軸和短軸的端點(diǎn)用作變換矩陣的計(jì)算基礎(chǔ),以實(shí)現(xiàn)視角校正,原始視圖和新視圖之間的傳遞矩陣,如圖4所示。

圖4 透視變換

考慮到環(huán)境中的亮度水平會(huì)影響識(shí)別結(jié)果,首先使用帶色彩恢復(fù)的多尺度Retinex算法[19]來增強(qiáng)惡劣條件下的圖像。為了減少復(fù)雜背景對(duì)識(shí)別的影響,將儀表的圓形輪廓內(nèi)的區(qū)域定義為關(guān)注區(qū)域。為了促進(jìn)指針識(shí)別,在確定關(guān)注區(qū)域之后,將輸入彩色圖像轉(zhuǎn)換為二值化圖像。

首先,對(duì)圖像進(jìn)行灰度處理。然后,本文采用自適應(yīng)閾值算法獲得適當(dāng)?shù)亩祷瘓D像。該算法的基本原理是將圖像中的每個(gè)像素與周圍像素的平均值進(jìn)行比較,將小于平均值的像素設(shè)置為黑色,否則將其設(shè)置為白色。最后,應(yīng)用細(xì)化算法將指針變成直線段。該算法將使圖像骨骼化,但是原始線條不會(huì)被破壞。在預(yù)處理之后,使用霍夫變換獲得指針的位置。

讀數(shù)是通過角度法獲得的,讀數(shù)R可表示為

式中:α1是指針與零刻度之間的角度;α2是零刻度與最大刻度之間的角度;range是測(cè)量表計(jì)的范圍。表計(jì)的量程數(shù)據(jù)以及零位和最大刻度的位置是由技術(shù)人員事先輸入的,然后就可以獲得表計(jì)的讀數(shù)。

2 試驗(yàn)與結(jié)果分析

本文提出的識(shí)別方法的目的是使用機(jī)器視覺來準(zhǔn)確識(shí)別指針式表計(jì)的讀數(shù),需要進(jìn)行一系列試驗(yàn),并分析了測(cè)試結(jié)果以及評(píng)估所提出方法的有效性。以上海變電站獲得的9 218個(gè)指針儀表圖像為數(shù)據(jù)集,其中7 218個(gè)圖像為訓(xùn)練樣本,其余2 000個(gè)圖像為測(cè)試樣本。不同尺寸的原始圖像被統(tǒng)一裁剪為1 680×1 200。為了分析檢測(cè)的質(zhì)量,計(jì)算了召回率和平均精度作為評(píng)估標(biāo)準(zhǔn)。

經(jīng)過試驗(yàn),所提出的方法在表計(jì)檢測(cè)上的最終精度達(dá)到90.71%,召回率達(dá)到91.64%,證明了該方法可以準(zhǔn)確地檢測(cè)變電站中的表計(jì)。表計(jì)檢測(cè)的測(cè)試效果如圖5所示。

圖5 表計(jì)檢測(cè)效果

除了使用數(shù)據(jù)集進(jìn)行測(cè)試,本文還選擇了某變電站內(nèi)18個(gè)不同角度位置的壓力表作為實(shí)際測(cè)試對(duì)象,并復(fù)現(xiàn)了現(xiàn)有算法中兩種效果最為優(yōu)秀的識(shí)別方法進(jìn)行測(cè)試對(duì)比。表1顯示了通過人類視覺、其他方法和本文所提方法獲得的讀數(shù)的比較(為了減少人與人之間讀數(shù)的不確定性,人工讀數(shù)結(jié)果取自站內(nèi)10 名熟練工人讀數(shù)的平均值)。從表1數(shù)據(jù)可以看出,本文提出的識(shí)別方法獲得了與人工讀數(shù)幾乎相同的結(jié)果。相對(duì)誤差大多保持在1.000%以下,最大相對(duì)誤差為1.333%。同時(shí),平均相對(duì)誤差低于其他兩種方法,這證明所提的識(shí)別方法更加穩(wěn)定和準(zhǔn)確,可以滿足實(shí)際應(yīng)用。

表1 讀數(shù)識(shí)別結(jié)果對(duì)比

3 結(jié)論

隨著數(shù)字電網(wǎng)的推行,許多變電站需要進(jìn)行不同程度的改造,但有大量老舊變電站受制于投資過大、周期過長等原因無法進(jìn)行此類大型改造。本文提出了一種基于深度學(xué)習(xí)的變電站表計(jì)智能識(shí)別方法,以圖像識(shí)別的輔助方式對(duì)無智能接口的模擬儀表自動(dòng)識(shí)別讀數(shù),總結(jié)如下:采用FLICM 聚類方法實(shí)現(xiàn)不同場(chǎng)景下的表計(jì)圖像分類,該方法魯棒性強(qiáng),極大降低了輸入圖像清晰度的門檻,對(duì)不同清晰度的表計(jì)圖像均可進(jìn)行正常的識(shí)別分類。使用Faster R-CNN 方法檢測(cè)目標(biāo)表計(jì)表盤的位置,并根據(jù)檢測(cè)框調(diào)整圖像位置,該方法在檢測(cè)效率和識(shí)別穩(wěn)定性上都具有明顯的優(yōu)勢(shì)。利用霍夫變換檢測(cè)指針位置進(jìn)而獲得讀數(shù),該方法將環(huán)境亮度也納入考慮范圍,增強(qiáng)了風(fēng)霜雨露等非常規(guī)條件下的識(shí)別效果。

在前期構(gòu)建的內(nèi)部數(shù)據(jù)測(cè)試集及后期進(jìn)行的實(shí)際測(cè)試的橫向?qū)Ρ戎?本方法的準(zhǔn)確性與穩(wěn)定性都得到了驗(yàn)證。本方法在應(yīng)用上具有投資少、改造周期短等特點(diǎn),可協(xié)助大量變電站以最小的代價(jià)完成變電站的智能化改造,在數(shù)字電網(wǎng)推行中具有十分重要的應(yīng)用價(jià)值。