國(guó)網(wǎng)黑龍江省電力有限公司檢修公司 胡旻昊 王海濱 王 岐 陽 薇 高 鳴

基于雙目視覺圖像的電力設(shè)備狀態(tài)識(shí)別算法

國(guó)網(wǎng)黑龍江省電力有限公司檢修公司 胡旻昊 王海濱 王 岐 陽 薇 高 鳴

提出了一種基于雙目視覺圖像的電力設(shè)備狀態(tài)檢測(cè)算法.利用雙目相機(jī)獲取電力設(shè)備的巡檢圖,計(jì)算巡檢圖中感興趣區(qū)域的視差圖,從視差圖中獲得距離信息分布.根據(jù)所述距離信息分布,確定所述電力設(shè)備的狀態(tài).通過雙目視覺測(cè)距原理實(shí)現(xiàn)設(shè)備狀態(tài)識(shí)別,為變電設(shè)備狀態(tài)的識(shí)別提供了新方法,實(shí)現(xiàn)了電力設(shè)備狀態(tài)的快速、準(zhǔn)確識(shí)別.

電力設(shè)備;機(jī)器人;雙目相機(jī);視差圖像

0 引言

電力設(shè)備的檢測(cè),為電力運(yùn)行的安全性、可靠性提供可靠保障[1].電力設(shè)備中,通常在繼電保護(hù)的回路上設(shè)計(jì)有保護(hù)壓板,又稱連接片,包括功能壓板和出口壓板,功能壓板作用于繼電保護(hù)功能的投退,出口壓板作用于斷路器跳閘或其他保護(hù)功能的啟動(dòng).在運(yùn)行方式改變時(shí),往往涉及到保護(hù)壓板的投退,如有漏投退或誤投退,會(huì)直接影響保護(hù)功能的實(shí)現(xiàn),嚴(yán)重時(shí)會(huì)引起保護(hù)拒動(dòng)或誤動(dòng),導(dǎo)致大范圍停電事故.因此,在保護(hù)壓板投退時(shí)需要對(duì)保護(hù)壓板進(jìn)行有效監(jiān)測(cè).

但是,現(xiàn)有保護(hù)壓板監(jiān)測(cè)方法,主要依據(jù)圖像處理技術(shù),圖像分割的時(shí)候容易受到噪聲干擾,影像識(shí)別結(jié)果的準(zhǔn)確性.另外,室內(nèi)屏體設(shè)備類型較多,設(shè)備的狀態(tài)也是多種并存,圖像處理邏輯較為復(fù)雜.設(shè)備部分與背景顏色相同或相近時(shí),容易導(dǎo)致圖像分割失敗,無法提取特征,致使設(shè)備狀態(tài)識(shí)別失敗.因此,現(xiàn)在亟需一種對(duì)電力設(shè)備狀態(tài)進(jìn)行準(zhǔn)確且快速的檢測(cè)方法.

鑒于此,本文提出一種基于雙目視覺的電力設(shè)備狀態(tài)識(shí)別算法,實(shí)現(xiàn)對(duì)電力設(shè)備狀態(tài)進(jìn)行快速且準(zhǔn)確的檢測(cè).

1 雙目立體視覺

1.1 設(shè)備圖像

在變電站屏體設(shè)備中,有些設(shè)備和背景色相同或者相近,造成目標(biāo)和背景相似而無法使用圖像分割的算法實(shí)現(xiàn)目標(biāo)分割和識(shí)別,如圖1和圖2所示.

雙目立體視覺(Binocular Stereo Vision)是機(jī)器視覺的一種重要形式[2],它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像,通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差,來獲取物體三維幾何信息的方法.融合兩只眼睛獲得的圖像并觀察它們之間的差別,使我們可以獲得明顯的深度感,建立特征間的對(duì)應(yīng)關(guān)系,將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對(duì)應(yīng)起來,這個(gè)差別,我們稱作視差(Disparity)圖,如圖3所示.在視差圖中不同的顏色帶著不同的深度信息,也就是距離雙目相機(jī)的距離信息

圖1 旋轉(zhuǎn)開關(guān)

圖2 平板保護(hù)壓板

圖3 視差圖

1.2 雙目視覺原理

如1.1中所述,雙目視覺技術(shù)是計(jì)算機(jī)視覺技術(shù)的一個(gè)重要分支,它模仿人類雙眼獲取環(huán)境信息的原理,利用兩臺(tái)攝像機(jī)從不同位置拍攝同一物體,然后獲取二維數(shù)字圖像,并利用幾何原理對(duì)采集到的圖像進(jìn)行處理,獲取三維信息,從而使計(jì)算機(jī)具有認(rèn)知三維世界的能力.雙目視覺測(cè)距技術(shù)是雙目視覺技術(shù)的重要部分,它屬于光學(xué)測(cè)距中的被動(dòng)式測(cè)距方法[3].圖4為雙目相機(jī)測(cè)距示意圖.

圖4 雙目相機(jī)測(cè)距示意圖

兩臺(tái)攝像機(jī)的鏡頭中心或光學(xué)中心之間的距離稱為雙目視覺系統(tǒng)的基線B,利用雙目視覺成像系統(tǒng)可以確定具有像平面坐標(biāo)點(diǎn)(x1,y1)和(x2,y2)的三維空間點(diǎn)W的世界坐標(biāo)[4,5].

圖5 世界坐標(biāo)系

根據(jù)攝像機(jī)坐標(biāo)系與世界坐標(biāo)系重合情況下的透視變換公式,三維空間點(diǎn)W的X軸坐標(biāo)表示為:

式中X1和Z1為三維空間點(diǎn)形在世界坐標(biāo)系(此時(shí)世界坐標(biāo)系與第一個(gè)攝像機(jī)坐標(biāo)系重合)中的X軸和Z軸坐標(biāo).同理,如果將世界坐標(biāo)系設(shè)置在第二臺(tái)攝像機(jī)上,則W點(diǎn)在X軸的坐標(biāo)可表示為:

因?yàn)榛€長(zhǎng)度是B且三維空間點(diǎn)W的Z軸坐標(biāo)對(duì)兩臺(tái)攝像機(jī)坐標(biāo)系統(tǒng)是一樣的,所以有:

將式(3)帶入式(1)和式(2),得:

式(5)減去式(4)可以解出Z,有:

式(6)把三維空間點(diǎn)與像平面之間的距離Z(三維信息中的深度信息)與視差D(三維點(diǎn)對(duì)應(yīng)的坐標(biāo)x2和x1之差)直接聯(lián)系起來.視差的大小直接與深度有關(guān),所以視差包含了物體的三維空間信息[6,7].通過視差圖像可以求得三維空間中的點(diǎn)到攝像機(jī)的距離,同時(shí),還可以確定三維空間點(diǎn)在世界坐標(biāo)系中的坐標(biāo).

如果視差D可以確定并且已知兩臺(tái)攝像機(jī)之間的基線距離和攝像機(jī)的焦距,很容易計(jì)算出三維空間點(diǎn)W的Z軸坐標(biāo).另外Z軸坐標(biāo)確定后點(diǎn)W的世界坐標(biāo)X,Y軸坐標(biāo)可用(x1,y1)和(x2,y2)借助透視變換得到,即:

同理:

這樣,通過三維空間點(diǎn)在兩臺(tái)攝像機(jī)的成像視差,可求出空間點(diǎn)的三維坐標(biāo).因此,對(duì)于兩臺(tái)攝像機(jī)平面上的任意一點(diǎn),只要能夠在另一臺(tái)攝像機(jī)平面上找到對(duì)應(yīng)的匹配點(diǎn)(即兩者是空間同一點(diǎn)在兩臺(tái)攝像機(jī)面上的像點(diǎn)),就可以通過視差確定出該點(diǎn)的三維空間點(diǎn).

2 棋盤格雙目相機(jī)標(biāo)定

在使用棋盤格對(duì)相機(jī)標(biāo)定時(shí),只需要多次從不同角度拍攝準(zhǔn)備好的標(biāo)定棋盤格,每次拍攝的圖像包括了所有的標(biāo)記點(diǎn).即在相機(jī)標(biāo)定時(shí),將標(biāo)定棋盤格的模板放置在相機(jī)的前方的攝像范圍內(nèi),并在室內(nèi)光源和一定角度內(nèi)做旋轉(zhuǎn)運(yùn)動(dòng).本文中提及的雙目攝像機(jī)為Point Grey公司的雙目相機(jī),如圖6所示.

圖6 雙目相機(jī)

為了方便相機(jī)標(biāo)定,開發(fā)了相機(jī)控制的簡(jiǎn)單程序,使用相同的控制操作進(jìn)行相機(jī)的標(biāo)定,相機(jī)控制和棋盤格標(biāo)定如圖7所示.

圖7 相機(jī)標(biāo)定過程圖

3 實(shí)驗(yàn)仿真

實(shí)驗(yàn)一:實(shí)物測(cè)距.

如上節(jié)所示,當(dāng)相機(jī)標(biāo)定完成后即可進(jìn)行目標(biāo)距離的測(cè)量.為了測(cè)試標(biāo)定后的相機(jī)性能,進(jìn)行了此次目標(biāo)實(shí)物的距離測(cè)試.如圖8所示,相機(jī)測(cè)的紅色目標(biāo)的距離為59.7cm.經(jīng)過手動(dòng)測(cè)量,相機(jī)測(cè)的結(jié)果與實(shí)際相符,證明了目前雙目相機(jī)系統(tǒng)測(cè)距的有效性.

圖8 目標(biāo)距離檢測(cè)結(jié)果圖

室內(nèi)有些電力設(shè)備是具有不規(guī)則形狀的立體電力設(shè)備,例如壓板和開關(guān).參見圖2.因此,立體形狀的空間特征恰好可以采用雙目測(cè)距得到目標(biāo)區(qū)域的距離信息,通過距離分布可以有效的規(guī)避前景和背景顏色相似或相同而不能使用圖像分割算法.

視差圖是把可見光圖像中的像素從圖像坐標(biāo)系轉(zhuǎn)換為世界坐標(biāo)系后的距離信息表示為紅外熱圖的一張圖像.因此,所有的距離值用一張紅外熱圖來表示.紅外熱圖中不同的顏色代表著不同的距離信息.因此,可以根據(jù)視差圖得到的距離信息分布.

實(shí)驗(yàn)二:設(shè)備狀態(tài)測(cè)試.

根據(jù)以上的介紹,圖像處理的過程如圖9所示,系統(tǒng)處理的過程圖如圖10所示,其中設(shè)備圖像處理步驟如下:

Step1:電力設(shè)備圖像采集;

Step2:感興趣區(qū)域提取;

Step3:獲取感興趣區(qū)域視差圖;

Step4:視差圖中距離計(jì)算;

Step5:根據(jù)距離信息分布,確定所述電力設(shè)備的狀態(tài).

圖9 圖像處理過

圖10 系統(tǒng)處理過程圖

經(jīng)過標(biāo)定,見圖11和圖12中的綠色矩形框,使用雙目相機(jī)得到的距離信息即可得到設(shè)備的當(dāng)前狀態(tài).如圖11中得到的設(shè)備開關(guān)的當(dāng)前狀態(tài)為"W",圖12中壓板的當(dāng)前為"分",這與實(shí)際情況相符.

圖11 開關(guān)識(shí)別結(jié)果

圖12 壓板識(shí)別結(jié)果

4 結(jié)論

本文在變電站巡檢機(jī)器人平臺(tái)上,搭建雙目相機(jī),基于雙目視覺技術(shù)獲取當(dāng)前設(shè)備距離雙目相機(jī)距離信息,根據(jù)距離信息結(jié)合設(shè)備本身特征判別設(shè)備的狀態(tài).有效的解決了目標(biāo)和背景顏色相同和或相近設(shè)備無法分割和識(shí)別的難題.提高了機(jī)器人巡檢過程中的巡檢正確率,同時(shí)也拓寬了機(jī)器人在變電站中的使用范圍.實(shí)驗(yàn)結(jié)果表明算法正確率高,魯棒性強(qiáng),能夠滿足變電站巡檢機(jī)器人的需求.

[1]鐘玲.電力系統(tǒng)及電力設(shè)備的可靠性探討[J].數(shù)字通信世界,2016(8):231.

[2]王蘇婭.雙目立體視覺分析方法研究[D].西安電子科技大學(xué),2011:1-10.

[3]宋菲.基于雙目視覺的測(cè)距算法研究[D].山東科技大學(xué),2013:1-5.

[4]戴宗賢.基于雙目視覺的三維重建與測(cè)量技術(shù)研究[D].重慶大學(xué),2014:37-40.

[5]王怡萱,張俊梅,闞江明.基于雙目視覺的目標(biāo)定位與測(cè)距系統(tǒng)硬件平臺(tái)[J].計(jì)算機(jī)應(yīng)工程,2013,39(7):215-216.

[6]張穎江,潘堯,吳聰.基于車載系統(tǒng)雙目CCD相機(jī)測(cè)距[J].信息安全與技術(shù),2016,7(1):57-56.

[7]徐姝姝,王元慶,張兆揚(yáng).新的單目立體視覺的視差圖的獲得方法[J].計(jì)算機(jī)應(yīng)用,2011,31(2):3-342.

Power equipment state recognition algorithm based on binocular vision image

Hu Minhao,Wang Haibin,Wang Qi,Yang Wei,Gao ming
(Maintenance Company,State Grid Heilongjiang Electric Power Company)

A kind of power equipment state detection algorithm based on binocular vision image is presented,and the power equipment image is obtained by binocular camera in substation.Disparity map of region of interest in the inspection image is calculated,and the distance information distribution is obtained in the disparity map.According to the distance information distribution,the status of electrical equipment is determined.Through the principle of binocular vision ranging,equipment status identification is realized,which provides a new method for the identification of substation equipment status,and realizes the rapid and accurate identification of power equipment status.

substation;robot;binocular vision;disparity map