崔寶京,程曉榮

(華北電力大學(xué)控制與計算機工程學(xué)院,河北 保定 071003)

1 引言

隨著科技的飛速發(fā)展,機械化、智能化程度的逐年攀高,各種電力設(shè)備應(yīng)運而生,整個電力系統(tǒng)的負(fù)荷不斷增加,對電力系統(tǒng)運行的穩(wěn)定性要求也在不斷提高。然而輸配電線路及相關(guān)電力設(shè)備,長期處在室外環(huán)境下運行,經(jīng)過內(nèi)外部力量的影響,某種程度上會出現(xiàn)絕緣材料損毀等問題,在相關(guān)環(huán)境條件下發(fā)生電力設(shè)備電暈放電情況[1]。電暈放電危害電力系統(tǒng)的穩(wěn)定,易誘發(fā)重大事故,因此需要一種方法精準(zhǔn)檢測放電位置,及時進行維護。

電氣設(shè)備在進行放電時,電暈與局部的放電位置,會向外輻射出大量紫外線[2]。由于太陽光發(fā)射出的波長在280nm以下的紫外光,幾乎完全被大氣臭氧層所吸收[3]。因此可以直接認(rèn)定電力設(shè)備中檢測到的波長在280nm以下的紫外光是由電暈放電產(chǎn)生。紫外成像儀采用全日盲技術(shù)的原理,將紫外與可見光圖像進行雙通道融合,能在電力設(shè)備放電早期捕捉到電暈信號[4]?？紤]到檢測的準(zhǔn)確性以及定位的精準(zhǔn),傳感器得到的圖像不能直接做簡單的融合,需要預(yù)先對紫外光與可見光圖像做配準(zhǔn)處理。

目前圖像的配準(zhǔn)已經(jīng)被廣泛地應(yīng)用于各個領(lǐng)域,各種配準(zhǔn)方式也相繼出現(xiàn)。文獻(xiàn)[5]提出了一種基于互信息的紫外與可見光圖像配準(zhǔn)算法,雖然配準(zhǔn)精度較高,但耗時較長。文獻(xiàn)[6]提出了一種判斷式圖像的混合配準(zhǔn)方法,能夠有效的校正劇烈形變所導(dǎo)致的血管損傷評估誤差,但需要基于配準(zhǔn)組別圖像均方差值判定劇烈形變和輕微形變,相對復(fù)雜。文獻(xiàn)[7]提出了一種基于約束點特征的紅外與可見光圖像配準(zhǔn)方法,采用一種對象檢測算法提取約束點特征,避免構(gòu)造復(fù)雜的特征描述子,不需要刪除錯配和冗余點,提高了配準(zhǔn)效率。引入高級語義信息,提高配準(zhǔn)精度,但可能會造成一些關(guān)鍵性的特征丟失。

圖像配準(zhǔn)是融合的基礎(chǔ)和前提[8],而提取特征又是整個配準(zhǔn)過程中最重要的環(huán)節(jié),能否精確提取特征直接影響配準(zhǔn)的精度。因此,找到一種穩(wěn)定且精準(zhǔn)的提取特征的方法,對于整個圖像配準(zhǔn)來說十分關(guān)鍵。本文提出了一種基于AlexNet網(wǎng)絡(luò)與果蠅優(yōu)化算法(Fruit fly optimization algorithm,FOA)-小波融合的圖像配準(zhǔn)融合方法。通過AlexNet網(wǎng)絡(luò)對圖像特征進行自動提取,經(jīng)過多層卷積獲得待配準(zhǔn)圖像的大量關(guān)鍵性的特征信息,進而得到兩幅圖像的空間變換參數(shù),完成圖像配準(zhǔn);再結(jié)合FOA-小波算法對已配準(zhǔn)的圖像實現(xiàn)融合。

2 AlexNet網(wǎng)絡(luò)圖像配準(zhǔn)

2.1 AlexNet網(wǎng)絡(luò)

2012年,Krizhevskya和Hinton等人在深度學(xué)習(xí)思想的影響下設(shè)計了基于卷積神經(jīng)網(wǎng)絡(luò)的AlexNet模型,AlexNet模型已在超過1000種類的100多萬張圖像上進行了訓(xùn)練,學(xué)習(xí)相對豐富的特征表示[9]。對于傳統(tǒng)的機器學(xué)習(xí)而言,是一次歷史性的革新,開創(chuàng)了深層神經(jīng)網(wǎng)絡(luò)的先河,在AlexNet網(wǎng)絡(luò)之后不斷涌現(xiàn)出更深層次的神經(jīng)網(wǎng)絡(luò)。

AlexNet網(wǎng)絡(luò)是基于卷積神經(jīng)網(wǎng)絡(luò)的一種經(jīng)典模型,具有8層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),包括5層卷積層,3層全連接層,1層softmax損失層。結(jié)構(gòu)深,參數(shù)多等特點,使其相較于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)而言,能夠得到更多的特征信息[10]。

AlexNet網(wǎng)絡(luò)在卷積神經(jīng)網(wǎng)絡(luò)中運用ReLu作為激活函數(shù),避免了常規(guī)的Sigmoid函數(shù)與Tanh函數(shù)在神經(jīng)網(wǎng)絡(luò)層數(shù)較深時出現(xiàn)的梯度消失的問題,其函數(shù)圖像對比如圖1所示。此外ReLu函數(shù)不需要進行冪級運算,并且當(dāng)輸出大于0時梯度為1,有效的保證誤差反向傳播型神經(jīng)網(wǎng)絡(luò)權(quán)值與閾值的持續(xù)優(yōu)化[11]。ReLu函數(shù)表達(dá)式如式(1)

圖1 激活函數(shù)圖像對比

f(x)=max(0,x)

(1)

AlexNet網(wǎng)絡(luò)引入了Dropout技術(shù),又稱其為丟棄層。Dropout丟棄層隨機忽略部分神經(jīng)元,使模型不過分依賴某些局部特征[12],防止了過擬合現(xiàn)象的發(fā)生,提高了模型的說泛化能力。

AlexNet網(wǎng)絡(luò)運用了重疊最大池化的方法,提出了池化濾波器的移動步長小于其尺寸邊長,如圖2所示,使池化層的輸出發(fā)生重疊,豐富了提取的特征信息。

圖2 重疊最大池化

AlexNet網(wǎng)絡(luò)應(yīng)用了局部響應(yīng)歸一化層(LRN),對局部神經(jīng)元的活動創(chuàng)建競爭機制,對反饋較大的神經(jīng)元進行響應(yīng)放大,對響應(yīng)較小的神經(jīng)元進行一定抑制。這種競爭機制的建立使模型在丟棄層的基礎(chǔ)上進一步增強了泛化能力。AlexNet網(wǎng)絡(luò)在本實驗中被用作特征提取器,通過不同深度層次的5層卷積層,如圖3所示,分別提取圖像的不同特征,有效解決了人工提取特征的局限性問題,具有更好的適用性。

圖3 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 空間變換矩陣

圖像的配準(zhǔn)方法有很多種,但是不管哪種方法,其根本目標(biāo)都是完成兩幅圖像在空間上的對應(yīng)關(guān)系?；谔卣鞯呐錅?zhǔn)方法,在特征匹配的同時得到最佳的空間變換參數(shù)。因此圖像的配準(zhǔn)可以看作待配準(zhǔn)圖像以目標(biāo)圖像為基準(zhǔn)進行的空間變換過程,其變換過程用數(shù)學(xué)公式表達(dá)為

Ig(x1,y1)=F[Ir(T(x2,y2))]

(2)

上式中,Ig(x1,y1)表示為待配準(zhǔn)圖像某點的像素值,T(x2,y2)表示空間變換時該點的矩陣參數(shù),Ir(T(x2,y2))表示為空間變換后對應(yīng)像素點的坐標(biāo),F為待配準(zhǔn)圖像像素點變換到目標(biāo)圖像對應(yīng)像素點的插值操作。

構(gòu)造空間變換矩陣之前,最重要的是找到待配準(zhǔn)圖像與目標(biāo)圖像的空間對應(yīng)關(guān)系,確定空間變換模型。根據(jù)以往研究發(fā)現(xiàn),圖像配準(zhǔn)過程可能存在的空間變換關(guān)系有平移、縮放、旋轉(zhuǎn)以及無規(guī)則變換,如圖4所示。

圖4 空間變換關(guān)系

在紫外成像儀中,可見光鏡頭與紫外光鏡頭經(jīng)過了嚴(yán)格的光學(xué)校準(zhǔn),在進行配準(zhǔn)時只涉及平移操作,不需要改變圖像的形狀與大小,因此剛體變換模型完全滿足需要。剛體變換矩陣可表示為

(3)

式(3)中,(x,y)與(x′,y′)分別代表變換前后某像素點的對應(yīng)坐標(biāo),dx、dy分別代表水平方向與豎直方向的平移量,θ為旋轉(zhuǎn)角度。

3 FOA-小波融合

3.1 小波變換

小波變換在處理圖像時重構(gòu)能力強,不僅可以找到正交基實現(xiàn)無冗余的信號分解[13],又保證了信號的分解信息不被丟失。

小波變換進行圖像分解具有方向性,在提取圖像低頻信息的同時,還獲得了水平、垂直、對角線三個方向的高頻信息。進行每一層的分解時,都會生這4個子帶,下一層的分解僅對低頻信息作用。圖像的灰度信息,大多分布在低頻分量中,表征了圖像的輪廓,展示了圖像的直觀視覺[14];高頻分量代表了圖像的細(xì)節(jié)特性。整個小波變換過程分為兩個步驟,第一是源圖像的分解,第二是分解后圖像的重構(gòu)。

分解產(chǎn)生低頻子帶信息如式(4)所示

(4)

分解產(chǎn)生水平方向的高頻子帶信息,如式(5)所示

(5)

分解產(chǎn)生垂直方向的高頻子帶信息,如式(6)所示

(6)

分解產(chǎn)生對角線方向的高頻子帶信息如式(7)所示

(7)

將分解信息重組,得到重構(gòu)圖像,如式(8)所示

(8)

根據(jù)上述分解式(4)-(7)可知,二維小波分解的示意圖如圖5所示。

圖5 小波兩層分解示意圖

分析不同的小波融合規(guī)則適用范圍,對高頻部分采用局部方差融合規(guī)則。將兩個源圖像的高頻子帶的數(shù)據(jù)信息分別分成n個子塊,每個子塊的數(shù)據(jù)信息分別為A、B。計算高頻融合信息

(9)

式(9)中K1和K2為紫外光與可見光圖像的高頻子塊的融合加權(quán)系數(shù)。當(dāng)紫外光高頻子塊的方差數(shù)值大于可見光的高頻子塊時則K1大于等于K2,反之則K1小于K2。F為融合后的高頻子圖像。

對于低頻部分采用加權(quán)平均法,通過調(diào)整權(quán)值,對融合的低頻信息進行偏好設(shè)置,可在某種程度上消除噪聲。具有實現(xiàn)簡單,運算效率高等優(yōu)點,大大提升了整個算法的融合效率。

3.2 FOA算法

紫外光與可見光圖像,經(jīng)過小波分解產(chǎn)生對應(yīng)的分解向量。在經(jīng)過一定的重構(gòu)系數(shù),得到重構(gòu)向量,進而得到融合圖像。這里需要一種高效的優(yōu)化算法,通過迭代尋優(yōu)找到兩個圖像分解向量的最優(yōu)融合參數(shù)。

果蠅優(yōu)化算法(Fruit fly optimization algorithm,FOA)是基于果蠅覓食行為的仿生學(xué)原理而提出的一種智能群體優(yōu)化算法[15]。通過對果蠅捕捉食物的過程進行模擬,進而實現(xiàn)對全局的迭代尋優(yōu),找到最優(yōu)解。與粒子群算法[16]、遺傳算法[17]等優(yōu)化算法相比,FOA原理易懂、操作簡單、易于實現(xiàn),具有較強的局部搜索能力[18],在深度學(xué)習(xí)、人工智能領(lǐng)域被廣泛應(yīng)用。

FOA滿足了同時優(yōu)化多個參數(shù)的需求,根據(jù)優(yōu)化參數(shù)個數(shù)定義種群規(guī)模,隨機初始化種群位置以及飛行方向、距離區(qū)間。由味道濃度判定函數(shù),得到各位置果蠅濃度,每次迭代判斷味道濃度是否優(yōu)于前一代味道濃度,計算公式如下

D(p,i)=(X(p,i)2+Y(p,i)2)0.5

(10)

S(p,i)=1/D(p,i)

(11)

A(i)=S(p,i)

(12)

其中D(p,i)表示種群p中第i個果蠅距離原點的位置,X(p,i)與Y(p,i)為初始化種群各果蠅位置的橫縱坐標(biāo);S(p,i)為該果蠅位置的味道濃度,取距離D(p,i)的倒數(shù);A(i)為待優(yōu)化的第i個參數(shù)。

FOA優(yōu)化算法中,初始化的果蠅,隨著一次次迭代,不斷變換位置,直到迭代尋優(yōu)結(jié)束后,這些位置形成了果蠅的飛行路線,呈散點狀分布,如圖6所示。

圖6 優(yōu)化后的果蠅飛行路線

3.3 FOA優(yōu)化小波算法原理

FOA優(yōu)化小波算法原理簡單便于操作,如圖7所示。將移動配準(zhǔn)后的紫外光圖像與可見光圖像進行不同級別的小波分解,產(chǎn)生不同的分解向量,作為訓(xùn)練樣本,帶入FOA優(yōu)化模型進行迭代,得到最佳融合參數(shù)。

圖7 FOA優(yōu)化小波算法原理圖

優(yōu)化模型中,融合圖像的信息熵可看作味道濃度,融合參數(shù)為果蠅位置坐標(biāo)。迭代優(yōu)化過程即找到融合圖像信息熵最大值前對應(yīng)的融合參數(shù)的迭代尋優(yōu)過程。

4 紫外與可見光圖像的配準(zhǔn)融合

基于AlexNet網(wǎng)絡(luò)與FOA-小波融合的圖像配準(zhǔn)融合流程圖,如圖8所示。具體步驟如下所示:

圖8 配準(zhǔn)融合流程圖

1)通過AlexNet網(wǎng)絡(luò)對待配準(zhǔn)的紫外與可見光圖像分別進行特征提取,并配合空間變換矩陣對圖像提取的特征進行配準(zhǔn);

2)經(jīng)過二維小波變換,對可見光圖像與空間變換移動后的紫外圖像進行分解;

3)經(jīng)FOA優(yōu)化得到小波融合的最佳融合參數(shù)后,對分解向量重構(gòu),實現(xiàn)圖像的配準(zhǔn)融合。

5 實驗與結(jié)果分析

實驗裝置需要用到十字低壓汞燈、高靈敏紫外鏡頭與可見光鏡頭。由于240-280nm的紫外光成像后只有目標(biāo)信息,無法對放電位置進行精準(zhǔn)的識別。所以高靈敏紫外成像儀具有雙通道,同時對日盲紫外光與可見光接收成像,再進行實時的配準(zhǔn)與融合。通過將僅攜帶目標(biāo)信息的紫外光與攜帶背景信息的可見光進行配準(zhǔn)融合,精準(zhǔn)找到放電位置。為了便于對融合后的圖像進行觀察,此處使用了十字低壓汞燈。紫外鏡頭與可見光鏡頭如圖9所示。

圖9 高靈敏紫外鏡頭與可見光鏡頭

5.1 AlexNet網(wǎng)絡(luò)訓(xùn)練結(jié)果分析

表1為AlexNet網(wǎng)絡(luò)模型的結(jié)構(gòu)參數(shù),由表可知該網(wǎng)絡(luò)模型共有24層,除了基本的5層卷積、4層全連接外,另有3層池化、7層ReLu層、2層歸一化層、2層丟棄層、輸入層和輸出層。該模型輸入層有一定要求,像素為227*227的3通道的圖像。本網(wǎng)絡(luò)在此處處理回歸問題,輸出層為回歸層,經(jīng)過4層全連接層后輸出9行1列的空間變換參數(shù)矩陣。

表1 AlexNet網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

圖10為AlexNet網(wǎng)絡(luò)的訓(xùn)練結(jié)果,(a)、(b)分別表示訓(xùn)練樣本的均方根誤差及損失函數(shù)圖像。

圖10 AlexNet模型訓(xùn)練過程

由圖10可知,訓(xùn)練過程中隨著迭代次數(shù)的增加,均方根誤差與損失函數(shù)曲線,均是先經(jīng)過驟降后,逐漸趨于穩(wěn)定,達(dá)到收斂狀態(tài)。測試集曲線變化趨勢,與訓(xùn)練集曲線變化趨勢基本吻合,表明模型未產(chǎn)生欠擬合或過擬合情況,訓(xùn)練效果良好

5.2 主觀評價

圖11分別表示采用AlexNet網(wǎng)絡(luò)-FOA小波融合算法,對不同距離下拍攝的紫外光與可見光圖像的配準(zhǔn)融合效果。通過對比很清楚的觀察出,配準(zhǔn)融合后的圖像很好的實現(xiàn)了空間上的對齊與顯示上的融合。這表明基于AlexNet網(wǎng)絡(luò)-FOA小波融合的紫外與可見光圖像的配準(zhǔn)融合的方法在直觀視覺方面已經(jīng)滿足了預(yù)期的圖像配準(zhǔn)融合要求。

圖11 不同距離下基于AlexNet-FOAWF圖像配準(zhǔn)融合算法仿真結(jié)果

5.3 客觀評價指標(biāo)

5.3.1 疊加精度

在主觀評價部分,已經(jīng)從主觀視覺層面表明了方法的有效性。這里引入了疊加精度作為紫外光與可見光圖像配準(zhǔn)的客觀評價指標(biāo),從客觀數(shù)據(jù)指標(biāo)層面對該方法加以驗證。疊加精度代表紫外成像儀中可見與紫外兩通道對同一發(fā)射光源成像時疊加角度偏差的最大值,單位為 mrad[5],測試系統(tǒng)示意圖如圖12所示。

圖12 疊加精度測試系統(tǒng)

同一視角發(fā)射的混合光源,通過分劃板,分別射出可見光與紫外光進入平行光管。紫外成像儀對雙通道射出的紫外與可見光進行成像。最后通過一定方法獲得生成圖像的中心點。由式(13)求解獲取疊加精度。

(13)

其中dx與dy分別為紫外與可見光圖像的質(zhì)心橫縱坐標(biāo)差;W、H分別為水平、豎直方向的像素數(shù);θw、θH分別為水平、豎直方向上的測量角度。由式(11)分別計算出6m、10m、14m距離下的紫外光與可見光圖像配準(zhǔn)后的疊加精度。將不同距離下的疊加精度整理如表2所示。

表2 配準(zhǔn)后的疊加精度

由式(11)可知,精確定位紫外光與可見光圖像的中心點坐標(biāo)是計算疊加精度的關(guān)鍵。本文利用Matlab自帶ginput函數(shù),標(biāo)識坐標(biāo)區(qū)坐標(biāo)。通過肉眼對圖像質(zhì)心的觀察,選取三個點進行坐標(biāo)識別,最后對三個點的橫縱坐標(biāo)取均值得到圖像最終的質(zhì)心坐標(biāo)?？紤]可見光圖像目標(biāo)信息影響因素較多,手動的的識別方式相對于自動的質(zhì)心識別更加準(zhǔn)確,當(dāng)然在允許范圍內(nèi)也存在一定的誤差。

5.3.2 融合信息熵

為了更好的判定融合的效果與FOA優(yōu)化的優(yōu)點,這里引入融合信息熵作為圖像融合的評價指標(biāo)。假設(shè)融合圖像為F,計算融合信息熵有如下幾個步驟:

1)將融合圖像F轉(zhuǎn)為灰度圖,記錄融合圖像的每個灰度值的像素數(shù),得到對應(yīng)的直方圖統(tǒng)計hf(i)。

2)由式(14)計算融合圖像的灰度直方圖統(tǒng)計概率,得到圖像中每個像素值的出現(xiàn)概率。

(14)

3)由式(15)計算融合圖像的信息熵。

H(F)=-pf(i)*log2pf(i)

(15)

式(14)中的m、n分別表示,融合圖像對應(yīng)得二維像素矩陣得行數(shù)與列數(shù);式(15)中H(F)為計算得到得融合圖像得信息熵,當(dāng)信息熵值越大時,其包含得特征信息越多,保留的圖像細(xì)節(jié)越豐富,圖像得融合效果越好。當(dāng)信息熵值為1時表示完全融合。

在不同距離下拍攝得到得紫外光與可見光,經(jīng)過配準(zhǔn)融合后得到的信息熵的值如表3所示?？梢钥闯鼋?jīng)FOA優(yōu)化后得到的融合圖像的信息熵,明顯高于未優(yōu)化得到的融合圖像。

表3 不同距離下融合圖像信息熵

5.3.3 對比實驗

為了驗證本方法配準(zhǔn)融合的優(yōu)越性,將本文方法與文獻(xiàn)[4]和文獻(xiàn)[5]的方法進行了對比實驗。在相同條件下分別運用三種方法對紫外成像儀在6m、8m、10m、12m、14m距離下得到的紫外光圖像與可見光圖像進行配準(zhǔn)融合操作,對比結(jié)果如表4所示。

表4 對比實驗結(jié)果

從表4中可以看出,相同條件下進行圖像配準(zhǔn)融合,本文所提方法無論在疊加精度還是融合信息熵方面均明顯優(yōu)于文獻(xiàn)[4]與文獻(xiàn)[5]中的方法。因此運用本文方法進行配準(zhǔn)融合優(yōu)勢明顯。

6 結(jié)論

針對高靈敏紫外成像儀中紫外光與可見光特征匹配困難,配準(zhǔn)精度和融合效果不佳的問題,提出了一種基于AlexNet網(wǎng)絡(luò)與FOA-小波融合的圖像配準(zhǔn)融合方法,得出如下結(jié)論:

1) 結(jié)合AlexNet網(wǎng)絡(luò)和空間變換矩陣對紫外圖像和可見光圖像進行配準(zhǔn),該方法收斂速度快,匹配精度高,配準(zhǔn)弧度小于0.5mrad,滿足工業(yè)要求。

2) 利用FOA優(yōu)化二維小波,實現(xiàn)可見光圖像與紫外光圖像融合。相比傳統(tǒng)的小波融合算法,無需人工設(shè)定閾值。融合后的圖像具有較高的信息熵。

通過本文方法,能夠高效地實現(xiàn)高靈敏紫外成像儀可見光圖像與紫外光圖像的配準(zhǔn)與融合,為實時精確地定位電力設(shè)備的放電位置打下基礎(chǔ),該方法具有較好的應(yīng)用前景。