盧 泉,楊振華,黃粒峰
(廣西大學 電氣工程學院,廣西 南寧 530004)
紅外熱像儀在變電設備的熱故障監(jiān)測具有廣泛的應用,但單幀紅外圖像普遍存在視場窄、分辨率低等缺點,難以準確、及時地獲取變電設備的整體狀態(tài)[1]。通過圖像拼接可將若干存在重疊區(qū)域的圖像拼接成一幅無縫、無重影的寬視場圖像,有助于監(jiān)測變電設備整體的狀態(tài),提高巡檢效率。但傳統(tǒng)最佳縫合線或漸入漸出融合法進行融合時,往往會導致重疊區(qū)域存在明顯的拼接痕跡或重影現(xiàn)象。因此研究一種適用于變電設備的紅外圖像拼接方法具有十分重要的意義。
針對成像場景不同而導致紅外圖像間存在亮度差異問題,文獻[2]等提出了一種改進的紅外圖像拼接算法,該算法采用平臺直方圖均衡化提高紅外圖像對比度,解決了因圖像亮度差異而導致的拼接痕跡,但該算法對變電站復雜場景的適應性并不強。而文獻[3]通過在感興趣區(qū)域中提取SIFT 特征點并結合KLT(Kanade-Lucas-Tomasi)跟蹤算法確定特征點的位置信息并進行匹配,采用漸入漸出融合算法消除拼接痕跡,使得配準率提高了3.491%。文獻[4]引入圖像梯度信息,利用像素亮度差計算重疊區(qū)域的邊權值,并采用圖切割法尋求最佳縫合線,最后利用漸入漸出方法融合過渡,對于序列遙感圖像的拼接取得了較好效果,但對于變電站紅外圖像拼接存在鬼影現(xiàn)象。文獻[5]為解決圖像融合中運動物體與縫合線過于靠近而造成鬼影的問題,引入顏色飽和度S改進能量函數(shù),并在最佳縫合線搜索準則中加入局部信息權重來提高搜索靈活度,一定程度上消除了因運動物體靠近縫合線而產生的鬼影,但對于噪聲嚴重的變電站紅外圖像拼接存在一定的局限性。
上述研究成果為變電站紅外圖像拼接提供較好的參考思路,但由于成像環(huán)境復雜、紅外圖像噪聲干擾大,導致部分圖像拼接出現(xiàn)明顯的拼接痕跡或重影現(xiàn)象。因此,本文提出一種改進最佳縫合線的紅外圖像拼接方法,該方法在拼接區(qū)域上引入局部權重系數(shù),并對圖像顏色差異強度進行形態(tài)學操作抑制噪聲干擾,并通過動態(tài)規(guī)劃改進縫合線搜索準則,搜索出最佳縫合線。
為改善因成像環(huán)境復雜而造成配準效果不佳的問題,本文首先使用SIFT 算法對圖像進行配準,從而實現(xiàn)圖像的一次拼接[6],然后再采用最佳縫合線算法進行圖像融合[7]。
最佳縫合線的目的是使得拼接線從兩幅圖像重疊區(qū)域中差異最小的位置穿過,以盡可能地減少圖像的偏差而帶來拼接痕跡。其求解準則E(x,y)為:
式中:Ec(x,y)為圖像顏色差異強度值;Egeometry(x,y)為圖像結構差異強度值。Ec(x,y)表達式為:
式中:Igray1(x,y)和Igray2(x,y)分別表示兩幅待拼接圖像I1和I2對應的灰度圖。
而Egeometry(x,y)表達式為:
式中:Diff 為計算I1和I2兩幅圖像在x和y方向梯度差的乘積因子。
紅外圖像相較于可見光圖像而言,其邊界模糊,信噪比低,采用式(1)求解準則所得到的能量函數(shù)圖存在較多噪聲,圖像的邊緣信息模糊,如圖1(a)所示,搜索到的最佳縫合線往往不是從能量差異值最小的位置穿過,容易導致拼接重疊區(qū)域存在明顯拼縫或重影。
因此,對能量函數(shù)改進,在式(1)中引入權重系數(shù)ωxy,并對圖像顏色差異強度值Ecolor(x,y)的求解進行改進,求解準則Ea(x,y)定義為:
式中:Ecolor(x,y)為改進后的圖像顏色差異強度值;而Egeometry(x,y)通過式(3)求解;ωxy為I1和I2重疊區(qū)域上點(x,y)處加權值。
式中:k為差異圖像加權系數(shù);δxy為I1和I2重疊區(qū)域上點(x,y)處的差異值,δM=max(δxy)。δxy定義為:
引入形態(tài)學操作對Ecolor(x,y)的求解進行改進,采用灰度差圖像的絕對值來近似計算,則:
式中:I12為灰度差圖像;Ibin為二值圖像;Wcolor為權重系數(shù)。
灰度差圖像I12通過式(8)求解:
二值圖像Ibin根據(jù)式(9)求解:
式中:Imageavg為灰度差圖像I12重疊區(qū)域內(x,y)像素的平均值。
圖1(a)和圖1(b)分別為改進前與本文改進后的能量函數(shù)圖。通過對比可以發(fā)現(xiàn),圖1(a)噪聲較多,紋理不清晰;圖1(b)圖像中大量噪聲已經(jīng)被濾除,同時也保留了圖像重要的紋理信息,圖像目標邊緣和結構信息更清晰,更能突顯紅外圖像的顏色差異與結構差異。
圖1 能量函數(shù)圖Fig.1 Energy function diagram
傳統(tǒng)的最佳縫合線搜索路徑時,僅搜索所在位置下一行中的3 個緊鄰點,最大僅能向下方45°方向擴展,搜索路徑上存在一定限制。因此,本文對搜索方法進行改進,由原來只搜索3 個緊鄰點擴展至搜索下一行中9 個緊鄰點,改進的搜索流程圖,如圖2所示。
圖2 基于動態(tài)規(guī)劃搜索準則的改進搜索流程圖Fig.2 Improved search flow chart is based on dynamic programming search criteria
①設兩幅待拼接圖像I1和I2的重疊區(qū)域列數(shù)為m,把圖像重疊區(qū)域中第一行的每個像素點作為縫合線的初始點,即m列對應m條縫合線;
②搜索縫合線的擴展點。選擇每條縫合線當前點(x,k)下一行的9 個緊鄰點作為備選擴展點,當前點與備選擴展點之間路徑的能量值計算公式為:
式中:Esum(x,y)表示第x行中的第y列到第k列之間所有點的能量值之和。EN(x,i)為點(x,i)的能量值。
將每個備選擴展點的能量值與式(10)計算路徑的能量值Esum(x,y)相加,得到備選擴展點總的能量值。進而一一比較每個備選擴展點總的能量值,選擇最小值Es(x+1,y)的備選擴展點作為縫合線的擴展點。Es(x+1,y)的計算式為:
式中:k為縫合線擴展當前點(x,k)前所在的列,x+1、y為當前點在下一行備選擴展點的行、列。確定新擴展點后,更新得到縫合線擴展后的能量值S(x+1,y),即:
式中:S(x,k)表示縫合線擴展前的能量值。
③完成當前行后繼續(xù)返回步驟②擴展下一行的點,直至擴展至圖像最后一行,跳轉到步驟④;
④經(jīng)過前面3 個步驟,得到m條縫合線。從m條縫合線中,將能量值最小的縫合線選定為最佳縫合線。
改進最佳縫合線的紅外圖像拼接算法流程圖,如圖3所示。
圖3 改進最佳縫合線的紅外圖像拼接方法流程Fig.3 Improved infrared image Mosaic algorithm flow of the best seam-line
先采用SIFT 算法提取圖像區(qū)域特征,實現(xiàn)圖像配準;然后在重合區(qū)域上引入局部權重系數(shù)對圖像顏色差異強度進行形態(tài)學操作,抑制噪聲干擾進而改善能量函數(shù)圖的紋理信息;最后通過動態(tài)規(guī)劃改進縫合線搜索準則,搜索出最佳縫合線,進而完成圖像拼接。
為了驗證算法的有效性,將本文方法與漸入漸出法、ORB 算法、基于顏色校正的全景圖像拼接方法[8]、傳統(tǒng)最佳縫合線法進行對比實驗,實驗平臺為PyCharm2019+Python3.6。
2.1.1 絕緣子紅外圖像拼接
使用紅外熱像儀采集絕緣子圖像,分辨率為384×288。絕緣子圖像如圖4所示。
圖4 絕緣子圖像Fig.4 Two insulator images
對圖4 的紅外圖像進行初步拼接,然后由最佳縫合線求解準則得到能量函數(shù)圖,再通過動態(tài)規(guī)劃方法搜索到縫合線,如圖5所示。
由圖5(a)和圖5(b)可知,改進前能量函數(shù)圖的噪聲嚴重,縫合線受噪聲干擾較大,改進后能量函數(shù)圖的噪聲得到了明顯抑制,使得圖像重疊區(qū)域的結構和邊緣更清晰,縫合線很好地沿著能量最低的區(qū)域經(jīng)過,避免拼接圖像出現(xiàn)局部錯位。
圖5 絕緣子圖像的能量函數(shù)圖Fig.5 Energy function diagram of insulator image
不同算法的拼接效果如圖6所示。由圖得知,通過漸入漸出法拼接后的圖像,在電纜處出現(xiàn)明顯重影。采用ORB 算法拼接的圖像,在絕緣子頂部的電纜接頭處存在噪聲斑點?;陬伾U娜皥D像拼接方法得到的圖像,雖然噪聲斑點較少,但是在電纜處存在明顯的重疊和錯位現(xiàn)象。采用傳統(tǒng)最佳縫合線法拼接的圖像同樣存在錯位現(xiàn)象。
圖6 絕緣子圖像拼接效果Fig.6 Insulator image stitching effect
相對于以上算法的拼接結果,采用本文改進最佳縫合線法拼接的圖像,圖像中局部放大區(qū)域未出現(xiàn)重影,融合的過渡區(qū)域無錯位現(xiàn)象,細節(jié)更加清晰。這有助于后續(xù)獲取變電設備的細節(jié)信息,從而更加高效地監(jiān)測電氣設備的整體狀態(tài)。
2.1.2 變壓器紅外圖像拼接
使用紅外熱像儀采集的變壓器圖像如圖7所示。
圖7 變壓器圖像Fig.7 Transformer image
對圖7 的紅外圖像進行初步拼接,然后由最佳縫合線求解準則得到能量函數(shù)圖,再通過動態(tài)規(guī)劃方法搜索找到縫合線,如圖8所示。
圖8 變壓器圖像的能量函數(shù)圖Fig.8 Energy function diagrams of the transformer images
通過圖8(a)和圖8(b)對比可知,改進前能量函數(shù)圖的噪聲嚴重,縫合線受噪聲干擾較大;改進后能量函數(shù)圖去除了大部分干擾信息,圖像重疊區(qū)域的結構和邊緣更清晰,使得縫合線能很好地沿著能量最低的區(qū)域經(jīng)過,能有效避免拼接圖像局部出現(xiàn)變形錯位。
不同算法的拼接效果如圖9所示。由圖得知,采用漸入漸出法拼接后的圖像,雖然沒有明顯的拼接縫隙,但在圖像重疊區(qū)域邊緣出現(xiàn)了重影現(xiàn)象?;贠RB 算法的拼接圖像同樣出現(xiàn)重影現(xiàn)象?;陬伾U娜皥D像拼接方法拼接后的圖像,由于圖像配準存在偏差,導致圖像出現(xiàn)錯位現(xiàn)象。傳統(tǒng)最佳縫合線法拼接后的圖像,雖然沒有明顯的重影現(xiàn)象,但在融合區(qū)域存在拼接痕跡。
圖9 變壓器圖像拼接效果Fig.9 Transformer image stitching effect
本文改進最佳縫合線法拼接后的圖像,由于最大限度地避免縫合線穿過兩幅圖像差異較大的區(qū)域,相對以上算法的拼接結果,均未出現(xiàn)重影和錯位現(xiàn)象,整體視覺效果更好。
為評價改進算法的效果,反映紅外圖像的細節(jié)信息,選取了文獻[9]所用的平均梯度AG、圖像清晰度FD和圖像邊緣強度EI指標衡量改進算法的圖像拼接效果。
平均梯度AG表示圖像平滑程度,反映圖像細節(jié)反差能力,其數(shù)值越高,表示圖像信息更豐富,圖像細節(jié)保留更好,拼接效果過渡更自然。計算式為:
式中:M×N為圖像的尺寸;?f/?x表示圖像在水平方向的梯度,而?f/?y表示圖像在垂直方向的梯度。
圖像清晰度FD反映細節(jié)紋理信息,數(shù)值越高,表示圖像的清晰程度越好,細節(jié)保留得越好。圖像邊緣強度EI則反映圖像的邊緣信息,其數(shù)值越高,表示圖像邊緣越清晰。
表1 給出了平均梯度AG、圖像清晰度FD和圖像邊緣強度EI的評價結果,從表中的數(shù)據(jù)可以看出:在絕緣子和變壓器圖像拼接實驗中,采用本文改進的最佳縫合線方法與漸入漸出法、ORB 算法、基于顏色校正的全景圖像拼接方法和傳統(tǒng)最佳縫合線方法相比,平均梯度AG的均值分別提高了2.74%、14.84%、8.54%和1.18%,這表明圖像的信息更豐富,圖像細節(jié)保留更好。圖像清晰度FD的均值分別提高了3.27%、21.03%、8.75%和1.5%,即改進算法的拼接圖像效果清晰度更好。邊緣強度EI的均值分別提高了2.40%、5.7%、0.93%和1.05%,這表明改進算法在紅外圖像拼接中,圖像邊緣清晰度更好。
表1 拼接效果性能評價指標Table 1 Performance evaluation of image fusion algorithms
本文針對變電站場景的紅外圖像,提出了一種改進最佳縫合線的紅外圖像拼接方法。利用改進的算法進行圖像拼接后,圖像融合區(qū)域過渡更平滑,拼接痕跡明顯減少,且拼接后的圖像在平均梯度、圖像清晰度和圖像邊緣強度均有所提高,有效地避免了結果圖像出現(xiàn)明顯拼接痕跡等問題,有助于后續(xù)獲取變電設備整體的準確狀態(tài),對提高巡檢效率具有重要意義。