林 穎，劉 萌，白德盟，劉曉東，張利孟，叢培強(qiáng)

（1.國網(wǎng)山東省電力公司電力科學(xué)研究院，山東 濟(jì)南 250003；2.國網(wǎng)山東省電力公司日照供電公司，山東 日照 276800；3.國網(wǎng)威海市文登區(qū)供電公司，山東 威海 264400）

0 引言

紅外檢測(cè)技術(shù)作為一種常見的帶電檢測(cè)手段，可以有效發(fā)現(xiàn)設(shè)備內(nèi)部的缺陷問題，及時(shí)對(duì)缺陷進(jìn)行處置［1］。近年來，隨著人工智能技術(shù)的飛速發(fā)展，基于人工智能圖像處理技術(shù)的紅外圖像缺陷分析，在電力系統(tǒng)中的應(yīng)用越來越多［2］。

當(dāng)前的大多數(shù)紅外熱像儀可同時(shí)采集紅外圖像與可見光圖像。紅外圖像記錄的是物體的輻射信息，能夠直接反映變電設(shè)備及環(huán)境的溫度，便于發(fā)現(xiàn)因電流致熱等導(dǎo)致的過熱缺陷。但紅外圖像是基于溫度信息顯示的，當(dāng)設(shè)備部件具有相近溫度時(shí)，難以與前景區(qū)分。與之相反，可見光圖像記錄的是物體的反射信息，能夠清晰地呈現(xiàn)設(shè)備的外觀及輪廓，便于定位設(shè)備部件或發(fā)現(xiàn)可視缺陷。因此，將紅外圖像與可見光圖像進(jìn)行融合分析，可以有效利用兩種模態(tài)的優(yōu)點(diǎn)，從而提高設(shè)備定位的精度和缺陷診斷的準(zhǔn)確度。

然而，由于紅外鏡頭與可見光鏡頭所在位置不同，并且兩者的焦距、圖像分辨率及畸變參數(shù)等不同時(shí)，同一紅外熱像儀采集的兩種模態(tài)圖像之間存在偏移、縮放等形變問題。將紅外圖像與可見光圖像進(jìn)行融合分析，首先需要對(duì)兩種模態(tài)的圖像進(jìn)行準(zhǔn)確配準(zhǔn)。

現(xiàn)有的紅外圖像與可見光圖像配準(zhǔn)的方法大致可分為兩大類：基于全局信息的方法和基于局部特征的方法［3-8］?；谌中畔⒌姆椒òɑバ畔⒎?、變換域分析法和梯度圖像相關(guān)法等［3，8］，利用優(yōu)化全局目標(biāo)函數(shù)進(jìn)行配準(zhǔn)，其算法復(fù)雜度高。因此在實(shí)際使用中，該類方法常采用金字塔模型來提升速度?；诰植刻卣鞯姆椒ɡ孟∈璧奶卣魅琰c(diǎn)、線特征等進(jìn)行配準(zhǔn)［8-10］。該類方法通常包含特征提取、特征匹配、和變換參數(shù)估計(jì)等步驟，算法的計(jì)算復(fù)雜度相對(duì)較低。在現(xiàn)有方法中，局部特征最常使用的是SIFT、SURF 等人工設(shè)計(jì)的點(diǎn)特征［11-12］，這些特征雖然具有較好的尺度與旋轉(zhuǎn)不變性，對(duì)單模態(tài)圖像中的視角變化等亦具有一定的魯棒性，但對(duì)紅外圖像與可見光圖像等不同模態(tài)的變化，往往不夠魯棒。此外，在特征匹配中，通常采用最好優(yōu)先（Best Bin First，BBF）策略等，這些策略在匹配時(shí)孤立地處理每個(gè)特征點(diǎn)，而忽視了鄰近特征點(diǎn)的上下文信息，亦容易導(dǎo)致匹配錯(cuò)誤。

針對(duì)上述問題，提出采用基于局部特征的方法進(jìn)行紅外圖像與可見光圖像的配準(zhǔn)。針對(duì)人工設(shè)計(jì)的特征對(duì)模態(tài)變化缺乏魯棒性的問題，提出采用基于深度自監(jiān)督學(xué)習(xí)的SuperPoint 點(diǎn)特征提取與描述方法［13］；同時(shí)，采用基于深度圖卷積網(wǎng)絡(luò)的SuperGlue 匹配方法［14］，有效利用特征點(diǎn)的上下文信息，提高特征匹配的準(zhǔn)確度。此外，在參數(shù)估計(jì)中，采用漸近采樣一致性的PROSAC 方法［15］，相較于現(xiàn)有配準(zhǔn)工作中使用的隨機(jī)采樣一致性方法RANSAC［16］，提升了參數(shù)估計(jì)的準(zhǔn)確度。實(shí)驗(yàn)結(jié)果表明，對(duì)比現(xiàn)有的稀疏特征點(diǎn)提取與匹配算法，本文所設(shè)計(jì)方法對(duì)紅外與可見光兩種不同模態(tài)圖像的配準(zhǔn)，具有更好的魯棒性。

1 紅外圖像與可見光圖像配準(zhǔn)算法

紅外圖像與可見光圖像的配準(zhǔn)方法涉及圖像特征提取與描述、圖像特征匹配、圖像參數(shù)估計(jì)3 個(gè)關(guān)鍵步驟，整體流程如圖1所示，主要包括以下步驟：

圖1 紅外-可見光圖像配準(zhǔn)流程

1）利用深度自監(jiān)督學(xué)習(xí)的SuperPoint方法，對(duì)紅外與可見光圖像進(jìn)行稀疏特征點(diǎn)提取，并對(duì)特征點(diǎn)進(jìn)行描述；

2）利用深度圖卷積網(wǎng)絡(luò)的SuperGlue 方法對(duì)紅外與可見光圖像中的稀疏特征點(diǎn)進(jìn)行匹配；

3）根據(jù)匹配的特征點(diǎn)對(duì)在兩幅圖像中的像素坐標(biāo)，利用漸近采樣一致性PROSAC 算法估計(jì)紅外圖像到可見光圖像的變換參數(shù)；

4）根據(jù)變換參數(shù)，將紅外圖像的坐標(biāo)變換到可見光圖像坐標(biāo)系下，實(shí)現(xiàn)配準(zhǔn)。

1.1 SuperPoint特征提取與描述

鑒于人工設(shè)計(jì)的點(diǎn)特征提取與描述方法如SIFT、SURF 等對(duì)模態(tài)的變化缺乏魯棒性，采用基于深度學(xué)習(xí)的SuperPoint 方法對(duì)紅外圖像與可見光圖像兩種不同模態(tài)圖像進(jìn)行特征點(diǎn)提取與描述。

SuperPoint 是由DeTone 等人在2018 年提出的一種基于自監(jiān)督學(xué)習(xí)的深度特征點(diǎn)提取與描述方法［13］。其網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，由一個(gè)編碼器和兩個(gè)解碼器構(gòu)成。編碼器是一個(gè)類似VGGNet［15］的卷積網(wǎng)絡(luò)，包含多個(gè)卷積層和池化層，用于對(duì)尺寸為W×H的輸入圖像進(jìn)行編碼。兩個(gè)解碼器則分別用于特征點(diǎn)提取和特征點(diǎn)描述。其中，特征點(diǎn)提取解碼器由卷積層、Softmax 層和Reshape 層構(gòu)成，輸出一張W×H× 1的圖像，其中每個(gè)像素的值表示該像素是特征點(diǎn)的概率。特征描述解碼器由卷積層、雙線性插值層和L2 模歸一化層構(gòu)成，最后輸出一張W×H×D的特征圖，其中每個(gè)像素對(duì)應(yīng)一個(gè)D維的特征向量。

圖2 SuperPoint特征提取與描述網(wǎng)絡(luò)

由于特征點(diǎn)的真值難以進(jìn)行人工標(biāo)注，該方法設(shè)計(jì)了一種不需要真值的自監(jiān)督學(xué)習(xí)策略。首先，構(gòu)建一個(gè)包含三角形、四邊形、立方體、和棋盤格等簡(jiǎn)單形狀的合成圖像集，這些圖像具有明確的角點(diǎn)信息。然后，對(duì)圖像隨機(jī)進(jìn)行多種單應(yīng)變換并加噪處理。由于這些單應(yīng)變換是仿真生成的，所以變換后圖像中的特征點(diǎn)位置可以準(zhǔn)確獲得。最后，利用各種仿真圖像及其角點(diǎn)信息，對(duì)特征提取網(wǎng)絡(luò)進(jìn)行監(jiān)督，學(xué)習(xí)得到MagicPoint 網(wǎng)絡(luò)［17］。然后用該MagicPoint 對(duì)真實(shí)的圖像進(jìn)行標(biāo)記，進(jìn)一步訓(xùn)練得到SuperPoint網(wǎng)絡(luò)。

1.2 SuperGlue特征匹配

鑒于現(xiàn)有的特征匹配方法多是對(duì)每個(gè)特征點(diǎn)獨(dú)立匹配因此易導(dǎo)致錯(cuò)誤的問題，受Transformer 的自圖像以及跨圖像間注意力機(jī)制的啟發(fā)［18］，本項(xiàng)目采用基于深度圖神經(jīng)網(wǎng)絡(luò)的SuperGlue 方法，利用特征點(diǎn)之間的空間幾何關(guān)系，提升特征匹配的準(zhǔn)確度。

SuperGlue是由Sarlin 與DeTone等人在2020 年提出的一種基于深度圖神經(jīng)網(wǎng)絡(luò)的特征點(diǎn)匹配方法［14］。其網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示，主要由注意力圖卷積網(wǎng)絡(luò)和優(yōu)化匹配層兩個(gè)模塊構(gòu)成。其中，注意力圖卷積網(wǎng)絡(luò)的輸入為圖像A和圖像B中的特征點(diǎn)位置與描述向量的集合，輸出空間信息聚合后的特征描述符。優(yōu)化匹配層的輸入為注意力圖卷積網(wǎng)絡(luò)輸出的特征描述符，輸出匹配結(jié)果。

圖3 SuperGlue特征匹配網(wǎng)絡(luò)

在此，我們對(duì)兩個(gè)模塊進(jìn)行簡(jiǎn)要介紹。假設(shè)圖像A和圖像B的特征點(diǎn)總數(shù)分別為M和N。圖像A中的特征點(diǎn)位置和描述向量記為：{，i=1，2，…，M}和{，i=1，2，…，M}；圖像B中的特征點(diǎn)位置和描述向量記為：{，i=1，2，…，N}和{，i=1，2，…，N}。

在注意力圖卷積網(wǎng)絡(luò)中，首先將特征點(diǎn)的位置經(jīng)過一個(gè)由多層感知器（Multilayer Perceptron，MLP）構(gòu)成的特征點(diǎn)編碼器進(jìn)行升維，得到高維向量后與特征描述符向量進(jìn)行相加，得到每個(gè)特征點(diǎn)的初始表示。即：

然后，構(gòu)建一個(gè)多元圖。該圖的頂點(diǎn)為兩幅圖像中的所有特征點(diǎn)，邊則包含圖像內(nèi)邊和跨圖像邊兩類。其中，圖像內(nèi)邊連接的是單幅圖像內(nèi)的特征點(diǎn)對(duì)，而跨圖像邊則連接來源于兩幅圖像的特征點(diǎn)對(duì)。構(gòu)建圖后，利用消息傳遞機(jī)制對(duì)圖中所有頂點(diǎn)的特征進(jìn)行消息匯聚與更新。其更新方式為

式中：[ ·||· ]表示聯(lián)結(jié)；mε→i為通過自注意力機(jī)制從圖中所有其他節(jié)點(diǎn)傳遞到節(jié)點(diǎn)i的信息。通過信息聚合更新后，得到每個(gè)特征點(diǎn)的描述向量為

由此，每個(gè)特征向量匯聚了其所在圖像內(nèi)所有特征點(diǎn)和另一圖像中所有特征點(diǎn)的空間和描述信息。

優(yōu)化匹配層根據(jù)更新后的特征，計(jì)算一個(gè)M×N的相似度矩陣S，矩陣中的每個(gè)單元(i，j)表示的是圖像A中的特征和圖像B中的特征的相似度，即：

由于遮擋或視野范圍不同等原因，一幅圖像中的特征點(diǎn)在另一幅圖像中可能不存在匹配的特征點(diǎn)。為此，將矩陣S擴(kuò)展為(M+1)×(N+1)的矩陣，其中新增的一行與一列用來描述特征點(diǎn)不存在匹配的情況，即：

隨即，特征點(diǎn)匹配的問題轉(zhuǎn)化為了一個(gè)最優(yōu)運(yùn)輸?shù)膯栴}，可利用Sinkhorn 算法進(jìn)行求解。由于Sinkhorn 算法具有可導(dǎo)性，因此可以用一個(gè)網(wǎng)絡(luò)層實(shí)現(xiàn)。

1.3 PROSAC變換參數(shù)估計(jì)

在得到紅外圖像與可見光圖像中匹配的特征點(diǎn)對(duì)后，可根據(jù)特征點(diǎn)對(duì)所在的像素坐標(biāo)，估算圖像間的變換參數(shù)。由于紅外鏡頭和可見光鏡頭之間的偏移相對(duì)拍攝的物體距離來說很小，因此可近似為共光心，利用單應(yīng)性變換矩陣H，將紅外圖像變換到可見光圖像的坐標(biāo)系下。在齊次坐標(biāo)系下，兩幅圖像中的像素坐標(biāo)變換可表示為以下關(guān)系：

其中，單應(yīng)性變換矩陣H中的h33=1。所以，變換矩陣的參數(shù)自由度為8，可利用四對(duì)或以上的特征點(diǎn)對(duì)進(jìn)行估計(jì)。

由于存在匹配噪聲甚至錯(cuò)誤匹配的外點(diǎn)，因此常用最小二乘法或RANSAC 方法［18］等進(jìn)行參數(shù)估計(jì)。然而，在RANSAC 中，每對(duì)特征點(diǎn)對(duì)同等對(duì)待，并且從整個(gè)特征點(diǎn)對(duì)的集合中隨機(jī)選取樣本，存在估算結(jié)果的隨機(jī)性且收斂速度偏慢等問題。為此，本文采用PROSAC［15］算法進(jìn)行變換參數(shù)的估計(jì)。

PROSAC 算法設(shè)計(jì)了一種半隨機(jī)的方法，對(duì)所有匹配點(diǎn)對(duì)進(jìn)行質(zhì)量評(píng)價(jià)計(jì)算得到Q值，然后根據(jù)Q值降序排列，每次迭代優(yōu)先在高質(zhì)量點(diǎn)對(duì)中進(jìn)行隨機(jī)采樣，進(jìn)行模型假設(shè)與驗(yàn)證，從而降低算法復(fù)雜度，提升效率，并且避免了RANSAC 隨機(jī)算法面臨的無法保證收斂的情況。PROSAC 算法的步驟可分為以下幾步：

1）利用半隨機(jī)采樣的方法，選擇樣本集；

2）根據(jù)選取的樣本，計(jì)算變換矩陣H；

3）根據(jù)估算的變換矩陣H選擇內(nèi)點(diǎn)集；

4）判斷收斂條件是否滿足，若未滿足，重復(fù)上述步驟；否則，返回估算結(jié)果。

2 實(shí)驗(yàn)分析

在自行采集的變電設(shè)備紅外圖像與可見光圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證。首先，對(duì)本文采用的SuperPoint 特征點(diǎn)提取與描述方法與傳統(tǒng)的SIFT 算法進(jìn)行比較。然后，對(duì)本文采用的SuperGlue 特征匹配算法與傳統(tǒng)的BBF 方法進(jìn)行比較。最后，比較了使用最小二乘、RANSAC 和PROSAC 算法的參數(shù)估計(jì)結(jié)果。

2.1 特征點(diǎn)提取方法比較

首先，對(duì)本文采用的SuperPoint特征點(diǎn)提取方法和傳統(tǒng)的SIFT算法在紅外圖像與可見光圖像上的結(jié)果進(jìn)行比較。如圖4 所示，與SIFT 特征點(diǎn)相比，SuperPoint 提取的特征更多地分布在物體邊緣或角點(diǎn)位置，具有更好的模態(tài)不變性。也因此在紅外與可見光兩種不同模態(tài)的圖像中能夠得到更多可匹配的特征點(diǎn)對(duì)。

圖4 特征點(diǎn)提取算法比較

2.2 特征匹配方法比較

在SuperPoint 特征點(diǎn)提取的基礎(chǔ)上，對(duì)所采用的SuperGlue 特征匹配算法與傳統(tǒng)的BBF 算法進(jìn)行比較。圖5 展示了兩種算法的匹配結(jié)果。從圖中可以看到，SuperGlue 算法能夠得到更多匹配的特征點(diǎn)對(duì)，匹配結(jié)果的準(zhǔn)確性也更高。

圖5 不同的特征匹配算法比較

2.3 參數(shù)估計(jì)方法比較

利用SuperPoint 特征點(diǎn)提取及SuperGlue 特征匹配得到的結(jié)果，采用PROSAC 方法對(duì)單應(yīng)性矩陣的參數(shù)進(jìn)行估計(jì)，后將紅外圖像轉(zhuǎn)換到可見光圖像坐標(biāo)系下，并疊加在可見光圖像上，得到如圖6 所示的配準(zhǔn)結(jié)果。為了展示PROSAC 方法的有效性，將其與最小二乘估計(jì)、最小中值估計(jì)及RANSAC 方法估計(jì)變換參數(shù)得到的配準(zhǔn)結(jié)果進(jìn)行比較。如圖6 所示，PROSAC的方法較之其他方法，配準(zhǔn)結(jié)果更加準(zhǔn)確。

圖6 不同的參數(shù)估計(jì)方法比較

2.4 更多結(jié)果展示

圖7—圖8 展示了更多的紅外-可見光圖像的特征點(diǎn)提取、匹配和圖像配準(zhǔn)的結(jié)果。從圖中可以看到，對(duì)于不同角度拍攝的不同變電設(shè)備場(chǎng)景的圖像，所采用的方法均能得到不錯(cuò)的特征點(diǎn)提取和特征匹配結(jié)果，并得到準(zhǔn)確的圖像配準(zhǔn)結(jié)果。

圖7 變電設(shè)備紅外與可見光圖像配準(zhǔn)示例

圖8 變電設(shè)備紅外與可見光圖像配準(zhǔn)示例

3 結(jié)語

提出一種新的紅外圖像與可見光圖像配準(zhǔn)的方法，鑒于紅外與可見光兩種模態(tài)的差異性，采用基于深度自監(jiān)督的SuperPoint 特征點(diǎn)提取與基于深度圖卷積網(wǎng)絡(luò)的SuperGlue 特征匹配方法，具有較好的模態(tài)魯棒性。采用的漸近采樣一致性PROSAC 方法亦得到了更準(zhǔn)確的參數(shù)估計(jì)結(jié)果。

實(shí)驗(yàn)結(jié)果表明，所提方法相對(duì)于傳統(tǒng)的方法，具有更好的性能。并且，對(duì)于所給樣例中絕大多數(shù)不同角度拍攝的不同變電設(shè)備的圖像，均能得到準(zhǔn)確的配準(zhǔn)結(jié)果。融合的圖像中，既清晰地呈現(xiàn)了設(shè)備的外觀形狀，又體現(xiàn)了其溫度信息，可用于在保證設(shè)備定位的精度的前提下，提升缺陷診斷的準(zhǔn)確度。

本文工作的局限性為，所有基于深度學(xué)習(xí)的模塊的訓(xùn)練是基于海量可見光圖像對(duì)的，訓(xùn)練得到的模型具有足夠的泛化性以及對(duì)切換到紅外模態(tài)的魯棒性使得我們得到了尚可的配準(zhǔn)結(jié)果。但如果使用更具有針對(duì)性的基于紅外圖像和可見光圖像對(duì)的訓(xùn)練數(shù)據(jù)集，使用相對(duì)較小規(guī)模的訓(xùn)練集就有望得到更好的結(jié)果。而這類數(shù)據(jù)集目前仍待進(jìn)一步補(bǔ)充，同時(shí)在該類數(shù)據(jù)集上進(jìn)行訓(xùn)練的方法仍待進(jìn)一步研究。