蘇冰山 陳繼光 陳雨

摘要：本文提出一種新的紅外圖像超分辨率算法。算法將一種改進(jìn)型的二階總廣義變分模型與紅外圖像的高頻估計結(jié)合起來：首先根據(jù)相位一致算法提取可見光圖像和紅外圖像的邊緣;然后將提取的圖像邊緣按照相關(guān)邊緣和非相關(guān)邊緣分類;分類后依據(jù)可見光圖像與紅外圖像的二次仿射變換關(guān)系模型，得出相關(guān)邊緣紅外圖像的高頻估計;最后將高頻估計圖像與改進(jìn)的二階總廣義變分模型結(jié)合起來，得到新的正則化模型，由此模型重建高分辨率紅外圖像。實(shí)驗(yàn)結(jié)果證明本文算法優(yōu)于其他算法。

關(guān)鍵詞：紅外圖像超分辨;總廣義變分（TGV）;正則化;多傳感器;高頻估計

中圖分類號：TP391? ? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2019）22-0193-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

紅外圖像反應(yīng)場景的輻射情況，對外界光照條件沒有要求，成像條件是全天候的，紅外圖像在軍事偵察、醫(yī)療衛(wèi)生和安防監(jiān)控等領(lǐng)域應(yīng)用廣泛。然而由于紅外圖像的成像原理和硬件技術(shù)水平的限制，可獲得的紅外圖像的邊緣不夠清晰、分辨率較低并且存在噪聲。

為了解決紅外圖像分辨率低的問題，文獻(xiàn)[1]通過最小角度回歸算法和基于稀疏表示的超分辨率方法重建紅外圖像;文獻(xiàn)[2]借助孔徑編碼器和稀疏表示完成對紅外圖像的超分辨重建;文獻(xiàn)[3]通過劃分區(qū)域求得自適應(yīng)全變分因子合成高分辨率紅外圖像。以上方法均是利用同一種傳感器獲得的圖像進(jìn)行紅外圖像的超分辨率重建，由于紅外圖像自身的局限性如邊緣模糊，存在噪聲等特點(diǎn)導(dǎo)致獲得的高分辨率紅外圖像質(zhì)量不高

可見光成像設(shè)備技術(shù)成熟且價格相對低廉，可以方便地拍攝高分辨率可見光圖像，同時，直接拍攝的高分辨率可見光圖像邊緣細(xì)節(jié)清晰，可以有效彌補(bǔ)紅外圖像的不足。文獻(xiàn)[4]利用非局部均值濾波正則化和最小二乘法結(jié)合實(shí)現(xiàn)多傳感器深度圖像的超分辨率重建，該方法即為基于多傳感器的方法。本文首先根據(jù)相位一致算法提取可見光圖像和紅外圖像的邊緣;將提取的圖像邊緣按照相關(guān)和非相關(guān)邊緣分類;依據(jù)可見光圖像與紅外圖像的二次仿射變換關(guān)系模型，得出相關(guān)邊緣紅外圖像塊的高頻估計，與一階梯度銳化算子改進(jìn)的總廣義變分模型結(jié)合起來，得到新的正則化模型，并由此模型重建高分辨率紅外圖像。算法中對邊緣像素進(jìn)行分類，合理的考慮了不同類型圖像的相關(guān)性，限制了可見光圖像的無關(guān)信息對重建紅外圖像的干擾。

1 本文算法框架

本文重建高分辨率紅外圖像的算法框架如圖1，該算法迭代求解出最優(yōu)化條件下的超分辨率重建圖像[IH]：

[IH=argminI{αR（I）+D（I，F(xiàn)S）}]? ? ? ? ? ? ? ? ? ? ? ? （1）

上式由正則約束項(xiàng)[R（I）]和數(shù)據(jù)項(xiàng)[D（I，F(xiàn)S）]組成，[I]為紅外圖像超分辨率重建后的結(jié)果，[FS]為低分辨率紅外圖像的高頻估計，標(biāo)量參數(shù)[α]為平衡正則約束項(xiàng)與數(shù)據(jù)項(xiàng)之間關(guān)系的權(quán)重值。正則約束項(xiàng)利用圖像的先驗(yàn)約束條件對重建的近似解空間進(jìn)行約束，進(jìn)而求得最優(yōu)解。

2 本文算法流程

2.1 邊緣提取和邊緣像素的相關(guān)性分類

圖像邊緣細(xì)節(jié)清晰則超分辨重建圖像會有更加理想的視覺效果。因此提取圖像邊緣細(xì)節(jié)區(qū)域?qū)λ惴ㄊ种匾１疚牟捎孟辔灰恢滦运惴ㄌ崛】梢姽鈭D像的邊緣信息[SVIS（i，j）]和紅外圖像的邊緣信息[SIR（i，j）]。

同一場景的可見光圖像和紅外圖像之間存在相關(guān)性和互補(bǔ)性，為了利用相關(guān)邊緣信息提高紅外圖像分辨率，避免非相關(guān)邊緣對紅外圖像超分辨重建結(jié)果造成影響，將存在相關(guān)性的圖像塊提取出來是必要的。因此在提取邊緣信息后將邊緣區(qū)域分為相關(guān)邊緣和非相關(guān)邊緣。在邊緣信息分類時我們采用相關(guān)系數(shù)分類法加以分類。

根據(jù)相關(guān)系數(shù)將圖像邊緣分類為相關(guān)邊緣和非相關(guān)邊緣的步驟是：首先分別提取紅外與可見光圖像邊緣，然后采用歸一化互相關(guān)方法來測定二者邊緣像素的相似度：

[S（i，j）=SVIS（i，j）SIR（i，j）-SVIS（i，j）SIR（i，j）（S2VIS（i，j）-SVIS（i，j）2）（S2IR（i，j）-SIR（i，j）2）]? ? ?（2）

[SVIS（i，j）]和[SIR（i，j）]是指以像素[（i，j）]為中心的大小為5×5的加權(quán)平均圖像塊，當(dāng)對應(yīng)像素點(diǎn)為中心的圖像塊的歸一化互相關(guān)系數(shù)大于[Ts]，且提取的圖像塊的邊緣強(qiáng)度[T]大于[Te]，當(dāng)滿足這兩個條件時，則認(rèn)為對應(yīng)的圖像塊相關(guān)，兩個不同傳感器獲取的圖像塊之間可以通過仿射變換，本文算法中[Ts]取0.05，[Te]取0.05。

2.2 邊緣像素的高頻塊估計

相關(guān)邊緣像素可以通過仿射變換關(guān)系估計紅外圖像的高頻細(xì)節(jié)?？烧J(rèn)為不同傳感器獲取的圖像在局部鄰域內(nèi)存在仿射變換關(guān)系，本文利用如下二次關(guān)系模型：

[Mk，lxIR=（xHσM2k，lxVIS+yHσMk，lxVIS+ze）]for[?（k，l）∈Ωc]? ?（3）

式中[Mk，l]指對圖像以像素[（i，j）]為中心取塊操作，[Hσ]代表高斯模糊核的卷積矩陣，標(biāo)準(zhǔn)差為[σ]，[e]代表單位矩陣，[x]，[y]，[z]分別代表局部仿射變換中的參數(shù)，[Ωc]指可見光圖像和紅外圖像相關(guān)邊緣像素集。

邊緣點(diǎn)[（k，j）]的參數(shù)[x]，[y]，[z]，可以通過平方誤差函數(shù)估算：

[E（x，y，z，σ）=Kk，lxIR-（xHσK2k，lxVIS+yHσKk，lxVIS+ze）22+λ1x2+λ2y2=（i，j）{xp2VIS，σ（i，j）+ypVIS，σ（i，j）+z-pIR（i，j）}2+λ1x2+λ2y2] ? ? ? （4）

公式中[xVIS]和[xIR]分別為可見光圖像和紅外圖像相關(guān)邊緣的圖像塊，[pIR]代表一個紅外圖像塊，[pVIS，σ]代表被標(biāo)準(zhǔn)差為[σ]的高斯核模糊的可見光圖像塊，[（i，j）]代表圖像塊中的像素點(diǎn)，公式中[λ1x2]和[λ2y2]是正則化項(xiàng)，[x]，[y]，[z]可以通過下面近似形式來計算：

[?E/?x|σ=σc=0]，[?E/?y|σ=σc=0]，[?E/?z|σ=σc=0]，[?] ? ? ? ? ? ? ? （5）

[xyz=（i，j）P4VIS，σc+λ1，（i，j）P3VIS，σc，（i，j）P2VIS，σc（i，j）P3VIS，σc，（i，j）P2VIS，σc+λ2，（i，j）PVIS，σc（i，j）P2VIS，σc，（i，j）PVIS，σc，（i，j）1-1×（i，j）P2VIS，σcPIR（i，j）PVIS，σcPIR（i，j）PIR] ? ?（6）

獲得估計的參數(shù)后，紅外圖像的高頻部分可以通過以下方式計算：

[Fk，l=xHσlK2k，lxVIS+yHσlKk，lxVIS+z-Kk，lxIR]? ? ? ? ? ? ? ? ? ? （7）

高頻部分決定了紅外圖像的細(xì)節(jié)部分，細(xì)節(jié)越豐富則超分辨重建的紅外圖像質(zhì)量相對越好，相關(guān)邊緣進(jìn)行高頻估計后，改進(jìn)的TGV模型與估計的高頻細(xì)節(jié)[Fk，l]結(jié)合起來并進(jìn)行多次迭代運(yùn)算，得到高分辨率紅外圖像。

2.3 高頻塊估計與改進(jìn)的TGV模型的結(jié)合

TGV模型由任意階多項(xiàng)式組成，本文采用改進(jìn)的TGV表達(dá)式如下：

[ ][T=mins{α2?I+α1?I-s+α0?s+D（I）-Is2}]? （8）

其中[?I]為一階梯度銳化算子，[s]為TGV正則化算法中的對稱矩陣，標(biāo)量[α2]、[α1]和[α0]為權(quán)重參數(shù)。

本文將上一步驟中得到的高頻估計設(shè)為[Fs]，并將高頻估計作為數(shù)據(jù)項(xiàng)引入已經(jīng)改進(jìn)的TGV正則化模型，將正則約束項(xiàng)與數(shù)據(jù)項(xiàng)結(jié)合起來，得到算法的目標(biāo)函數(shù)：

[IH=α2?I+α1?I-s+α0?s+D（I）-Is2+D（I）-Fs2]? ? ? ? ? ?（9）

目標(biāo)函數(shù)結(jié)合梯度下降法求得最優(yōu)解。由此（9）式轉(zhuǎn)化為：

[IH=minI，smaxp，qα2?I+α1?I-s，p+α0?s，q+i=1Mj=1N（Ii，j-ISi，j）2+i=1Mj=1N（Ii，j-FSi，j）2]? ? ? ? ? ? ? ?（10）

在主-對偶優(yōu)化算法中，主變量[I]，[s]和對偶變量[p]，[q]通過迭代計算求解。第一次迭代時，[I=IS]， 令[s]， [p]， [q]=0，步長[θp]，[θq]均設(shè)為大于0的常數(shù)。迭代計算的三個過程如下：

第一，對偶變量通過梯度上升迭代更新：

[pn+1=pn+θpα2?In0+α1?In0-sn0max（1，pn+θpα2?In0+α1?In0-sn0）]? ? ? ? ? （11）

[qn+1=qn+θqα0?sn0max（1，qn+θqα0?sn0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （12）

第二，主變量通過梯度下降迭代更新：

[In+1=In+kI（α2+α1）?Tpn+1+IS+FS1+kI]? ? ? ? ? ? ? ? ? ? ?（13）

[sn+1=sn+ks（α1pn+1+α0?Tqn+1）]? ? ? ? ? ? ? ? ? ? ? ? ? （14）

上式中[kI]、[ks]為步長。

第三，主變量優(yōu)化：

[In+10=In+1+μ（In+1-In0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （15）

[sn+10=sn+1+μ（sn+1-sn0）]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （16）

[I0]和[s0]為迭代計算的中間結(jié)果，[μ]的值在每次迭代計算時都進(jìn)行更新。本文由以上計算過程得到收斂的優(yōu)化解。

3 實(shí)驗(yàn)結(jié)果與分析

本文采用同場景且配準(zhǔn)的可見光圖像和紅外圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)將最近鄰插值算法、Choi[5]的算法、David[6]的算法以及本文算法進(jìn)行對比，以求評價本文算法的效果。算法中取圖像塊的大小為[5×5]，[σ]為2，[σl]為0.3，[Ts]取0.05，[Te]取0.05，[λ1]和[λ2]取0.5，[ω]取0.01，[η]取0.01，[θp]取0.33，[θq]取0.5，[μ]的初值取0.77，[α0]取0.1，[α1]取25，[α2]取0.05。

圖2為實(shí)驗(yàn)結(jié)果。

圖2? ?低分辨率輪船圖像超分辨重建得到的高分辨率紅外圖像（a）為最近鄰插值算法所得結(jié)果;（b）為Choi算法所得結(jié)果;（c）為David算法所得結(jié)果;（d）為本文算法所得結(jié)果;（e）為真實(shí)的高分辨率紅外圖像;（al）-（el）分別表示（a）-（e）矩形標(biāo)注部分的局部放大圖

根據(jù)實(shí)驗(yàn)結(jié)果，本文算法重建效果最好，本文算法利用相位一致性算法提取可見光圖像邊緣并對邊緣像素加以分類，限制了可見光圖像無關(guān)信息的干擾，同時將二次仿射變換得到的高頻估計加入算法模型使得重建圖像邊緣較清晰。

4 結(jié)論

本文對二階總廣義變分模型進(jìn)行了改進(jìn)。傳統(tǒng)的TGV模型在計算多傳感器圖像超分辨率時對正則約束項(xiàng)加權(quán)，容易導(dǎo)致可見光圖像的噪聲混入重建圖像。本文利用相位一致算法提取紅外和可見光圖像的邊緣并進(jìn)行相關(guān)性分類，避免了非相關(guān)邊緣對重建圖像的干擾，然后對相關(guān)性分類以后的紅外和可見光圖像邊緣進(jìn)行二次仿射變換，將得到的高頻估計圖像與改進(jìn)的TGV模型結(jié)合起來，與其他算法相比本文的方法不僅有更好的視覺效果，PSNR也有提高。

參考文獻(xiàn)：

[1]? 戚曹，朱桂斌，唐鑒波，等. 基于稀疏表示的紅外視頻圖像超分辨率算法[J]. 計算機(jī)工程， 2016.42（3）：278-282.

[2] 王新華，歐陽繼紅，龐武斌. 壓縮編碼孔徑紅外成像超分辨重建[J]. 吉林大學(xué)學(xué)報（工學(xué)版）， 2016.46（4）：1239-1245.

[3] 翟海天，李輝，李彬. 基于區(qū)域劃分的紅外超分辨率重建[J]. 光學(xué)精密工程，2015.23（10）：2989-2996.

[4]? Jaesik Park，Hyeongwoo Kim，Yu-Wing Tai，Michael S. Brown，Inso Kweon.High Quality Depth Map Upsampling for 3D-TOF Cameras. IEEE International Conference on Computer Vision， 2011， 24（4）：1623-1630.

[5] Kyuha C，Changhyun K，Myung H K.Resolution Improvement of Infrared Images Using Visible Image Information[J]. IEEE Signal Processing Letters. 2011，18（10）：611-614.

[6] David F， Christian R， Rene R. Image Guided Depth Upsampling using Anisotropic Total Generalized Variation[A]. IEEE International Conference on Computer Vision[C]. 2013：，1-8.

【通聯(lián)編輯：光文玲】