周　芹　馬志強　單　勇

(空軍工程大學信息與導航學院　陜西 西安 710077)

?

基于迭代重加權的廣義總變分超分辨率重建

周芹馬志強單勇

(空軍工程大學信息與導航學院陜西 西安 710077)

摘要由于傳統(tǒng)超分辨率重建算法在模糊和噪聲嚴重的情況下不能有效地抑制圖像中的噪聲，提出基于迭代重加權范數(shù)的廣義總變分超分辨率重建算法。該算法采用迭代重加權的數(shù)據(jù)保真項和正則項構造廣義總變分的代價函數(shù)，并采用預處理共軛梯度法對其進行優(yōu)化,能夠有效地抑制噪聲的產(chǎn)生。實驗證明，該算法在去除噪聲的同時，能夠很好地保持圖像的細節(jié)信息，有很好的視覺效果。

關鍵詞圖像超分辨率廣義總變分迭代重加權預處理共軛梯度去噪

0引言

圖像超分辨率SR(Super Resolution)是指從多幅低分辨率LR(Low Resolution)圖像獲得一幅或多幅清晰的高分辨率HR(High Resolution)圖像的重建技術。如果將圖像的退化模型看成是正問題，那么超分辨率重建問題實際上是一個反問題；又由于噪聲的不確定性和低分辨率圖像幀數(shù)的不足，使得超分辨率重建也是個病態(tài)問題。為了解決超分辨率重建算法的病態(tài)反問題，引入了正則項以便約束待估計的高分辨率圖像的解空間，此方法稱為正則化方法。經(jīng)典的正則化超分辨率重建算法主要有Tikhonov正則化[1]、總變分TV(Total Variation)正則化[2,3]、雙邊總變分BTV(Bilateral Total Variation)正則化[4-7]和最近提出的總廣義變分正則化TGV(Total Generalized Variation)正則化[8,9]。一個典型的重構過程包括了圖像配準、高分辨率插值、消除模糊噪聲等后期處理過程[10]。

觀測到的低分辨率圖像在噪聲比較大，模糊比較嚴重的情況下，傳統(tǒng)超分辨率重建算法不能很好地抑制噪聲。而文獻[11]表明迭代重加權范數(shù)在去噪和去卷積方面有很好的效果。因此，本文將迭代重加權范數(shù)應用于超分辨率重建中，從而提出了基于迭代重加權[11]的超分辨率重建算法。該算法考慮了每幀低分辨率圖像的配準誤差存在差異，從而對數(shù)據(jù)保真項采用加權處理。同時，考慮了同一幀低分辨率圖像中當前像素的周圍像素點對其貢獻不同，對正則項也采用加權處理，并利用迭代重加權方法和預處理共軛梯度法對代價函數(shù)進行優(yōu)化求解。

1基礎知識

圖像觀測模型可以描述為景物的高分辨率圖像X經(jīng)過降質(大氣擾動變形、光學模糊、鏡頭下采樣以及噪聲污染)后，最終得到N幀低分辨率圖像Yk,{k∈[1,N]}的過程。因此，觀測模型用矩陣形式表示如下：

Yk=DkBkFkX+Nk

(1)

式中，Dk是下采樣矩陣；Bk是系統(tǒng)的模糊矩陣；Fk是運動矩陣，可通過圖像配準求得。Nk是噪聲矩陣。

將其簡化可得：

Y=HX+N

(2)

由于模糊、噪聲等退化因素的影響或LR圖像數(shù)量的不足，導致超分辨率圖像重建方法是一個具有病態(tài)特性的反問題。為了克服病態(tài)特性，需要引入正則項進行約束，從而穩(wěn)定解并加速算法的收斂性。因此典型的超分辨率代價函數(shù)可用極小值問題來表示：

(3)

式中，第一項是數(shù)據(jù)保真項，衡量重建的高分辨率圖像經(jīng)過降質后得到的LR圖像與觀測到的LR圖像的一致性；第二項是正則項，以便約束解的唯一性和穩(wěn)定性，λ表示正則化參數(shù)，主要用于平衡數(shù)據(jù)保真項與正則項。p、q表示范數(shù),當p=1、q=1時，式(3)相當于L1總變分的代價函數(shù)，簡記為L1TV；當p=2、q=1時，式(3)相當于L2總變分的代價函數(shù)，簡記為L2TV。DuX和DvX分別表示圖像X在像素點的水平方向和垂直方向的一階導數(shù)。

2基于迭代重加權的超分辨率重建

2.1迭代重加權范數(shù)

迭代重加權范數(shù)IRN(Iteratively Reweighted Norm)在文獻[11]中首次被提出用去噪和去卷積，其定義為：用加權的L2范數(shù)等價代替p范數(shù)和q范數(shù)。

迭代重加權范數(shù)是與迭代重加權最小二乘法[12]IRLS(Iteratively Reweighted Least Squares)緊密相關的。IRLS算法采用一個迭代過程求解一系列加權最小二乘問題，并在每一步迭代中按照一定的規(guī)則對權系數(shù)進行調(diào)整，使其逐步逼近最優(yōu)拉格朗日乘子。IRLS最小化p范數(shù)如下：

(4)

其中，HX-Y表示配準誤差，即估計出的高分辨率圖像經(jīng)過降質后得到的低分辨率圖像與觀測到的低分辨率圖像之間的誤差。

迭代重加權范數(shù)是指當p<2時，采用迭代的方式，用自適應加權的L2范數(shù)逼近最優(yōu)解。在第k次迭代時，解X(k)是下式的最小解：

(5)

式中，權重矩陣W(k)1/2= diag(|HX(k)-Y|p-2)，其物理意義是各幀的權重矩陣隨配準誤差的不同而改變，當配準誤差HX-Y較大時，選擇較小的權重系數(shù)。反之，選擇較大的權重系數(shù)。

對式(5)求導并令其為0，可得迭代公式為：

X(k+1)=(HTW(k)H)-1HTW(k)Y

(6)

以上分析表明，迭代重加權范數(shù)可以利用對權重的調(diào)整逐步逼近目標函數(shù)的全局最優(yōu)解。

2.2數(shù)據(jù)保真項的廣義形式

為了采用迭代重加權范數(shù)的思想，即用加權的L2范數(shù)代替p范數(shù)，定義數(shù)據(jù)保真項為一個二次函數(shù)：

(7)

式中，第二項F(X)的形式如式(4),其中的X(k)是一個常數(shù)，表示函數(shù)在當前迭代的最優(yōu)解;并且：

(8)

(9)

2.3正則項的廣義形式

為了采用迭代重加權范數(shù)的思想，即用加權的L2范數(shù)代替q范數(shù)，定義正則項為一個二次函數(shù)：

(10)

(11)

(12)

(13)

式(11)的推導可參考文獻[11]，表示權重系數(shù)與像素點的梯度成反比關系，即當邊緣處的梯度較大時，采用較小的權重系數(shù)以便保留圖像的邊緣信息；當平坦區(qū)域的梯度較小時，采用較大的權重系數(shù)以便平滑噪聲，從而達到保持圖像細節(jié)信息的同時能夠去除噪聲。式(13)表示：當像素點的梯度(DuX(k))2+(DvX(k))2小于閾值εR時，可將權值系數(shù)設置為0，即對于正則項而言，梯度很小以至于接近0是被允許的。此時的正則項對迭代沒有貢獻量，而只取決于前次迭代和當前迭代的保真項。

2.4代價函數(shù)及其優(yōu)化求解

根據(jù)以上分析，超分辨率重建模型——廣義總變分的代價函數(shù)可表示為：

(14)

(15)

對于上式可采用預處理共軛梯度法[13]PCG(Preconditioned Conjugate Gradient)對其進行求解，而其中的閾值εF和εR的自適應選取在下文介紹。本文算法步驟如下：

1) 選擇低分辨率參考幀，對圖像進行Lucas-Canada光流法配準；

2) 對低分辨率參考幀進行插值得到初始高分辨率圖像X(0);

5) 如果達到最大迭代次數(shù)，則停止迭代，得到的解即為重建的高分辨率圖像，否則返回步驟4。

2.5閾值的自適應選取

重建圖像質量的優(yōu)劣取決于權重矩陣的值，而權重矩陣的值與閾值εF和εR的選取是密不可分的。若閾值選取過小，那么迭代次數(shù)會增多，從而導致程序運行時間長，效果不明顯；若閾值選取過大，那么重建結果不能很好的保持圖像的邊緣細節(jié)信息，導致重建圖像質量較差，所以選取合適的閾值對于重建圖像質量而言是至關重要的。由式(8)和式(11)可知，閾值是與第k次迭代的解X(k)有關，所以，閾值的選取應隨著迭代次數(shù)的不同而自適應的改變。

本文首先計算當前迭代過程中重建的高分辨率圖像X(k)的累積直方圖，通過噪聲占有特定的百分比來確定閾值的自適應選取。對于εF，需要確定當前迭代中配準誤差的累積直方圖，即hF=hist(HX(k)-Y),再計算hF的固定百分比作為閾值εF的值。同樣，對于εR，需要確定當前迭代中估計的高分辨率圖像的梯度值的累積直方圖，即hR=hist(|(DuX(k))2+(DvX(k))2|)q/2，再計算hR的固定百分比作為閾值εR的值。一般地，數(shù)據(jù)保真項和正則項對應的百分比應該分別低于5%和1%，從而提高重建圖像的質量和去噪性能。

3實驗與結果分析

為了驗證本文的算法的魯棒性和有效性，在Windows XP平臺，Matlab 7.0.1環(huán)境下將本文算法與Tikhonov正則化方法以及文獻[3]中的L2TV算法作比較。Tikhonov算法非常經(jīng)典，經(jīng)常用作對比算法，下面簡稱TK算法。而文獻[3]中的L2TV算法是本文算法在取p=2、q=2時的特殊形式，用以比較本文算法的優(yōu)越性，之所以選擇L2范數(shù)，是因為L2范數(shù)對高斯噪聲的去除性能優(yōu)于L1范數(shù)。采用峰值信噪比PSNR(Peak Signal to Noise Ratio)和歸一化的均方誤差NMSE(Normalized Mean Square Error)作為質量評價標準，PSNR和NMSE的公式如下：

實驗采用尺寸為383×383的peppers圖像和512×512的Goldhill圖像作為原始圖像。將圖像經(jīng)過隨機平移，用半徑為3.2的圓形區(qū)域進行高斯模糊(方差為5)，再以因子2對其下采樣。最后加入方差為0.01的高斯噪聲產(chǎn)生4幅低分辨率圖像，將圖像的灰度值規(guī)整到[0,1]，利用這4幅低分辨率圖像序列進行超分辨率重建。本文算法選擇的參數(shù)為p=2、q=1,自適應閾值εF中選取的百分比為0.05，自適應閾值εR中選取的百分比為0.1，迭代次數(shù)為3。

幾種不同算法的peppers圖像和Goldhill圖像得到的重建結果如圖1和圖2所示。其中(a)表示參考幀，(b)、(c)、(d)分別表示TK算法、TV算法和本文算法的重建結果。從圖1和圖2可以直觀地看出本文算法的去除噪聲性能明顯優(yōu)于TK算法和TV算法。重建結果的PSNR和NMSE的值如表1所示，本文算法的峰值信噪比明顯高于前兩種方法，歸一化的均方誤差比前兩種算法都小，從定量上表明本文算法保留了更多的圖像細節(jié)信息，進一步反映了本文算法的優(yōu)越性。

圖1　不同算法的peppers圖像的超分辨率重建結果

圖2　不同算法的Goldhill圖像的超分辨率重建結果

參考幀TKTVIRNPeppers圖像PSNR19.8126.5327.4928.11NMSE0.0750.0160.0130.011Goldhil圖像PSNR19.3924.4324.8325.74NMSE0.0500.0160.0140.013

4結語

本文針對在噪聲較大、模糊比較嚴重的情況下，傳統(tǒng)的圖像超分辨率重建不能很好兼顧抑制噪聲和保持圖像細節(jié)信息的不足，提出了基于迭代重加權范數(shù)的廣義總變分超分辨率重建算法。該算法在分析了迭代重加權范數(shù)原理的基礎上，將迭代重加權思想分別應用于數(shù)據(jù)保真項和正則項，從而定義了它們的廣義形式，構造了廣義總變分的代價函數(shù)，并對其中的權重及其閾值進行自適應調(diào)整，利用預處理共軛梯度對其迭代，確定最優(yōu)解。結果表明，本文算法不僅有優(yōu)越的去噪性能，還能保持更多的圖像細節(jié)信息。

參考文獻

[1] 商俊國,焦斌亮.多幀圖像的Tikhonov正則化重建算法研究[J].計算機應用研究,2011,28(2):785-787,791.

[2] Rudin L,Osher S,Fatemi E.Nonlinear total variation based noise removal algorithms[J].Physical Review D,1992,60(1-4):259-268.

[3] 占美全,鄧志良.基于L1范數(shù)的總變分正則化超分辨率圖像重建[J].科學技術與工程,2010,10(28):6903-6906.

[4] Farsiu S,Robinson M D.Fast and Robust Multiframe Super Resolution[J].IEEE Transactions on Image Processing,2004,13(10):1327-1344.

[5] 安耀祖,陸耀,趙紅.一種自適應正則化的圖像超分辨率算法[J].自動化學報,2012,38(4):601-608.

[6] 楊欣,周大可,費樹民.基于自適應雙邊全變差的圖像超分辨率重建[J].計算機研究與發(fā)展,2012,49(12):2696-2702.

[7] 蔣建國,董艷春.邊緣增強型非局部模型超分辨率重建算法[J].中國圖象圖形學報,2011,16(10):1772-1778.

[8] Bredies K,Kunisch K,Pock T.Total generalized variation[J].SIAM J Imaging Sciences,2010,3(3):492-526.

[9] Knoll F,Bredies K,Pock T,et al.Second order total generalized variation(TGV)for MRI[J].Magnetic Resonance in Medicine,2011,65(2):480-491.

[10] 李家德,張葉,賈平.采用非局部均值的超分辨率重構[J].光學精密工程,2013,21(6):1576-1585.

[11] Rodriguez P,Wohlberg B.Efficient minimization method for a generalized total variation functional[J].IEEE Transactions on Image Processing,2009,18(2):322-332.

[12] Bube K,Langan R.Hybrid l1/l2minimization with applications to tomography[J].Geophysics,1997,62(4):1183-1195.

[13] 張同兵,謝建,朱建軍.預處理共軛梯度法解病態(tài)問題及在GPS中的應用[J].測繪工程,2010,19(4):60-63.

收稿日期：2015-01-12。陜西省自然科學基金項目(2013JM80 25)。周芹，碩士生，主研領域：圖像超分辨率重建。馬志強，副教授。單勇，講師。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.051

SUPER RESOLUTION RECONSTRUCTION WITH GENERALISED TOTAL VARIATION BASED ON ITERATIVELY REWEIGHTING

Zhou QinMa ZhiqiangShan Yong

(SchoolofInformationandNavigation,AirForceEngineeringUniversity,Xi’an710077,Shaanxi,China)

AbstractSince conventional superresolution reconstruction algorithm cannot restrain image noise effectively under the condition of serious blur and noise, we proposed the superresolution reconstruction algorithm with generalised total variation which is based on iteratively reweighting norm. The algorithm uses the iteratively weighted data fidelity term and the regularisation term to construct the cost function of generalised total variation, and adopts the preconditioned conjugate gradient method to optimise the solution, so that it can effectively suppress noise generation. Experiment proved that the algorithm could well preserve the image details while removing noise, and had good visual effect.

KeywordsImage superresolutionGeneralised total variationIteratively reweightingPreconditioned conjugate gradientDenoising