陳為龍，郭 黎

(1.四川師范大學(xué)數(shù)字媒體學(xué)院，成都610068;2.湖北民族學(xué)院信息工程學(xué)院，湖北恩施445000)

1 引言

目前對于空間域的超分辨率重建最為典型的有最大后驗(yàn)概率(MAP)[1]、迭代反投影(IBP)[2－3]、凸集投影(POCS)[4]等算法，文獻(xiàn)[5 －6]也對超分辨率技術(shù)進(jìn)行了研究。這些方法有效地提高了視頻幀的配準(zhǔn)精度，提升了視頻重建效果，但是大多是基于理想的情況進(jìn)行求解，這與超分辨率圖像重建的實(shí)際應(yīng)用是不完全符合的。在實(shí)際應(yīng)用中，由于配準(zhǔn)誤差、噪聲、低分辨率圖像數(shù)量不足、退化模型估計(jì)誤差等原因，使得超分辨率重建成為一個(gè)典型的病態(tài)問題。為了更有效地求解這類病態(tài)問題，通常在求解的過程中引入正則化的方法，利用解的先驗(yàn)知識構(gòu)造附加約束，以確保解的存在、唯一和連續(xù)，從而把病態(tài)問題轉(zhuǎn)成良態(tài)。大多數(shù)的正則化重建，正則化系數(shù)的估計(jì)都靠經(jīng)驗(yàn)選取，很可能因?yàn)橄禂?shù)選取的不準(zhǔn)確造成重建效果不理想。本文提出了一種基于L曲線的自適應(yīng)正則化系數(shù)計(jì)算方法，可以通過算法自適應(yīng)計(jì)算出正則化系數(shù)，提高了正則化系數(shù)選取的準(zhǔn)確性。

2 超分辨率重建中的正則化

超分辨率重建是從已知的低分辨率圖像序列{yk，k=1，2，…，m}中求出未知的高分辨率圖像的過程，它是一個(gè)不適定的反問題，不滿足Hadamard條件，即解的存在性、解的唯一性和解的連續(xù)性［7－8］。超分辨率重建中的低分辨率觀測模型為

其中，X表示原始的高分辨率圖像向量，y為低分辨率圖像序列向量。將超分辨率重建的目標(biāo)函數(shù)進(jìn)行簡化成為

其中，‖·‖p為距離范數(shù)，高分辨率估計(jì)X是經(jīng)排序后的Nx×1維列向量，低分辨率圖像y是經(jīng)排序后的Ny×1維列向量。超分辨率重建是一個(gè)逆向求解的問題，需要加入一個(gè)懲罰函數(shù)來抑制噪聲等的影響，加入懲罰函數(shù)的方法就是正則化。加入正則化項(xiàng)的超分辨率重建如式(3)所示:

式中，‖AX－Y‖2是數(shù)據(jù)擬合項(xiàng)，代表數(shù)據(jù)的相似性;‖γX‖2為正則化項(xiàng)，它在一定程度上控制解的擾動;λ是正則化系數(shù)，它用來平衡上式中的第一項(xiàng)(數(shù)據(jù)擬合項(xiàng))和第二項(xiàng)(正則化項(xiàng))在求解中的貢獻(xiàn)，通常為標(biāo)量。當(dāng)λ值增加，會使重建圖像的平滑度增大。在低分辨率圖像數(shù)量不足、運(yùn)動估計(jì)存在誤差以及存在噪聲等情況下，較大的λ值能夠有效提高重建圖像的質(zhì)量。但同時(shí)，對λ的取值不能過大，否則容易造成重建圖像過于平滑。常用的正則化方法主要有 Tikhonov正則化［9－10］、截?cái)嗥娈愔捣纸庹齽t化等方法［11－12］。

3 基于L曲線的自適應(yīng)時(shí)空正則化視頻超分辨率重建

為解決超分辨率重建中的病態(tài)問題，在超分辨率重建中通常引入空間正則化算子來得到較為精確的解，避免重建過程中放大噪聲以及出現(xiàn)空間振鈴現(xiàn)象。對于視頻而言，除了空間信息，視頻各幀在時(shí)間上也存在幀間相關(guān)信息。因此，本文在視頻超分辨率重建中引入時(shí)空聯(lián)合正則化算子，通過圖像本身的空間平滑信息和視頻相鄰幀的幀間相關(guān)先驗(yàn)信息的引入，有效提高解的質(zhì)量。另外，在正則化重建中通過L曲線自適應(yīng)計(jì)算得到最合適的正則化系數(shù)，由此得到較好的重建結(jié)果。

3.1 時(shí)空正則化算子的提出

為了更好地利用視頻的時(shí)空聯(lián)合特性，提出了時(shí)空聯(lián)合正則化算子Γ，重建的代價(jià)函數(shù)如式(4):

式中，Y是輸入的低分辨率視頻幀序列，A是重建的權(quán)值矩陣，Γ是正則化算子，X代表重建后的高分辨率視頻序列，λ是時(shí)空聯(lián)合正則化系數(shù)。此目標(biāo)函數(shù)中將L1范數(shù)和L2范數(shù)聯(lián)合起來使用，第一項(xiàng)(數(shù)據(jù)擬合項(xiàng))中的L2范數(shù)用于加強(qiáng)對于數(shù)據(jù)重建的真實(shí)度;第二項(xiàng)(正則化項(xiàng))采用L1范數(shù)用于提高梯度域的稀疏性，產(chǎn)生在時(shí)間和空間上更銳化的邊緣并且避免振鈴效應(yīng)。其中，時(shí)空聯(lián)合正則化算子Γ如下:

3.2 基于L曲線的正則化系數(shù)的確定

在超分辨率重建過程中引入的正則化方法都包含對數(shù)據(jù)忠實(shí)性的一種折衷考慮，因此，在式(3)中的正則化系數(shù)λ是可變的。如何確定一個(gè)最優(yōu)的λ就是需要解決的問題。事實(shí)上，當(dāng)λ變化時(shí)，關(guān)于λ‖γX‖2對于‖AX－Y‖2可以在lg－lg尺度上得到圖形的表示，這種圖形表示的曲線稱為L曲線［13］。特別注意的是，λ是一個(gè)沿著這條曲線的參數(shù)。

在L曲線水平和垂直部分相交的地方有一個(gè)拐點(diǎn)，此處定義了過正則化和欠正則化的合理過渡，即在這兩種極端情況下的一種合理平衡，該拐點(diǎn)處對應(yīng)的正則化系數(shù)λ的值則是最合適的正則化系數(shù)的數(shù)值。圖1中，在曲線上對應(yīng)拐點(diǎn)處的最合適的正則化系數(shù)用λ*來表示。λ*通常采用如下定義，即用于表示優(yōu)化的λ必須等于下面曲率函數(shù)的最大值:

式中，R(λ)=lg‖γX(λ)‖2，S(λ)=lg‖AX － Y‖2。

圖1 L_Curve示意圖Fig.1 The L_Curve diagram

3.3 本文算法的提出

基于前面的分析，本文所提出的基于L曲線的自適應(yīng)時(shí)空正則化超分辨率重建算法步驟描述如下(其中，F(xiàn)ramenum是低分辨率視頻的總幀數(shù)):

Step 1:令i=1(當(dāng)前要重建的是低分辨率視頻的第i幀);

Step 2:對當(dāng)前的i和j(此處的j=i…i+num，是參與此次重建的所有高分辨率幀的編號)進(jìn)行如下操作;

Step 3:輸入低分辨率視頻中的圖像序列構(gòu)成向量Y;

Step 4:構(gòu)造每個(gè)高分辨率像素點(diǎn)對每個(gè)低分辨率像素點(diǎn)的相對貢獻(xiàn)權(quán)值，即構(gòu)造稀疏矩陣A;

Step 5:構(gòu)造正則化矩陣Γ;

Step 6:根據(jù) Y、A、Γ，采用3.2 節(jié)的方法計(jì)算出當(dāng)前i對應(yīng)的最合適的正則化系數(shù)λ;并把Y、A、Γ和λ代入式(4)，計(jì)算得到X;

Step 7:因?yàn)閄中包含了num幀高分辨率幀的信息，取第i幀高分辨率幀對應(yīng)的信息，得到Xi即為重建后的第i幀高分辨率幀(其中，num是參與時(shí)空正則化的幀數(shù)，num越大，時(shí)間正則化越明顯;num越小，時(shí)間正則化越弱。本文中取num=2);

Step 8:i=i+1。當(dāng)i=Framenum時(shí)停止，得到重建的高分辨率視頻;否則，繼續(xù)Step 2～Step 8。

4 實(shí)驗(yàn)

為了更好地證明算法的有效性，我們采用如下一系列的實(shí)驗(yàn)來進(jìn)行驗(yàn)證。實(shí)驗(yàn)中，我們將基于稀疏矩陣的自適應(yīng)時(shí)空正則化重建的結(jié)果分別與雙三次插值、正則化系數(shù)過大的重建結(jié)果和正則化系數(shù)過小的重建結(jié)果進(jìn)行對比。本文實(shí)驗(yàn)平臺為Win7 64位操作系統(tǒng)，Matlab2010版本，英特爾賽揚(yáng)雙核處理器(2.6 GHz)，4 GB內(nèi)存。

4.1 模擬視頻序列重建實(shí)驗(yàn)

首先對模擬的多幅低分辨率圖像序列進(jìn)行超分辨率重建，本實(shí)驗(yàn)使用了字母圖像進(jìn)行實(shí)驗(yàn)。首先對圖像進(jìn)行平移和旋轉(zhuǎn)產(chǎn)生10幅低分辨率觀測圖像，然后對模擬的圖像序列采用大小為7×7、方差為0.5的高斯點(diǎn)擴(kuò)展函數(shù)進(jìn)行空間模糊，再進(jìn)行2倍的空間下采樣，然后加入信噪比為40 dB的隨機(jī)噪聲，并將它們作為觀測得到的低分辨率圖像序列。對該模擬圖像序列進(jìn)行2倍超分辨率重建，取出第6幀的重建結(jié)果如圖2所示。

圖2 重建視頻的第6幀F(xiàn)ig.2 The 6th frame in reconstructed video sequence

圖2 中(a)為原始高分辨率的圖像，(b)為模擬低分辨率序列的第6幀，(c)為雙三次2倍插值放大的結(jié)果，(d)為正則化系數(shù)過小的超分辨率重建結(jié)果(λ=0.000 5)，(e)是正則化系數(shù)過大的超分辨率重建結(jié)果(λ=0.003)，(f)為自適應(yīng)時(shí)空正則化超分辨率重建結(jié)果(λ =0.001 7)，(g)、(h)、(i)和(j)分別為(c)、(d)、(e)和(f)的局部放大圖。從實(shí)驗(yàn)結(jié)果可以看到，雙三次插值和正則化系數(shù)過大的重建結(jié)果都很模糊，正則化系數(shù)過小，導(dǎo)致圖像太過銳化，字母和其他形狀邊緣會有明顯的振鈴效應(yīng)(字母或其他圖像的邊緣處有明顯的高亮區(qū)域)。采用本文提出的算法計(jì)算得到的正則化系數(shù)，可以得到更好的重建效果。圖3是重建序列第6幀時(shí)得到的L曲線圖及最優(yōu)的正則化系數(shù)值。

圖3 重建視頻第6幀時(shí)的L曲線Fig.3 The L_Curve of the SR reconstruction(the 6th frame)

4.2 真實(shí)視頻序列重建實(shí)驗(yàn)

采用“MissAmerica”視頻序列，圖4中(a)和(b)分別是該視頻序列的第1幀和第12幀。

我們對輸入的低分辨率視頻序列進(jìn)行2倍的空間重建，效果對比如圖4所示。其中，(c)是對視頻序列第1幀雙線性2倍插值放大的結(jié)果，(d)為正則化系數(shù)過小的超分辨率重建結(jié)果(λ=0.000 8)，(e)是正則化系數(shù)過大的超分辨率重建結(jié)果(λ=0.003 6)，(f)為自適應(yīng)時(shí)空正則化超分辨率重建結(jié)果(λ=0.001 9)，(g)～(j)是對視頻序列第 12幀的實(shí)驗(yàn)結(jié)果。

圖4 重建視頻的部分幀F(xiàn)ig.4 Some frames in reconstructed video sequence

從實(shí)驗(yàn)結(jié)果可以看到，雙三次插值和正則化系數(shù)過大的重建結(jié)果都很模糊。正則化系數(shù)過小，導(dǎo)致圖像太過銳化，圖像中多處有明顯的振鈴現(xiàn)象?；贚曲線的自適應(yīng)時(shí)空正則化重建結(jié)果則明顯好于其他幾種方法。圖5(a)和(b)是重建序列第1幀和第12幀時(shí)得到的L曲線圖及最優(yōu)的正則化系數(shù)值。

圖5 重建視頻得到的L曲線圖Fig.5 The L_Curve of the SR reconstruction(the 1st and 6th frame)

5 總結(jié)

為解決超分辨率重建的病態(tài)問題，提高解的穩(wěn)定性，必須引入正則化的方法。在正則化重建過程中，正則化系數(shù)的確定是一個(gè)難點(diǎn):過大的正則化系數(shù)會導(dǎo)致重建圖像過度平滑;正則化系數(shù)過小，又可能會導(dǎo)致圖像的過度銳化，也不能有效克服噪聲等因素對重建效果的影響。本文根據(jù)不同算子所具有的特點(diǎn)，并結(jié)合視頻序列的時(shí)間特性，在重建過程中引入了時(shí)空正則化算子。同時(shí)，算法中提出了一種基于L曲線的自適應(yīng)時(shí)空正則化系數(shù)計(jì)算方法，用以自動計(jì)算出最優(yōu)的正則化系數(shù)。通過模擬視頻序列和真實(shí)視頻序列的重建實(shí)驗(yàn)證明了所提算法的有效性。

使用基于L曲線的方法可以自動計(jì)算得到合適的正則化系數(shù)，有效地解決了如何確定正則化系數(shù)這一難點(diǎn)問題。但因?yàn)榛贚曲線的方法本質(zhì)是在數(shù)據(jù)項(xiàng)和正則化項(xiàng)之間尋找一種數(shù)值折衷，是基于數(shù)值的客觀分析，再考慮到不同的圖像給人的視覺感受不同等因素，該方法并不能保證對所有的視頻重建都能得到最優(yōu)的視覺效果，但基于L曲線的方法對絕大多數(shù)的重建效果都是優(yōu)異的。

[1]Shen H F，Zhang L P，Huang B，et al.A map approach for joint Motion estimation segmentation，and super resolution[J].IEEE Transactions on Image Processing，2007，16(2):479－490.

[2]Irani M，Peleg S.Motion analysis for image enhancement resolution，occlusion，and transparency [J].Journal of Visual Common Image Represent，1993(4):324 －335.

[3]曹聚亮，呂海寶，譚曉波，等.基于實(shí)時(shí)幀迭代反投影算法的圖像序列超分辨率處理[J].光學(xué)技術(shù)，2004，30(5):558－563.CAO Ju － liang，LV Hai－ bao，TAN Xiao － bo，et al.Superresolution of image sequences based on real－time frame iterative back － projection algorithm[J].Optical Technique，2004，30(5):558 －563.(in Chinese)

[4]范沖，龔健雅，朱建軍.一種基于去混疊影像配準(zhǔn)方法的POCS超分辨率序列圖像重建[J].測繪學(xué)報(bào)，2006，35(11):358 －363.FAN Chong，GONG Jian － ya，ZHU Jian － jun.POCS Super－resolution Sequence Image Reconstruction Based on Image Registration Excluded Aliased Frequency Domain[J].Acta GeodaetICA et Cartographica Sinica，2006，35(11):358 －363.(in Chinese)

[5]張進(jìn)，王仲，李雅潔，等.高精度影像測量系統(tǒng)中圖像的超分辨率重建[J].光學(xué)精密工程，2011，19(1):168 －174.ZHANG Jin，WANG Zhong，LI Ya － jie，et al.Super－ resolution reconstruction of image in high accuracy image measuring system[J].Optics and Precision Engineering，2011，19(1):168 －174.(in Chinese)

[6]Chen W L，He X H，Song H Y.An improved sequence －to－sequence alignment method combined with featurebased image registration algorithm[J].Journal of Information Science and Engineering，2012，28(3):617 －630.

[7]Borman S.Topics on multiframe superresolution restoration[D].Indiana，IN:University of Notre Dame，2004.

[8]Guo K，Yang X，Zha H，et al.Multiscale semilocal interpolation with antialiasing[J].IEEE Transactions on Image Processing，2012，21(2):615 －625.

[9]Chung J，Eldad N，James N.Numerical methods for coupled super － resolution[J].Inverse Problems，2006，22(4):1261－1272.

[10]商俊國，焦斌亮.多幀圖像的Tikhonov正則化重建算法研究[J].計(jì)算機(jī)應(yīng)用研究，2011，28(2):785 －791.SHANG Jun － guo，JIAO Bin － liang.Research on Tikhonov regularization multiframe images reconstruction algorithm[J].Application Research of Computers，2011，28(2):785 －791.(in Chinese)

[11]Vogel C R.Computational methods for inverse problems[M].Philadelphia:SIAM，2002:97－126.

[12]Bovik A C.Handbook of image and video processing[M].London:Academic Press，2009:141 －160.

[13]王宏志，趙爽，胡艷君.基于L－曲線正則化的MAP超分辨率圖像復(fù)原[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版)，2008，46(2):275 －278.WANG Hong － zhi，ZHAO Shang，HU Yan － jun.Super－resolution on Image Resolution with MAP Based on L－ Curve[J].Journal of Jilin University(Science Edition)，2008，46(2):275 －278.(in Chinese)