莫建文，曾兒孟，張 彤，袁 華

?

基于幾何字典學習和耦合約束的超分辨率重建

莫建文1，曾兒孟1，張 彤2，袁 華1

（1. 桂林電子科技大學 信息與通信學院，廣西 桂林 541004；2. 桂林電子科技大學 機電工程學院，廣西 桂林 541004）

傳統(tǒng)的基于稀疏表示的超分辨率重建算法對所有圖像塊，應用單一冗余字典表示而不能反映不同幾何結(jié)構(gòu)類型圖像塊間的區(qū)別。針對這一問題，本文探索圖像局部幾何結(jié)構(gòu)特性，提出一種基于結(jié)構(gòu)特性聚類的幾何字典學習和耦合約束的超分辨率重建方法。該方法首先對訓練樣本圖像塊進行幾何特性聚類，然后應用K-SVD算法為每個聚類塊聯(lián)合訓練得到高低分辨率字典。此外，在重建過程中引入局部可控核回歸和非局部相似性耦合約束，以提高重建圖像質(zhì)量。實驗結(jié)果表明，與單一字典超分辨率算法相比，本文方法重建圖像邊緣和細節(jié)部分明顯改善，評價參數(shù)較大提高。

幾何聚類；字典學習；稀疏表示；局部可控核回歸；非局部相似

0 引言

圖像超分辨率（Super-Resolution，SR）技術(shù)是指利用硬件或者軟件方法，從一幅或者一組低分辨率（Low-Resolution，LR）重建相同場景高分辨率圖像（High-Resolution，HR）的過程。因其能最大限度恢復圖像中丟失的高頻細節(jié)信息，該技術(shù)在醫(yī)學圖像、衛(wèi)星圖像和監(jiān)控圖像領(lǐng)域有廣泛的應用[1]。在軟件研究領(lǐng)域，與傳統(tǒng)的基于插值方法[2]和基于重建方法[3]相比，基于學習方法[4-8]重建圖像質(zhì)量更優(yōu)，所以大多數(shù)學者的研究都建立在該方法之上。

為了獲得可靠的HR圖像，Yang等[4-5]應用稀疏表示算法，利用高低分辨率圖像塊之間的對應關(guān)系，提出了耦合字典訓練思想，即同時訓練生成出高分辨率冗余字典h和低分辨率冗余字典l，保證了高低分辨率圖像稀疏表示系數(shù)的一致性。但是作者并沒有對生成字典的過程進行優(yōu)化，導致字典訓練時間過長。Zeyde[9]對Yang[4]的方法存在的問題進一步研究，采用效率更高的K-SVD算法兩步生成字典l和h，其做法是首先用PCA（Principal Component Analysis）對LR圖像塊做降維處理；其次采用K-SVD對LR圖像塊訓練得到LR字典l；最后利用高低分辨率圖像塊對應的關(guān)系求其偽逆得到高分辨率字典h。Wang[10]借鑒聯(lián)合字典學習方法，提出半耦合字典訓練模型，生成高低分辨率字典以及高低分辨率稀疏系數(shù)空間的映射矩陣。雖然該方法能確保了訓練誤差的最小化，但是生成的矩陣不能表示兩個字典之間的關(guān)系，導致重建結(jié)果不夠理想。

近年來，隨機器學習技術(shù)的快速發(fā)展，很多非參數(shù)回歸方法[10]應用到圖像恢復中。其中，由于可控核回歸（Steering Kernel Regresssion，SKR）[11]算法有較強的局部結(jié)構(gòu)自適應能力和噪聲魯棒性，因而得到廣泛應用。另外，自然圖像中的局部塊的非局部相似性（Non-local simi-larity，NLS）[12]有助于保持邊緣細節(jié)和抑制噪聲，并且與稀疏編碼的有機組合可以極大提高重建圖像的性能。

雖然基于稀疏表示重建方法[4,9,13]都取得一定的成績，但這些方法僅訓練單一的冗余字典對，而單一字典對所有圖像塊進行稀疏編碼時，不足以反映不同結(jié)構(gòu)類型圖像塊間的區(qū)別，從而導致重建得到的圖像在一定程度上出現(xiàn)偽影效應。針對這一問題，本文提出了基于結(jié)構(gòu)特性聚類的幾何字典學習和耦合約束的SR重建方法。該方法在稀疏表示算法的基礎(chǔ)上探索圖像局部幾何結(jié)構(gòu)特征，對具有幾何特性相似的圖像塊聚類，并應用K-SVD算法[14]對每類圖像塊聯(lián)合訓練對應的高低分辨率字典；然后應用學習到的聚類字典進行圖像SR重建；最后引入局部可控核回歸和非局部相似性耦合約束，從而提高重建HR圖像質(zhì)量。實驗表明，本文提出方法的重建圖像在主觀視覺效果和客觀評價參數(shù)都優(yōu)于相比較的幾種算法。

1 基于稀疏表示的SR重建

單幅圖像的SR重建問題是指利用給定的LR圖像，重建恢復成相同場景的圖像。其降質(zhì)模型為：

＝＋(1)

式中：為下采樣算子；為模糊算子；為額外添加的噪聲。單幅圖像SR重建的目標就是從中精確恢復出。

基于稀疏表示理論[4]的SR重建算法如下：給定圖像塊x＝RX和HR的過完備字典h，其中R是指從圖像中線性提取圖像塊的操作，利用h中系列合適的原子線性表示x，數(shù)學的表達式為：

式中：是HR塊的稀疏系數(shù)；同時也可以作為對應LR塊的稀疏系數(shù)y＝l。這里的高低分辨率字典h和l由對應的高低分辨率圖像塊訓練生成。所以第個圖像塊的稀疏表示系數(shù)可由以下公式最優(yōu)化求出：

由上式得到的最優(yōu)解*，結(jié)合HR字典h，即可得到重建的HR塊x＝h*，最后把所有的重建HR圖像塊通過以下公式(4)線性加權(quán)得到重建的HR圖：

2 本文算法

為增強冗余字典的稀疏編碼能力，本文探索自然圖像中局部塊的幾何結(jié)構(gòu)特性，對訓練字典的圖像塊樣本進行幾何結(jié)構(gòu)聚類。按照結(jié)構(gòu)不同進行平滑塊聚類、不規(guī)則塊聚類和邊緣塊聚類；然后再對邊緣塊按相同梯度角聚類；進而應用改進的K-SVD算法對每個聚類塊訓練冗余字典對；最后對圖像塊進行稀疏編碼重建，并按照重疊對應關(guān)系恢復HR圖像。

2.1 幾何結(jié)構(gòu)特征聚類

圖像塊聚類算法有多種。為了減少計算量，本文應用方差進行平滑塊類和非平滑類區(qū)分，圖像塊方差的計算公式如下：

設(shè)圖像塊中像素點x的梯度為g＝[gh, gn]，其梯度矩陣為＝[1,2, …,g]，根據(jù)文獻[15-16]在中所有像素點梯度g的平均值與圖像塊的軸向正交，軸向估計問題可通過求解向量表示為：

圖像塊梯度場的主方向是最小奇異值所對應的奇異分量，對進行奇異值分解＝，其中是2×2的正交矩陣，第一列1表示圖像塊的梯度場主導方向；矩陣大小為×2，可以得到的奇異值1和2，1代表梯度場主導方向上的能量，2代表與梯度場主導方向正交方向上的能量。

設(shè)定參數(shù)判別邊緣塊和不規(guī)則塊：

如果計算出的小于設(shè)定的閾值*（設(shè)為0.05），則判定為不規(guī)則塊，反之判定為邊緣塊。

最后一步是對邊緣塊進行主導方向的判定。根據(jù)圖像塊主方向1，計算梯度角度：

對逆時針旋轉(zhuǎn)90°即可得到圖像塊的梯度角度，并以此對邊緣塊進行不同角度分類。圖1為選取的兩個角度的圖像塊聚類效果。

2.2 字典的構(gòu)造

經(jīng)過對圖像塊幾何結(jié)構(gòu)特性聚類，我們獲得到了類HR圖像塊集{h(1),h(2),…,h(K)}和對應的LR塊集{l(1),l(2),…,l(K)}，字典訓練過程把文獻[4]的聯(lián)合字典生成思想和文獻[9]的K-SVD訓練方法相結(jié)合，既保證了保證高低分辨率具有相同的稀疏表示，又發(fā)揮了K-SVD訓練的高效性。

圖1 梯度角度聚類效果

對第類高、低分辨率圖塊h(i)和l(i))應用下列公式(9)訓練對應類的子字典對：

和分別表示高、低分辨率圖像塊的維數(shù)，表示高低分辨率塊共同的稀疏編碼系數(shù)，表示稀疏度的閾值。對上式公式，進行如下的變換：

應用OMP（Orthogonal Matching Pursuit）算法求解上式得到稀疏編碼系數(shù)，然后結(jié)合HR字典D(K)可恢復對應的HR塊x＝D(K)。最后把所有重建的HR塊在重疊部分加權(quán)平均處理，按以下公式(12)到重建的HR圖像：

2.3 局部可控核回歸（SKR，Steer Kernel Re-gression）約束

基于圖像局部平滑假設(shè)，SKR在圖像恢復領(lǐng)域中得到廣泛應用[10]，它能自適應圖像局部塊的條形或者橢圓形等邊緣形狀結(jié)構(gòu)，具有較強的邊緣保持能力和較高的噪聲魯棒性，能恢復出清晰的邊緣。在圖像中，圖像塊的中心像素估計，表示為：

式中：X為估計的中心像素值；q是一個鄰域像素值的列向量，而w則為對應鄰域像素權(quán)重w(,)的列向量。在SKR模型中，權(quán)值通過以下公式(14)計算：

式中：是位于x的梯度協(xié)方差矩陣；k為可控核的平滑參數(shù)；表示局部采樣數(shù)據(jù)密度的標量（本文設(shè)＝1）。

將局部核回歸與圖像塊的組合，整幅圖像通過以下公式估計：

式中：為平衡因子，上式公式(15)可以寫成：

其中為單位矩陣，且：

2.4 非局部相似性（NLS，Non-Local Similarity）約束

研究表明自然圖像中包含很多非局部相似的重復結(jié)構(gòu)和形狀，且這些非局部冗余信息具有增強圖像的稀疏分解穩(wěn)定性和提高圖像質(zhì)量的作用[12-13]。本文引入非局部相似性約束的正則項來消除振鈴問題從而提高重建圖像的質(zhì)量。

給定中心像素為X的圖像塊x，根據(jù)歐幾里德距離最小的準則在整幅圖像中搜索它的所有相似塊x(＝1, 2, …,)。所以，圖像塊的像素X可以通過以下公式獲?。?/p>

式中：X表示圖像塊x的中心像素；w(,)表示圖像中像素X和X的相似度權(quán)值，通過以下公式計算：

式中：h是權(quán)重的控制項。通過下式(20)引入NLM約束正則項來估計圖像：

式中：為平衡參數(shù)；p為包含所有像素X的列向量，且w是包含權(quán)值w(,)的列向量，上式可以寫成如下形式：

式中：為單位矩陣，且：

2.5 局部和非局部約束

考慮圖像的局部和非局部特性，并有效地結(jié)合起來，把第2.3節(jié)的局部核回歸約束和第2.4節(jié)的非局部相似性約束組合作為圖像重建的耦合約束，重建目標函數(shù)可以寫成如下形式：

式(23)是一個凸優(yōu)化問題，且式中含有3個變量、和，其求解過程是先利用公式(24)對稀疏重建的圖像塊加權(quán)平均得到初始化估計的HR圖像：

最后，通過交替更新變量、和，直到重建誤差小于設(shè)定的閾值或者更新次數(shù)達到最大，從而獲得重建的HR圖像。

2.6 基于幾何字典學習和耦合約束的圖像超分辨率重建方法

本文提出的方法流程如下：

Input：測試圖像；訓練樣本集{h,l}，h為HR訓練塊集，l為LR訓練塊集；放大因子；

1）根據(jù)幾何結(jié)構(gòu)特性，對訓練樣本集進行幾何特性聚類{h(i),l(i)}；并對按公式(10)訓練生成對應的子字典對{h(i),l(i)}；

3）分別應用公式(19)計算NLS的權(quán)值矩陣和公式(14)計算SKR權(quán)值矩陣，通過最小化公式(25)更新重建的HR圖像；

3 實驗仿真及結(jié)果分析

本文的實驗中，選擇與Yang et al.[4]相同的包括建筑、人、花草和動物等69張自然圖像作為訓練樣本。并從中抽?。ǎ?000）塊圖像塊作為字典訓練樣本塊，圖像塊大小為5×5，按照圖像塊的幾何結(jié)構(gòu)特性聚類，其中邊緣塊按梯度角度每間隔30°進行一次聚類，從而樣本總共分成（＝8）類訓練塊，應用K-SVD算法迭代40次分別為每個聚類塊訓練原子數(shù)為512、稀疏度＝3的冗余子字典對。SKR權(quán)值計算需要的平滑參數(shù)h取0.75，非局部相似平滑參數(shù)h取15。更新迭代重建HR圖像中平衡因子取0.03，取0.05。

實驗過程，以雙三次插值算法Bicubic作為基準算法，把最近提出的訓練了單一冗余字典的算法ScSR[4]、SUSR[9]、SCDL[10]與本文提出的方法1和方法2進行比較，本文方法1是指未引入耦合約束，僅是幾何結(jié)構(gòu)特性字典稀疏重建結(jié)果，本文方法2是引入耦合約束后的重建結(jié)果。實驗中，采用人臉、斑馬、花朵等10張常用的圖片作為測試圖像。對輸入的LR圖像進行3倍放大，即放大因子＝3。重建結(jié)果對比如圖2～3，其中展示僅為截取關(guān)鍵部分進行對比，同時重建圖像與原高分辨率圖像的峰值信噪比（PSNR）和結(jié)構(gòu)相似度（SSIM）對比如表1～表2所示。

觀察圖2～圖3中flowers的花瓣花粒以及l(fā)ena帽子上的紋理細節(jié)，基準算法Bicubic基于平滑假設(shè)得到重建結(jié)果丟失大部分細節(jié)信息，圖像表面過于平滑，而基于稀疏表示的SR算法都獲得比插值算法更為尖銳的邊緣，效果更優(yōu)。ScSR稀疏表示重建結(jié)果在紋理細節(jié)部分得到一定保存，效果優(yōu)于基準算法，但花粉粒出現(xiàn)模糊不清狀況。SUSR在圖像預處理和字典訓練階段的方法與ScSR的有所區(qū)別，前者采用包含高頻細節(jié)信息的差值圖像進行SR重建，高頻細節(jié)由原HR圖像減去插值放大的圖像得到，但是由于插值法放大的圖像過于平滑，得到的差值圖像不能體現(xiàn)圖像的高頻細節(jié)信息，從而重建的帽子條紋出現(xiàn)平滑和邊緣偽影效果。雖然SCDL方法應用了稀疏系數(shù)的映射關(guān)系獲得較低的訓練誤差，但是該映射關(guān)系不能保證得到較低的重建誤差，因而重建帽子條紋出現(xiàn)平滑不連續(xù)，恢復的花瓣花粒細節(jié)信息較少，視覺效果不理想。而本文提出的方法1考慮了樣本塊的幾何結(jié)構(gòu)特性的，學習的字典自適應重建具有不同幾何結(jié)構(gòu)類型的圖像塊，恢復的帽子邊緣尖銳、偽影不明顯，但是對于局部雜亂無章結(jié)構(gòu)的花粒仍存在平滑狀況；而在方法2中引入局部和非局部約束并將兩者有效結(jié)合對重建HR圖像進行迭代更新后，重建帽子條紋清晰、尖銳，局部無規(guī)則的花粉粒重建效果相比方法1也更清晰、細節(jié)更細膩，整體視覺效果與原始圖像更接近。

從客觀評價參數(shù)上比較，表1～表2可以看出，稀疏表示算法的重建結(jié)構(gòu)都比基準算法有較高的PSNR和SSIM，而本文提出方法2的與其他的方法相比較，PSNR提高最大接近0.6dB，平均也有大約0.3dB的提高，即無論是從單一數(shù)值和統(tǒng)計平均上都是最高。另外，在時間復雜度上，本文方法采用精簡字典的稀疏重建方法，相比于ScSR的單一冗余字典，重建時間縮短1.5～2.5倍；與SUSR相比不相上下；而SCDL由于在高低分辨率特征空間中均訓練32個聚類字典，故重建的時間最長。

4 總結(jié)

本文提出了基于圖像塊結(jié)構(gòu)特性聚類幾何字典學習和耦合約束的圖像超分辨率重建方法。該方法探索圖像塊幾何結(jié)構(gòu)特性，對具有相同結(jié)構(gòu)性質(zhì)的圖像塊聚類并應用結(jié)合了耦合字典訓練思想相結(jié)合的K-SVD算法，為每類圖像塊訓練冗余字典；在重建階段引入局部可控核回歸和非局部相似性耦合約束，以此獲得質(zhì)量更好的重建圖像。雖然基于幾何字典的方法1重建結(jié)果較之相比的算法略好，但在重建密集雜亂不規(guī)則細節(jié)時仍表現(xiàn)不夠理想，然而引入了耦合約束后的方法2改善了這一問題，重建的質(zhì)量得到較大的提高。相比文中提到的訓練單一字典的稀疏重建算法，本文方法重建結(jié)構(gòu)在主觀視覺效果更好、客觀評價參數(shù)更高。

圖2 flowers原始HR及各方法重建結(jié)果對比

圖3 Lena 原始HR及各方法重建結(jié)果對比

表1 本文測試圖像重建結(jié)果PSNR對比

表2 本文測試圖像重建結(jié)果SSIM對比

[1] 江靜, 張雪松. 圖像超分辨率重建算法綜述[J]. 紅外技術(shù), 2012, 34(1): 24-30.

[2] Zhang D, Wu X. An edge-guided image interpolation algorithm via directional filtering and data fusion[J]., 2006, 15(8): 2226-2238.

[3] Rasti P, Demirel H, Anbarjafari G. Image resolution enhancement by using interpolation followed by iterative back projection[C]// 21.(), 2013: 1-4.

[4] Yang Jian-chao, Wright J, Huang T S, et al. Image super-resolution via sparse representation[J]., 2010, 19(11): 2861-2873.

[5] Yang J, Wright J, Huang T, et al. Image super-resolution as sparse representation of raw image patches[C]//, 2008: 1-8.

[6] Yu J, Gao X, Tao D, et al. A unified learning framework for single image super-resolution[J]., 2014, 25(4): 780-792.

[7] Zhou F, Yuan T, Yang W, et al. Single-image super-resolution based on compact KPCA coding and Kernel regression[J]., 2015, 22(3): 336-340.

[8] Peleg T, Elad M. A statistical prediction model based on sparse representations for single image super-resolution[J].:, 2014, 23(6): 2569-2582.

[9] Zeyde R, Elad M, Protter M. On single image scale-up using sparse-representations[M]., Springer Berlin Heidelberg, 2012: 711-730.

[10] Wang S, Zhang D, Liang Y, et al. Semi-coupled dictionary learning with applications to image super-resolution and photo-sketch synthesis[C]//(), 2012: 2216-2223.

[11] Takeda H, Farsiu S, Milanfar P. Kernel regression for image processing and reconstruction[J]., 2007, 16(2): 349-366.

[12] ZHANG Kaibing, GAO Xinbo, TAO Dacheng, et al. Single image super-resolution with non-local means and steering Kernel regression[J]., 2012, 21(11): 4544-4556.

[13] 首照宇, 吳廣祥, 陳利霞. 基于字典學習和非局部相似的超分辨率重建[J]. 計算機應用, 2014, 34(11): 3300-3303.

[14] Rubinstein R, Peleg T, Elad M. Analysis K-SVD: A dictionary-learning algorithm for the analysis sparse model[J]., 2013, 61(3): 661-677.

[15] Feng X G, Milanfar P. Multiscale principal components analysis for image local orientation estimation[C]//, 2002, 1: 478-482.

[16] Yang S, Wang M, Chen Y, et al. Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding[J]., 2012, 21(9): 4016-402.

Super-resolution Reconstruction Based on Geometric Dictionary Learning and Coupled Regularization

MO Jian-wen1，ZENG Er-meng1，ZHANG Tong2，YUAN Hua1

(1.School of Information and Communication, Guilin University of Electronic Technology, Guilin 541004, China;2.Electromechanical Engineering College, Guilin University of Electronic Technology, Guilin 541004, China)

Traditional super-resolution algorithms based on sparse representation of image patches exploit single redundant dictionary to represent the image patches that contain various textures, which can not reflect the differences of various image patches types. In order to overcome this disadvantage, this paper proposes a single image super resolution reconstruction method based on geometric dictionary learning and coupled regularization, by exploring the local geometric property of image patches. A large number of training image patches are clustered into several groups by their geometric property, from which the corresponding “geometric dictionaries” are learned via K-SVD algorithm which is combined with the idea that the high and low resolution dictionaries can be co-trained. In addition, a coupled regularization of local steering kernel regression and non-local similarity is introduced into the proposed method to further improve the quality of the reconstructed images. Experiment results show that the proposed method both increases the evaluation parameters and improves the visual quality of the edges and the details significantly.

geometric clustering，dictionary learning，sparse representation，local steering kernel regression，non-local similarity

TP393

A

1001-8891(2015)08-0664-08

2015-04-26；

2015-05-13.

莫建文（1972-），男，廣西平男人，博士，副教授，碩士研究生導師，研究方向為圖像處理、模式識別、智能信息處理。E-mail：mo_jianwen@126.com。

國家自然科學基金，編號：61362021；廣西自然科學基金，編號：2013GXNSFDA019030，2013GXNSFAA019331，2014GXNSFDA118035；廣西科技開發(fā)項目，編號：桂科攻1348020-6，桂科能1298025-7；廣西教育廳項目，編號：201202ZD044，2013YB091；桂林市科技攻關(guān)項目，編號：20130105-6，20140103-5；桂林電子科技大學研究生教育創(chuàng)新計劃項目，編號：YJCXS201534。