葉雙 楊曉敏 嚴(yán)斌宇

摘 要：在基于字典的圖像超分辨率（SR）算法中，錨定鄰域回歸超分辨率（ANR）算法由于其優(yōu)越的重建速度和質(zhì)量引起了人們的廣泛關(guān)注。然而，ANR算法的錨定鄰域投影并不穩(wěn)定，以致于不足以涵蓋各種樣式的映射關(guān)系。因此提出一種基于自適應(yīng)錨定鄰域回歸的圖像SR算法，根據(jù)樣本分布自適應(yīng)地計(jì)算鄰域中心從而以更精確的鄰域來(lái)預(yù)計(jì)算投影矩陣。首先，以圖像塊為中心，運(yùn)用K均值聚類算法將訓(xùn)練樣本聚類成不同的簇;然后，用每個(gè)簇的聚類中心替換字典原子來(lái)計(jì)算相應(yīng)的鄰域;最后，運(yùn)用這些鄰域來(lái)預(yù)計(jì)算從低分辨率（LR）空間到高分辨率（HR）空間的映射矩陣。實(shí)驗(yàn)結(jié)果表明，所提算法在Set14上平均重建效果以31.56dB的峰值信噪比（PSNR）及0.8712的結(jié)構(gòu)相似性（SSIM）優(yōu)于其他基于字典的先進(jìn)算法，甚至勝過(guò)超分辨率卷積神經(jīng)網(wǎng)絡(luò)（SRCNN）算法。同時(shí)，在主觀表現(xiàn)上看，所提算法恢復(fù)出了尖銳的圖像邊緣且產(chǎn)生的偽影較少。

關(guān)鍵詞： 圖像超分辨率;自適應(yīng)聚類;自適應(yīng)鄰域;K均值聚類算法

中圖分類號(hào)：TP391.41

文獻(xiàn)標(biāo)志碼：A

Abstract：Among the dictionary-based Super-Resolution （SR） algorithms， the Anchored Neighborhood Regression （ANR） algorithm has been attracted widely attention due to its superior reconstruction speed and quality. However， the anchored neighborhood projections of ANR are unstable to cover varieties of mapping relationships. Aiming at the problem， an image SR algorithm based on adaptive anchored neighborhood regression was proposed， which adaptively calculated the neighborhood center based on the distribution of samples in order to pre-estimate the projection matrix based on more accurate neighborhood. Firstly， K-means clustering algorithm was used to cluster the training samples into different clusters with the image patches as centers. Then， the dictionary atoms were replaced with the cluster centers to calculate the corresponding neighborhoods. Finally， the neighborhoods were applied to pre-compute the projection matrix from LR space to HR space. Experimental results show that the average reconstruction performance of the proposed algorithm on Set14 is better than that of other state-of-the-art dictionary-based algorithms with 31.56dB of Peak Signal-to-Noise Ratio （PSNR） and 0.8712 of Structural SIMilarity index （SSIM）， and even is superior to the Super-Resolution Convolutional Neural Network （SRCNN） algorithm. At the same time， in terms of the subjective performance， the proposed algorithm produces sharp edges in reconstruction results with little artifacts.

Key words：? image super-resolution; adaptive clustering; adaptive neighborhood; K-means clustering algorithm

0 引言

圖像的超分辨率（Super-Resolution， SR）技術(shù)是一種由軟件實(shí)現(xiàn)的，以提高圖像分辨率，豐富圖像細(xì)節(jié)信息為目的的技術(shù)。目前圖像超分辨率技術(shù)已廣泛應(yīng)用于很多領(lǐng)域中，如安全監(jiān)視[1]、刑事調(diào)查[2]、衛(wèi)星遙感[3]和醫(yī)學(xué)診斷[4]等。

由于高分辨率（High-Resolution， HR）圖像可以提供比低分辨率（Low-Resolution， LR）圖像更多的細(xì)節(jié)信息，因此在實(shí)際生活中被迫切需要。然而，由于低分辨率圖像產(chǎn)生的復(fù)雜性，且從低分辨率圖像映射到高分辨率圖像的過(guò)程在大多數(shù)情況下都是不可逆的，因此如何由已知的低分辨率圖像得到未知的高分辨率圖像是一個(gè)高度病態(tài)求解的問(wèn)題。近年來(lái)，人們針對(duì)這一問(wèn)題廣泛研究了許多圖像超分辨率算法，這些算法大致可以分為如下三類：基于插值的圖像超分辨率算法[5-11]、基于重建的圖像超分辨率算法[12-17]和基于學(xué)習(xí)的圖像超分辨率算法[18-28]。

基于插值的超分辨率算法通常采用某些插值函數(shù)來(lái)根據(jù)已知的低分辨率像素值估計(jì)相應(yīng)的高分辨率像素值。這一類算法不需要借助額外的數(shù)據(jù)進(jìn)行重建，且實(shí)現(xiàn)非常簡(jiǎn)單。雖然傳統(tǒng)的插值算法如雙三次或雙線性插值由于其計(jì)算復(fù)雜度低而被廣泛應(yīng)用，但其恢復(fù)出來(lái)的高分辨率圖像的細(xì)節(jié)相對(duì)模糊。并且，由于這一類算法僅僅只能利用有限的信息來(lái)估計(jì)未知信息而不能顯著增加圖像信息，因此隨著放大系數(shù)的增加，估計(jì)出的重建圖像效果會(huì)越來(lái)越差。

為了能利用更多的圖像信息，基于重建的圖像超分辨率算法使用了同一場(chǎng)景的多幅低分辨率圖像來(lái)重建高分辨率圖像。與基于插值的算法相比，基于重建的圖像超分辨率算法實(shí)質(zhì)上增加了重建中所需的信息，因此也實(shí)現(xiàn)了相對(duì)基于插值的超分辨率算法更好的結(jié)果。但是，該類算法的缺點(diǎn)也很明顯：首先，人們難以獲得多個(gè)在相同場(chǎng)景下的低分辨率圖像，這從很大程度上限制了該類算法的應(yīng)用;其次，基于重建的算法的重建性能通常在一定放大倍數(shù)后會(huì)受到制約;第三，由于相同場(chǎng)景下不同低分辨率圖像間存在像素偏移，因此在進(jìn)行特征預(yù)提取時(shí)需要先進(jìn)行圖像配準(zhǔn)，而圖像配準(zhǔn)的過(guò)程對(duì)一些失真嚴(yán)重的圖像來(lái)說(shuō)十分困難。

基于學(xué)習(xí)的圖像超分辨率算法利用圖像的先驗(yàn)知識(shí)來(lái)重建高分辨率圖像。該類算法在學(xué)習(xí)階段預(yù)先學(xué)習(xí)好高分辨率圖像塊與相應(yīng)的低分辨率圖像塊之間的映射關(guān)系，在重建階段通過(guò)學(xué)習(xí)到的映射關(guān)系生成具有更精細(xì)細(xì)節(jié)的高分辨率圖像。為了有效利用圖像間的不同假設(shè)和先驗(yàn)知識(shí)，研究人員先后提出了幾種基于學(xué)習(xí)的圖像超分辨率算法：

基于鄰域嵌入（Neighbor Embedding， NE）的超分辨率算法假設(shè)每個(gè)輸入的低分辨率圖像塊及其對(duì)應(yīng)的高分辨率圖像塊位于具有相似局部幾何的低維非線性流形上[26]，進(jìn)而通過(guò)流形關(guān)系進(jìn)行重建?；诰植烤€性嵌入（Locally Linear Embedding， LLE）的超分辨率算法假設(shè)不同放大尺寸的圖像塊共享相似的流形幾何結(jié)構(gòu)，因此高分辨率圖像塊可以通過(guò)流形關(guān)系所匹配到的低分辨率圖像塊來(lái)進(jìn)行重建[24]。然而，流形假設(shè)往往在實(shí)踐中并不精確，因此重建結(jié)果通常并不理想。為了克服這個(gè)缺點(diǎn)，Yang等[19]提出了一種基于稀疏編碼（Sparse Coding，SC）的圖像超分辨率算法，通過(guò)學(xué)習(xí)到的高低分辨率詞典的稀疏系數(shù)來(lái)構(gòu)建高低分辨率空間中圖像塊之間的對(duì)應(yīng)關(guān)系，進(jìn)而重建出高分辨率圖像?；谙∈杈幋a的圖像超分辨率算法主要瓶頸是其較高的計(jì)算復(fù)雜度，目前，研究人員針對(duì)這一問(wèn)題提出了許多降低計(jì)算復(fù)雜度的解決方案[20-21]。文獻(xiàn)[29]將改進(jìn)的K-SVD（K-Single Value Decomposition）和OMP（Orthogonal Matching Pursuit）算法引入基于稀疏編碼的圖像超分辨率算法中，在維持一定重建性能的同時(shí)，對(duì)訓(xùn)練詞典的過(guò)程以及重建過(guò)程進(jìn)行加速。隨后，Timofte等[20]提出了錨定鄰域回歸（Anchored Neighbor Regression， ANR）算法，

由于從低分辨率到高分辨率圖像的錨定線性回歸量（投影矩陣）可以離線計(jì)算，一旦學(xué)習(xí)了映射關(guān)系，就可以實(shí)時(shí)重建高分辨率圖像。因此，ANR算法在取得優(yōu)越的重建效果的同時(shí)也實(shí)現(xiàn)了極快的重建速度。ANR算法僅關(guān)注于從過(guò)完備字典中實(shí)現(xiàn)錨定鄰域的投影，然而，一組過(guò)完備字典并不能覆蓋各種形式的映射關(guān)系，因此在一定程度上限制了ANR算法的應(yīng)用。

為解決ANR算法中鄰域不精確問(wèn)題，本文提出了一種基于自適應(yīng)錨定鄰域回歸的圖像超分辨率算法，根據(jù)樣本分布來(lái)自適應(yīng)地選擇鄰域。本文算法的大致流程簡(jiǎn)述如下：首先，模糊并下采樣高分辨率圖像塊以得到高、低分辨率訓(xùn)練樣本對(duì);然后，應(yīng)用K均值聚類算法將高、低分辨率圖像塊分成不同的簇組，再由各簇組的聚類中心和高低分辨率字典原子的關(guān)系來(lái)構(gòu)建鄰域;最后，將這些鄰域用于預(yù)計(jì)算精確的錨鄰域投影（回歸量），并用于重建高分辨率圖像。本文主要工作如下：

1）使用K均值聚類算法將圖像塊聚類成幾個(gè)不同的簇來(lái)重新分配樣本空間，然后用聚類中心替代ANR算法中的字典作為錨點(diǎn)來(lái)計(jì)算鄰域。

2）用歐氏距離來(lái)重新計(jì)算每個(gè)聚類中心的鄰域，然后將這些鄰域應(yīng)用于計(jì)算離線存儲(chǔ)的投影矩陣（回歸量）。由于聚類中心是根據(jù)樣本分布形成的，因此本文算法可以實(shí)現(xiàn)鄰域的自適應(yīng)。

1 錨定鄰域回歸算法

ANR算法的核心是假設(shè)字典中的每個(gè)原子都可以由其最近的鄰域線性表示，因此，相同的表示系數(shù)可用來(lái)重建其高分辨率圖像。ANR算法使用與文獻(xiàn)[29]中相同的一組外部字典，且稱低分辨率稀疏詞典原子為錨點(diǎn)。然后，使用式（1）從一組學(xué)習(xí)字典中稀疏地重建高分辨率圖像：

其中：Dl和Dh是聯(lián)合學(xué)習(xí)的稀疏字典;Y和X是待訓(xùn)練的高低分辨率圖像塊對(duì);Z為稀疏表示系數(shù);φ為加權(quán)因子。字典D大小固定，不會(huì)隨著訓(xùn)練數(shù)據(jù)庫(kù)的增加而產(chǎn)生很大變化。

ANR算法首先將超分辨率問(wèn)題定義為一種嶺回歸問(wèn)題，進(jìn)而由嶺回歸的閉式解可以求解出低分辨率圖像鄰域與高分辨率圖像鄰域之間的相互關(guān)系，進(jìn)而重建出高分辨率圖像。具體來(lái)說(shuō)，對(duì)于每個(gè)字典原子，ANR算法首先計(jì)算離其最近的K樣本圖像塊作為其鄰域。然后，通過(guò)優(yōu)化低分辨率圖像塊來(lái)獲得相應(yīng)的高分辨率表示系數(shù)。上述過(guò)程可以表示為：

其中：Nl表示根據(jù)樣本圖像塊計(jì)算得到的鄰域，其對(duì)應(yīng)于鄰域嵌入中的輸入圖像塊Y的K個(gè)最近鄰，以及稀疏編碼和全局回歸（Global Regression， GR）[20]中的低分辨率字典Dl;λ為正則項(xiàng);α是用于重建高分辨率圖像塊的系數(shù)向量。式（2）的閉式解為：

求解得到的系數(shù)α可進(jìn)一步用來(lái)計(jì)算高分辨率圖像塊：

其中：Nh表示對(duì)應(yīng)于Nl的高分辨率圖像塊鄰域。由式（3）～（4）可以歸納出重建階段所使用的投影矩陣。由于投影矩陣與重建過(guò)程中的低分辨率圖像無(wú)關(guān)，因此投影矩陣可以離線計(jì)算：

整個(gè)ANR算法的重建過(guò)程只需通過(guò)計(jì)算一組矩陣乘法就可以得到解決：將預(yù)先計(jì)算好的回歸量PG與低分辨率輸入圖像塊Y相乘，就可以得到其對(duì)應(yīng)的高分辨率圖像塊X。

根據(jù)上述推導(dǎo)，ANR算法可以分別從訓(xùn)練階段和重建階段來(lái)確定錨點(diǎn)。在訓(xùn)練階段，ANR算法將每個(gè)字典原子作為劃分鄰域的中心，使用余弦距離計(jì)算離字典原子（即劃分鄰域的中心）最近的樣本來(lái)作為其鄰域。在重建階段，對(duì)于輸入的低分辨率樣本塊，ANR算法根據(jù)相關(guān)性匹配出與其最相關(guān)的字典原子，并使用該原子存儲(chǔ)的投影矩陣來(lái)生成高分辨率圖像塊。然而，由于字典原子并不能準(zhǔn)確地由其固定尺寸的鄰域來(lái)進(jìn)行表示，導(dǎo)致樣本空間的不精確劃分。因此，本文提出了一種自適應(yīng)方式的算法來(lái)確定鄰域并用自適應(yīng)鄰域重建高分辨率圖像。具體地，對(duì)于每個(gè)訓(xùn)練樣本塊，計(jì)算離它最近的K個(gè)圖像塊作為其鄰域，并且將每個(gè)圖像塊本身作為其鄰域分組的中心。

2 本文算法

本文算法包含四個(gè)關(guān)鍵步驟：1）選擇Yang算法[19]中用于訓(xùn)練稀疏字典對(duì)的樣本作為本文的訓(xùn)練樣本，并根據(jù)樣本的自相似性將訓(xùn)練樣本聚類成若干簇;2）對(duì)于每個(gè)簇的聚類中心，找到離其最近的K個(gè)圖像塊作為其鄰域;3）使用目標(biāo)鄰域離線計(jì)算投影矩陣;4）利用預(yù)先計(jì)算的投影矩陣重建高分辨率圖像塊。

本文框架如圖1所示。

2.1 訓(xùn)練樣本的選擇

本文選取Yang算法[19]中用于訓(xùn)練稀疏字典的訓(xùn)練樣本來(lái)進(jìn)行聚類，由于本文使用聚類中心來(lái)替換ANR算法中的字典原子作為中心進(jìn)而來(lái)計(jì)算鄰域，因此在本文算法中不需要用到字典。

2.2 圖像塊聚類

與SC和GR方法相同，本文選擇整個(gè)字典來(lái)獲取最終的高分辨率圖像塊。

然而，原子周圍的局部流形更能由內(nèi)部的密集樣品而非一組外部臨近原子來(lái)表示。

因此，用聚類中心的鄰域替換整個(gè)詞典來(lái)重建高分辨率圖像塊是很有必要的。特別地，本文將訓(xùn)練樣本圖像塊聚類成不同的簇，用聚類中心作為鄰域中心來(lái)重新分割樣本空間。具體而言，對(duì)于第i個(gè)聚類中心mi，本文選擇離其最近的K個(gè)圖像塊作為其鄰域Nil，相應(yīng)地，對(duì)應(yīng)的高分辨率鄰域Nih也可以獲得。低分辨率鄰域Nil及其高分辨率鄰域Nih構(gòu)成第i個(gè)聚類對(duì)，并代表低、高分辨率鄰域之間的對(duì)應(yīng)關(guān)系。由于本文算法是根據(jù)訓(xùn)練樣本的分布自適應(yīng)地獲得聚類中心，因此可以更精確地劃分樣本空間，從而提升重建效果。

2.3 投影矩陣計(jì)算

如第1章所述，ANR算法在重建速度方面取得了顯著成就，因此，在本文算法中將繼續(xù)沿用這一優(yōu)勢(shì)。對(duì)于第i個(gè)低分辨率聚類中心mi，本文使用式（6）計(jì)算投影矩陣Pi：

其中：Nil表示第i個(gè)聚類中心在低分辨率空間的鄰域;Nih是其對(duì)應(yīng)在高分辨率空間的鄰域。

2.4 高分辨率圖像塊重建

在重建階段，對(duì)于給定的低分辨率圖像塊yi，在訓(xùn)練樣本庫(kù)中選擇離其最近的聚類中心mi并計(jì)算相應(yīng)的投影矩陣Pi。然后，待重建的高分辨率圖像塊xi可以通過(guò)與ANR算法相同的方式獲得，xi= yiPi。因?yàn)橐呀?jīng)在訓(xùn)練階段獲得并存儲(chǔ)了所有錨點(diǎn)及其投影矩陣，所以超分辨率過(guò)程的計(jì)算成本可以得到顯著降低。

本文算法通過(guò)用聚類中心替換ANR算法中的字典原子作為錨點(diǎn)來(lái)獲得鄰域，并且基于聚類中心來(lái)搜索適當(dāng)?shù)泥徲虼笮∫垣@得最終精確的高分辨率圖像塊。

鄰域大?。〝?shù)量）對(duì)重建效果的影響將通過(guò)實(shí)驗(yàn)進(jìn)行分析討論。

簡(jiǎn)而言之，本文算法能自適應(yīng)地選擇基于樣本的鄰域，更合理地選取錨點(diǎn)從而更精確地表示圖像，因此可以獲得優(yōu)于其他先進(jìn)算法的重建效果。

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集

在本節(jié)中，通過(guò)與先進(jìn)算法進(jìn)行比較來(lái)驗(yàn)證所提出的圖像超分辨率算法的有效性。為公平比較，本文選擇與Yang算法[19]和Zeyde算法[29]相同的訓(xùn)練集，該訓(xùn)練集包含91張高分辨率圖像。本文使用下采樣系數(shù)×3對(duì)高分辨率圖像進(jìn)行下采樣，并且通過(guò)雙三次插值生成具有相同大小的低分辨率圖像以構(gòu)建高、低分辨率字典對(duì)，該字典對(duì)應(yīng)用于所有參與比較的基于稀疏編碼的超分辨率算法。本文選擇了兩個(gè)常見的數(shù)據(jù)集Set5[29]和Set14[30]用來(lái)測(cè)試，分別包含5和14張RGB圖像。

3.2 參數(shù)設(shè)置

本文的參數(shù)沿用ANR算法中的設(shè)置：錨點(diǎn)數(shù)為1024，低分辨率和高分辨率圖像的訓(xùn)練樣本數(shù)為500000，放大因子為3，歸一化因子λ為0.1。此外，本文將聚類簇?cái)?shù)量設(shè)置為1024。所有實(shí)驗(yàn)都在具有Intel Core i5-6400和8GB RAM的Windows 7（64位）上進(jìn)行。

3.3 參數(shù)靈敏度

3.3.1 聚類數(shù)量對(duì)重建效果的影響

本文設(shè)置了不同的聚類數(shù)量來(lái)進(jìn)行廣泛的實(shí)驗(yàn)，以此來(lái)驗(yàn)證本文算法在不同簇?cái)?shù)下的性能。圖2顯示了不同聚類數(shù)量下本文算法在數(shù)據(jù)集Set5上的平均峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）值。從圖2可以看出：當(dāng)放大簇?cái)?shù)直到值達(dá)到峰值256時(shí)，PSNR值增加，當(dāng)簇?cái)?shù)超過(guò)256后PSNR值開始減小。因此，對(duì)本文算法256為最佳聚類數(shù)量。為了公平地與其他先進(jìn)方法算法進(jìn)行比較，本文在實(shí)驗(yàn)中沿用ANR算法中的字典大小1024作為聚類數(shù)量。越大的聚類數(shù)量可以涵蓋更多圖像隱含的映射關(guān)系，進(jìn)而可以越精確地對(duì)重建圖像塊進(jìn)行越精細(xì)的表征。但是，在一定的訓(xùn)練圖像規(guī)模下，隨著聚類數(shù)量的增多，每一簇所含的樣本量會(huì)逐漸地減少，進(jìn)而在重建時(shí)對(duì)圖像的表征不是很完全而導(dǎo)致重建性能的降低。

3.3.2 鄰域數(shù)量對(duì)重建效果的影響

由之前的陳述可知，從理論上講，鄰域數(shù)量越多重建高分辨率圖像的結(jié)果就越準(zhǔn)確，因此，隨著鄰域數(shù)量的增加，將獲得更高質(zhì)量的高分辨率圖像。在訓(xùn)練階段，本文通過(guò)設(shè)置不同的鄰域數(shù)量來(lái)證明這一假設(shè)，然后分析所有測(cè)試圖像的PSNR，實(shí)驗(yàn)結(jié)果如圖3所示。

[21] ZHAO J， HU H， CAO F. Image super-resolution via adaptive sparse representation[J]. Knowledge-Based Systems， 2017， 124： 23-33.

[22] HUANG K， HU R， JIANG J， et al. Face image super-resolution through improved neighbor embedding[C]// Proceedings of the 2016 International Conference on Multimedia Modeling， LNCS 9516. Cham： Springer， 2016： 409-420.

[23] PARK J S， SOH J W， CHO N I. High dynamic range and super-resolution imaging from a single image[J]. IEEE Access， 2018， 6： 10966-10978.

[24] CHANG H， YEUNG D Y， XIONG Y. Super-resolution through neighbor embedding[C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2004： I-I.

[25] ZHANG K， TAO D， GAO X， et al. Learning multiple linear mappings for efficient single image super-resolution[J]. IEEE Transactions on Image Processing， 2015， 24（3）： 846-861.

[26] JIANG J， MA X， CHEN C， et al. Single image super-resolution via locally regularized anchored neighborhood regression and nonlocal means[J]. IEEE Transactions on Multimedia， 2017， 19（1）： 15-26.

[27] TIMOFTE R， ROTHE R， van GOOL L. Seven ways to improve example-based single image super resolution[C]// Proceedings of the IEEE 2016 Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1865-1873.

[28] DOU Q， WEI S， YANG X， et al. Medical image super-resolution via minimum error regression model selection using random forest[J]. Sustainable Cities and Society， 2018， 42： 1-12.

[29] ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations[C]// Proceedings of the 2010 International Conference on Curves and Surfaces， LNCS 6920. Berlin： Springer， 2010： 711-730.

[30] BEVILACQUA M， ROUMY A， GUILLEMOT C， et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding[EB/OL]. [2019-01-12]. http：//people.rennes.inria.fr/Aline.Roumy/publi/12bmvc_Bevilacqua_lowComplexitySR.pdf.

[31] DONG C， LOY C C， HE K， et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（2）： 295-307.