端木春江 左德遙 趙頔

摘 要： 由于傳統(tǒng)的基于插值的圖像超分辨率算法容易使圖像的邊緣部分出現(xiàn)模糊或過(guò)度平滑的現(xiàn)象，對(duì)此提出一個(gè)僅沿圖像邊緣方向進(jìn)行插值的算法，使垂直于邊緣方向上的像素點(diǎn)不參與插值和濾波，從而減少圖像過(guò)度平滑的幾率。該算法首先檢測(cè)圖像的邊緣，然后對(duì)邊緣點(diǎn)沿量化的邊緣方向進(jìn)行三次樣條（cubic spline）插值；對(duì)平滑點(diǎn)，先用雙立方（bi-cubic）插值算法進(jìn)行插值，再用各向異性算子進(jìn)行濾波。實(shí)驗(yàn)表明，所提出算法的性能好于原有的超分辨率插值算法。

關(guān)鍵詞： 圖像處理； 圖像超分辨率； 圖像放大； 圖像插值

中圖分類(lèi)號(hào)：TP37 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2018）03-01-03

The edge keeping super-resolution algorithm for real-time applications

Duanmu Chunjiang， Zuo Deyao， Zhao Di

（Zhejiang Normal University， Jinhua， Zhejiang 321004， China）

Abstract： Since the blur and the over-smooth phenomenons often appears in the traditional interpolation-based image super-resolution algorithms in the literature， a new super-resolution algorithm is proposed， which only interpolates the pixels along the edge direction. In this way， the pixels lying perpendicular to the image edges do not participate in the interpolation and filtering， so that the over-smooth occurring probability can be reduced. In this algorithm， the image edges are firstly detected. Then， the cubic spline interpolation is carried out along the image edge direction for the edge pixels， and the bi-cubic interpolation and an-isotropic filtering are carried out for the smooth pixels. Experimental results show that the proposed algorithm performs better than the original interpolation-based super-resolution algorithms.

Key words： image processing； image super-resolution； image magnification； image interpolation

0 引言

通過(guò)單幅參考圖像的超分辨率方法可以把一幅低分辨率的圖像放大為一幅高分辨率的圖像，以提高圖像的分辨率和清晰度。因而，其成為近年來(lái)的研究熱點(diǎn)，并具有廣泛的應(yīng)用，如：對(duì)遙感圖像、醫(yī)學(xué)圖像、監(jiān)控圖像、互聯(lián)網(wǎng)中圖像等所做的提高其分辨率的清晰化處理。傳統(tǒng)的超分辨率放大的方法分為：基于插值的方法[5]、基于樣例的方法[2]、基于稀疏表示的方法[1]、和基于深度學(xué)習(xí)的方法[4]。由于只有基于插值的方法具有較小的計(jì)算復(fù)雜度，適合于實(shí)時(shí)的應(yīng)用，這里主要考慮對(duì)已有最優(yōu)的插值方法[6]的改進(jìn)。

傳統(tǒng)的基于插值的超分辨率處理算法具有簡(jiǎn)單快速的特點(diǎn)。因而，可廣泛地應(yīng)用于實(shí)時(shí)地高清視頻放大的場(chǎng)合。其他的超分辨處理的算法，由于計(jì)算復(fù)雜度高，耗時(shí)久，而不適于實(shí)時(shí)場(chǎng)合下應(yīng)用。但是，傳統(tǒng)的基于插值的算法容易使圖像的邊緣部分出現(xiàn)模糊或過(guò)度平滑的現(xiàn)象。為了在插值算法中降低圖像邊緣的模糊程度，提出了一個(gè)僅沿圖像邊緣方向進(jìn)行插值的算法。這樣，在垂直于邊緣方向上的像素點(diǎn)在放大的時(shí)候就不參與插值和濾波，從而減少這些像素使圖像過(guò)度平滑的幾率。

在第2節(jié)將給出所提出方法的詳細(xì)的介紹，第3節(jié)給出所提出方法的實(shí)驗(yàn)結(jié)果，并在第4節(jié)給出總結(jié)。

1 所提出的方法

我們所提出的方法，首先對(duì)低分辨率的像素進(jìn)行邊緣檢測(cè)。然后，對(duì)圖像邊緣采用沿著邊緣方向的插值處理以保持圖像的邊緣；對(duì)于圖像平滑部分，采用各向異性的濾波進(jìn)行處理。其中的詳細(xì)步驟描述如下。

1.1 邊緣像素點(diǎn)的檢測(cè)

首先采用如下2個(gè)算子來(lái)檢測(cè)圖像中的邊緣：

⑴

⑵

檢測(cè)圖像的邊緣時(shí)，先將低分辨率圖像f（i，j）與算子Gx、Gy作卷積，得到圖像的梯度的模值G（i，j），然后將G（i，j）與預(yù)定義的閾值T1比較，閾值T1一般是根據(jù)經(jīng)驗(yàn)取值。若G（i，j）>T1，則判定像素點(diǎn)（i，j）為邊緣點(diǎn)，否則認(rèn)為像素點(diǎn)（i，j）為非邊緣點(diǎn)（即平滑點(diǎn)）。模值G（i，j）的計(jì)算式為：

⑶

梯度的角度的計(jì)算式為：

⑷

式⑶、式⑷中，?表示卷積運(yùn)算。

1.2 邊緣像素點(diǎn)的處理

對(duì)于灰度值大于T1的邊緣點(diǎn)，首先標(biāo)記其周?chē)拇逯迭c(diǎn)為邊緣點(diǎn)，然后以待插值的邊緣點(diǎn)為中心，構(gòu)建5×5的窗口，再沿邊緣方向進(jìn)行三次樣條插值對(duì)該邊緣點(diǎn)進(jìn)行處理。其中邊緣方向?qū)⒂蛇吘壪袼攸c(diǎn)的梯度方向來(lái)確定，并被量化為這些角度。

三次樣條插值在樣條插值中運(yùn)用最廣泛。三次樣條插值曲線是一個(gè)平滑的分段函數(shù)。在此，將沿邊緣方向?qū)吘壪袼攸c(diǎn)進(jìn)行三次樣條插值，即用三次樣條插值曲線沿這些角度和5×5窗口內(nèi)像素點(diǎn)的灰度值進(jìn)行方向?yàn)V波，以估計(jì)高分辨率圖像上待插值點(diǎn)的灰度值。

給定n+1個(gè)已知像素點(diǎn)，則存在n個(gè)區(qū)間，一維的三次樣條插值曲線S（x）在每個(gè)區(qū)間[xi，xi+1]上滿足以下三個(gè)條件：①S（x）是一個(gè)三次函數(shù)；②函數(shù)值等于像素點(diǎn)的灰度值，即yi=S（xi）；③S（x）的一階導(dǎo)數(shù)S'（x）、二階導(dǎo)數(shù)S''（x）在每個(gè)區(qū)間[xi，xi+1]上連續(xù)。所以，區(qū)間[xi，xi+1]上的三次樣條插值曲線函數(shù)S（x）可表示為：

⑸

其中ai、bi、ci、di為4n個(gè)未知系數(shù)，可通過(guò)上述的三個(gè)條件以及邊界條件求解。邊界條件包括自然邊界、非節(jié)點(diǎn)邊界和固定邊界。

其中，自然邊界端點(diǎn)處的二階導(dǎo)數(shù)為0，固定邊界端點(diǎn)處一階導(dǎo)的值為給定的已知值，非節(jié)點(diǎn)邊界端點(diǎn)處的三階導(dǎo)數(shù)與端點(diǎn)鄰點(diǎn)的三階導(dǎo)數(shù)相等。

1.3 對(duì)判定的平滑像素點(diǎn)的處理

在低分辨率的圖像中未被標(biāo)記為邊緣點(diǎn)的待插值點(diǎn)即為平滑點(diǎn)。對(duì)于待插值的平滑點(diǎn)，首先找到該平滑點(diǎn)的16個(gè)近鄰像素點(diǎn)，然后利用雙立方插值算法對(duì)平滑點(diǎn)插值，再利用各向異性濾波算子濾波以更好地估計(jì)平滑點(diǎn)的灰度值。

各向異性濾波算子的思想來(lái)源于物理模型中的擴(kuò)散模型，將圖像的灰度看作雜質(zhì)或溫度。雜質(zhì)濃度不均勻時(shí)，會(huì)從高濃度區(qū)域向低濃度區(qū)域擴(kuò)散；溫度不均勻時(shí)，會(huì)從高溫度向低溫度擴(kuò)散。當(dāng)擴(kuò)散為各向同性時(shí)，擴(kuò)散過(guò)程表示為：

⑹

其中div表示散度算子，表示圖像的梯度。當(dāng)a=1時(shí)，式⑹的解為：

⑺

其中f（x，y，t）表示擴(kuò)散后的圖像，f（x，y，0）表示原圖像，是高斯濾波器，其中。

由式⑹、⑺可知，各向同性擴(kuò)散相當(dāng)于用高斯濾波器濾波圖像，而高斯濾波器不能很好地保護(hù)圖像的邊緣。為此，根據(jù)P-M擴(kuò)散方程的思想，設(shè)計(jì)了一個(gè)各向異性的濾波算子，可表示為：

⑻

其中α是一個(gè)參數(shù)，函數(shù)m（s）設(shè)置為一個(gè)單調(diào)遞減函數(shù)。

⑼

其中k為需要通過(guò)實(shí)驗(yàn)來(lái)優(yōu)化的參數(shù)。本文利用式⑻所示的各向異性濾波算子更新像素點(diǎn)的灰度值，其濾波表達(dá)式為：

⑽

其中β是一個(gè)參數(shù)，f（i，j，n）、f（i，j，n+1）分別是圖像f（i，j）在第n、n+1次迭代的值，直到f（i，j，n）和f（i，j，n+1）的差值非常小時(shí)，迭代終止。f（i，j，n）的初始值為像素點(diǎn)（i，j）雙立方插值后的值。

2 實(shí)驗(yàn)結(jié)果

本文首先采用了以往文獻(xiàn)中經(jīng)常用來(lái)比較超分辨率圖像處理的測(cè)試圖，即名為L(zhǎng)ena、Butterfly、Parthenon、Raccoon、Baboon、Peppers的彩色圖像作為彩色圖像的標(biāo)準(zhǔn)測(cè)試圖，并采用名為House、Elaine的灰度圖像作為測(cè)試圖。本文利用MATLAB軟件來(lái)仿真算法的重建效果，并根據(jù)大量的實(shí)驗(yàn)結(jié)果，將本章所提出的方法中參數(shù)優(yōu)化地設(shè)置如下：閾值T1設(shè)為100，k設(shè)置為2，參數(shù)α、β分別設(shè)置為0.1和2。

表1 測(cè)試圖像的實(shí)驗(yàn)結(jié)果（PSNR（dB））

[圖像 雙立方

（bi-cubic）

插值方法 SAI插值

方法[6] 所提出的

方法 提出方法相對(duì)于SAI方法所提高的性能ΔPSNR） Lena 30.16 31.70 31.91 0.21 Butterfly 22.14 23.85 24.09 0.23 Parthenon 24.96 26.61 26.84 0.23 Raccoon 27.19 28.79 29.01 0.22 Baboon 22.40 24.11 24.34 0.23 Peppers 29.24 30.80 31.01 0.21 House 27.69 29.28 29.50 0.22 Elaine 30.48 32.01 32.22 0.21 平均 26.78 28.39 28.61 0.22 ]

表2 測(cè)試圖像的實(shí)驗(yàn)結(jié)果（SSIM）

[圖像 雙立方

（bi-cubic）

插值方法 SAI插值

方法 本章所提

出的方法 本章方法相對(duì)于SAI方法所提高的性能（ΔSSIM） Lena 83.71 87.62 87.95 0.33 Butterfly 73.38 79.77 80.30 0.53 Parthenon 63.31 72.12 72.85 0.73 Raccoon 64.77 73.23 73.93 0.70 Baboon 47.34 59.98 61.03 1.05 Peppers 83.39 87.38 87.71 0.33 House 78.75 83.85 84.28 0.43 Elaine 73.35 79.75 80.28 0.53 平均 71.00 77.96 78.54 0.58 ]

表3 各種算法的平均運(yùn)行時(shí)間（s）

[ 雙立方

（bi-cubic）插值方法 SAI插值

方法[6] 基于深度

學(xué)習(xí)的

方法[4] 基于鄰域

嵌入的

方法[2] 基于稀疏

字典的

方法[3] 所提出

的方法 平均用時(shí)

（以秒為

單位） 0.009 1.51 4233000 55220 2436 0.011 ]

由表1和表2可以看出，所提出的算法在PSNR和SSIM指標(biāo)上都要高于雙立方插值算法和目前最優(yōu)的插值算法（SAI插值算法[6]）。從表3可以看出，所提出的算法的用時(shí)較短，和雙立方插值方法的用時(shí)大致相等，可以用于實(shí)時(shí)超分辨率放大應(yīng)用的場(chǎng)合。

3 結(jié)論

提出了一種新的插值算法，其具有如下創(chuàng)新點(diǎn)：①對(duì)圖像中的邊緣像素點(diǎn)，僅沿邊緣方向進(jìn)行三次樣條插值，減少了邊緣的模糊程度。②邊緣方向被量化為這些角度，復(fù)雜度低。③設(shè)計(jì)的各向異性濾波算子更好地估計(jì)了平滑像素點(diǎn)（非邊緣像素點(diǎn)）插值后的灰度值。仿真結(jié)果顯示其比雙立方插值算法和SAI插值算法具有更好的性能，且其具有較低的計(jì)算復(fù)雜度，能勝任實(shí)時(shí)視頻放大應(yīng)用的場(chǎng)合。

參考文獻(xiàn)（References）：

[1] M. Protter Romano， M. Elad. Single image interpolation

via adaptive nonlocal sparsity-based modeling[J]. IEEE Trans. Image Process，2014.23（7）：3085-3098

[2] W. T. Freeman， T. R. Jones， E. C. Pasztor. Example-

based super-resolution[J].IEEE Computer Graphics and Applications，2002.22（2）：56-65

[3] Jianchao Yang， John Wright， Thomas S. Huang， Yi Ma.

Image Super-Resolution Via Sparse Representation[J]. IEEE Transactions on Image Processing，2010.19（11）：2861-2873

[4] Chao Dong， Chen Change Loy， Kaiming He， Xiaoou

Tang. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2016.38（2）：295-307

[5] X. Li， M. T. Orchard. New edge-directed interpolation[J].

IEEE Transactions on Image Processing，2001.10（10）：1521-1527

[6] K.-W. Hung， W.-C. Siu. Robust soft-decision

interpolation using weighted least squares[J]. IEEE Transactions on Image Processing，2012.21（3）：1061-1069