毛曉波，張志超

(鄭州大學(xué) 電 氣工程學(xué)院，河南 鄭 州450001)

0 引言

圖像超分辨率重建是指用信號(hào)處理和圖像處理的方法，通過軟件算法的方式將已有的低分辨率圖像轉(zhuǎn)換成高分辨率圖像的技術(shù)［1］.它在視頻監(jiān)控、圖像打印、刑偵分析、醫(yī)學(xué)圖像處理、衛(wèi)星成像等領(lǐng)域有較廣泛的應(yīng)用［2］，因而具有很高的研究應(yīng)用價(jià)值.輸入與輸出均為單幅圖像的超分辨率重建稱為單幅圖像超分辨率重建.根據(jù)是否依賴訓(xùn)練樣本，超分辨率重建分為圖像增強(qiáng)的超分辨率重建(無訓(xùn)練樣本)與基于學(xué)習(xí)的超分辨率重建(有訓(xùn)練樣本)［1］.圖像增強(qiáng)的超分辨率重建，只對(duì)圖像的顯示效果進(jìn)行增強(qiáng)，可將其歸為圖像插值［1］.此類方法的計(jì)算復(fù)雜度低，未從本質(zhì)上提高分辨率，適用于對(duì)重建圖像質(zhì)量要求不高但速度要求較高的場(chǎng)合.基于學(xué)習(xí)的單幅圖像超分辨率重建是近年來研究的一個(gè)熱點(diǎn)［3］.如Chang等提出基于流形學(xué)習(xí)的方法［4］，F(xiàn)reeman等提出用馬爾科夫網(wǎng)絡(luò)的方法［5］，Kim等提出改進(jìn)核嶺回歸方法［6］.這類算法重建圖像質(zhì)量高，但通常算法復(fù)雜度高、速度較慢，且需要大量的訓(xùn)練數(shù)據(jù)，不適用于實(shí)時(shí)性要求較高的場(chǎng)合.

針對(duì)這一問題，筆者提出一種基于二維經(jīng)驗(yàn)?zāi)B(tài)分解的單幅圖像超分辨率重建算法，該算法將圖像插值的超分辨率算法與基于學(xué)習(xí)的超分辨率算法相結(jié)合，充分利用二維經(jīng)驗(yàn)?zāi)B(tài)分解能分層提取圖像信息的特點(diǎn)，改進(jìn)核嶺回歸法對(duì)圖像高頻細(xì)節(jié)信息的高質(zhì)重建優(yōu)勢(shì)及雙三次插值運(yùn)算速度快的優(yōu)勢(shì).首先用二維經(jīng)驗(yàn)?zāi)B(tài)分解法將一幅低分辨率圖像分解為不同復(fù)雜程度的圖層;然后對(duì)包含圖像高頻細(xì)節(jié)信息的第一層用改進(jìn)核嶺回歸法進(jìn)行超分辨率重建，以保證重建質(zhì)量，對(duì)包含趨勢(shì)信息和亮度信息的其它層用雙三次插值法進(jìn)行超分辨率重建，以提高運(yùn)算速度;最后將各層重建圖像合成一幅完整的高分辨率重建圖像.

1 原理及方法

1.1 二維經(jīng)驗(yàn)?zāi)B(tài)分解

二維經(jīng)驗(yàn)?zāi)B(tài)分解(Bidimensional Empirical Mode Decomposition，BEMD)能將圖像逐步分解為一系列具有不同頻率的IMF分量和殘余項(xiàng)R，先提取出的IMF分量包含主要的高頻細(xì)節(jié)信息，最后的殘余項(xiàng)R包含了圖像的大致走向和亮度信息.對(duì)于一幅大小為M×N的圖像f(x，y)，二維EMD實(shí)現(xiàn)過程如下［7］:

(1)對(duì)所給圖像曲面求取所有局部極大值和極小值;

(2)對(duì)極大值點(diǎn)和極小值點(diǎn)分別用徑向基函數(shù)法進(jìn)行曲面擬合，得到極大值點(diǎn)包絡(luò)曲面和極小值點(diǎn)包絡(luò)曲面，將兩曲面數(shù)據(jù)求平均得到均值包絡(luò)曲面數(shù)據(jù);

(3)用原曲面減去均值包絡(luò)曲面;

(4)判斷是否滿足終止條件，即每個(gè)IMF滿足(1)信號(hào)極值點(diǎn)與過零點(diǎn)數(shù)量必須相等，或最多相差一個(gè)，(2)在任一時(shí)間點(diǎn)上，由信號(hào)極大值定義的上包絡(luò)和極小值定義的下包絡(luò)局部均值為零.

重復(fù)(1)～(3)，直到滿足給定的終止條件，得到第1層二維固有模態(tài)函數(shù)IMF1，用原圖像減去第1層模態(tài)函數(shù)得到第1層殘差R.對(duì)殘差重復(fù)(1)～(4)，依次得到圖像的N層固有模態(tài)函數(shù)和第N層殘差，N取4.

1.2 改進(jìn)的核嶺回歸方法

Kim等將高頻細(xì)節(jié)重建看成回歸問題，提出一種基于學(xué)習(xí)的單幅圖像超分辨率重建算法，將核匹配追蹤和梯度下降相結(jié)合，對(duì)核嶺回歸法的正則化代價(jià)函數(shù)進(jìn)行優(yōu)化，同時(shí)采用自然圖像先驗(yàn)?zāi)Ｐ瓦M(jìn)行邊緣清晰化處理［6］.

首先對(duì)高分辨率圖像進(jìn)行模糊和下采樣得到低分辨率圖像，然后分別對(duì)高、低分辨率圖像采樣得到圖像塊對(duì)，組成訓(xùn)練圖像對(duì)集.對(duì)于給定的訓(xùn)練數(shù)據(jù)點(diǎn)集{(x1，y1)，…，(xl，yl)}?IRM× IRN，對(duì)每一個(gè)回歸量的獨(dú)立凸代價(jià)函數(shù)求和并分別最小化:

式中:i=1，…，N;k為希爾伯特空間H的再生核.將式(2)代入式(1)可得

改進(jìn)核嶺回歸法是基于學(xué)習(xí)的單幅圖像超分辨率重建算法中的典型算法，其對(duì)高頻細(xì)節(jié)豐富的圖像重建質(zhì)量較高，但時(shí)間復(fù)雜度高，運(yùn)算量大.

1.3 基于二維EMD的單幅圖像超分辨率重建

改進(jìn)的核嶺回歸法對(duì)高頻細(xì)節(jié)豐富的圖像重建效果很好，但其耗時(shí)較長.而雙三次插值法運(yùn)算簡單，對(duì)包含低頻信息的圖像重建質(zhì)量較好［8］.結(jié)合二者的優(yōu)勢(shì)，筆者提出了基于二維EMD的單幅圖像超分辨率重建算法.

先對(duì)高分辨率圖像Butterfly進(jìn)行高斯模糊和4倍下采樣，得到一幅低分辨率圖像，如圖1所示.用二維 EMD分解此 LR圖像，得到 IMF1、IMF2、IMF3和殘余項(xiàng)R，為了便于觀察，只給出其中的細(xì)節(jié)圖，如圖2(a)～(d)所示，IMF1包含了主要的高頻細(xì)節(jié)信息.對(duì)包含高頻細(xì)節(jié)信息的IMF1，采用改進(jìn)核嶺回歸的方法重建，重建放大4倍，如圖2(e)所示.對(duì)IMF2、IMF3和殘余項(xiàng)R用雙三次插值法重建，重建放大4倍，如圖2(f)～(h)所示.可看出，由改進(jìn)核嶺回歸法重建的重建IMF1效果很好.

圖1 HR與LR圖像Fig.1 HR and LR image

2 實(shí)驗(yàn)結(jié)果與分析

筆者算法對(duì)圖像中包含高頻細(xì)節(jié)信息的部分用改進(jìn)核嶺回歸法重建，可以保證重建圖像質(zhì)量;在包含較少信息的部分用運(yùn)算簡單的雙三次插值方法，可以減少運(yùn)算時(shí)間，提高算法的效率.相比于改進(jìn)核嶺回歸法對(duì)整個(gè)圖像進(jìn)行重建，筆者算法運(yùn)算量小且速度快，更具優(yōu)勢(shì).

為了進(jìn)一步驗(yàn)證本文算法的有效性，將本文算法和改進(jìn)核嶺回歸法、雙三次插值法的重建效果進(jìn)行對(duì)比.選 peppers、fabric、butterfly 和 lotus四幅圖像進(jìn)行實(shí)驗(yàn)，重建效果如圖3所示.由于圖像的峰值信噪比PSNR、視覺效果及運(yùn)算速度是衡量重建圖像質(zhì)量的常用標(biāo)準(zhǔn)［8］，筆者給出了三種算法的峰值信噪比PSNR及各自的耗時(shí)，以客觀說明本文算法的有效性，如表1所示.

圖2 LR圖像的二維EMD分解及其重建圖像Fig.2 BEMD of the LR image and the reconstructed image

圖3 三種算法的重建效果比較Fig.3 The simulation results of the three algorithm s

表1 3種算法的重建性能指標(biāo)比較Tab.1 The reconstruction performance comparison of the three algorithms

由圖3可以看出，雙三次插值方法重建出的圖像邊緣呈鋸齒狀，重建效果較差;筆者算法和改進(jìn)核嶺回歸法重建出的圖像邊緣清晰，說明本文算法有較好的視覺效果.由表1的PSNR這一指標(biāo)看出，雙三次插值方法的PSNR最小，改進(jìn)核嶺回歸法的PSNR居中，筆者方法的PSNR最大，一般認(rèn)為峰值信噪比越大，圖像質(zhì)量越好［8］，因而筆者算法在PSNR這一指標(biāo)上優(yōu)于其它兩種方法.由表1中的耗時(shí)指標(biāo)可以看出，雙三次插值法耗時(shí)最少，本文算法居中，核嶺回歸法耗時(shí)最長，表明筆者算法在運(yùn)算速度上優(yōu)于核嶺回歸法.

綜合上述三項(xiàng)指標(biāo)看出，雙三次插值法運(yùn)算速度快，但重建質(zhì)量較差;改進(jìn)的核嶺回歸法重建質(zhì)量較高，但運(yùn)算速度慢;筆者算法的重建質(zhì)量顯著高于雙三次插值法，與改進(jìn)的核嶺回歸法相當(dāng)，且在運(yùn)算速度上顯著優(yōu)于改進(jìn)的核嶺回歸法.

3 結(jié)論

將二維經(jīng)驗(yàn)?zāi)B(tài)分解法能分層提取圖像高頻細(xì)節(jié)信息的特點(diǎn)，改進(jìn)核嶺回歸法對(duì)圖像高頻細(xì)節(jié)信息的高質(zhì)重建的優(yōu)勢(shì)和雙三次插值運(yùn)算簡單的特點(diǎn)結(jié)合起來，提出基于二維經(jīng)驗(yàn)?zāi)B(tài)分解的單幅圖像超分辨率重建算法.實(shí)驗(yàn)結(jié)果和衡量指標(biāo)表明，筆者算法不僅有著較好的視覺效果，且有效地提高了峰值性噪比和運(yùn)算速度，是一種實(shí)時(shí)有效的圖像超分辨率重建方法.

［1］ 蘇衡，周杰，張志浩.超分辨率圖像重建方法綜述［J］.自動(dòng)化學(xué)報(bào)，2013，39(8):1202-1213.

［2］ 吳煒，楊曉敏，余艷梅，等.核偏最小二乘算法的圖像超分辨率算法［J］.電子科技大學(xué)學(xué)報(bào)，2011，40(1):105-110.

［3］ 陳杰，朱秀昌.一種基于彩色化的單幅彩色圖像超分辨率重建［J］.南京郵電大學(xué)學(xué)報(bào):自然科學(xué)版，2013，33(4).

［4］ CHANG Hong，YEUNG Dit-yan，XIONG Yi-min.Super-resolution through neighbor embedding［C］//Computer Vision and Pattern Recognition，2004.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on.IEEE，2004:275-282.

［5］ FREEMAN W T，PASZTOR E C，CARMICHAEL O T.Learning low-level vision［J］.International journal of computer vision，2000，40(1):25-47.

［6］ KIMK I，KWON Y.Example-based learning for single-image super-resolution［M］//Pattern Recognition.Springer Berlin Heidelberg，2008:456-465.

［7］ 宋立新，高鳳嬌，郗朝暉.二維 EMD分解方法的比較與改進(jìn)［J］.電子與信息學(xué)報(bào)，2008，30(12):2890-2893.

［8］ 楊宇翔.圖像超分辨率重建算法研究［D］.合肥:中國科學(xué)技術(shù)大學(xué)自動(dòng)化系，2013.