楊 欣 費(fèi)樹岷 周大可 唐庭閣

(1南京航空航天大學(xué)自動(dòng)化學(xué)院，南京 210016)

(2東南大學(xué)自動(dòng)化學(xué)院，南京 210096)

基于分類預(yù)測(cè)器及退化模型的圖像超分辨率快速重建

楊 欣1，2費(fèi)樹岷2周大可1唐庭閣1

(1南京航空航天大學(xué)自動(dòng)化學(xué)院，南京 210016)

(2東南大學(xué)自動(dòng)化學(xué)院，南京 210096)

對(duì)基于學(xué)習(xí)的領(lǐng)域嵌套超分辨率重建方法進(jìn)行了有效改進(jìn)，提出了一種基于分類預(yù)測(cè)器以及退化模型的圖像超分辨率重建技術(shù).首先，利用退化模型得到圖像訓(xùn)練集，并基于鄰域嵌套進(jìn)行分塊;其次，根據(jù)圖像各自特點(diǎn)提取灰度和梯度特征，并進(jìn)行特征融合，從而實(shí)現(xiàn)了訓(xùn)練過程中噪聲信息的有效抑制及圖像中邊緣信息的銳化;然后，引入分類預(yù)測(cè)器的思想，設(shè)計(jì)了一種離線的分類預(yù)測(cè)器，對(duì)預(yù)測(cè)器進(jìn)行離線訓(xùn)練，得出優(yōu)化參數(shù)，從而大幅度減少了優(yōu)化時(shí)間;最后，利用L2范數(shù)對(duì)低分辨率圖像分塊進(jìn)行分類，將分塊送入相應(yīng)子預(yù)測(cè)器中進(jìn)行快速超分辨率重建.實(shí)驗(yàn)結(jié)果表明，該算法具有良好的實(shí)時(shí)性和有效性.

超分辨率重建;分類預(yù)測(cè)器;退化模型;特征提取;鄰域嵌套

超分辨率(super resolution，SR)重建［1］是一種通過一序列低分辨率(low resolution，LR)變形圖像來估計(jì)高分辨率(high resolution，HR)非變形圖像的技術(shù)，在遠(yuǎn)程遙感、醫(yī)學(xué)診斷、視頻監(jiān)控以及軍事情報(bào)獲取等方面有著廣泛的應(yīng)用.

近年來，SR重建領(lǐng)域的算法包含最大后驗(yàn)概率法(MAP)［2－4］、基于示例的 SR 重建算法［5］、基于學(xué)習(xí)的SR重建算法［6］等.基于學(xué)習(xí)的SR重建方法不需要太多的圖像先驗(yàn)知識(shí)，因而得到較快的發(fā)展.鄰域嵌套 SR重建方法［7－10］是基于學(xué)習(xí)的SR方法中的一個(gè)重要分支，該方法沒有深入研究圖像的各自屬性，故其性能受到了極大的制約.

本文將圖像的退化模型應(yīng)用于鄰域嵌套算法中，在特征提取過程中提取梯度信息與灰度信息并進(jìn)行特征融合，從而有效降低了圖像噪聲，銳化了圖像邊緣.同時(shí)，引入了分類預(yù)測(cè)器的思想，對(duì)預(yù)測(cè)器進(jìn)行離線訓(xùn)練，得出優(yōu)化參數(shù)，從而大幅度減少了優(yōu)化時(shí)間，提高了算法的實(shí)時(shí)性能.

1 基于鄰域嵌套的圖像分塊

假設(shè)第k1幅m×n的LR觀測(cè)圖像為ˉyk1s，經(jīng)字典排序后組成的N×1(N=mn)向量為Yk1s.假設(shè)r1m×r2n的HR訓(xùn)練圖像為ˉzs，經(jīng)字典排序后形成的r1r2N×1向量為Zs.r1和r2分別為水平方向和垂直方向的下采樣因子.將Yk1s分割成U個(gè)大小為s×s的小塊，組成塊集合{yk1，is}(k1=1，2，…，K1).假設(shè)第k1幅LR訓(xùn)練圖像中的第i小塊為yk1，is，相鄰塊之間有1個(gè)或2個(gè)像素點(diǎn)重合.同樣地，將Zs分割成相對(duì)應(yīng)的U個(gè)大小為r1s×r2s的小塊，相鄰塊之間在水平方向和垂直方向分別有r1，r2或者2r1，2r2個(gè)像素點(diǎn)重合.組成塊集合與參數(shù)i存在一一對(duì)應(yīng)的關(guān)系.

利用類似方法將k2幅LR測(cè)試圖像Yk2t(k2=1，2，…，K2)進(jìn)行分塊，得到組成塊集合{yk2，it}.

2 基于分類預(yù)測(cè)器的SR重建

2.1 特征提取與融合

HR訓(xùn)練圖像Zs經(jīng)退化模型變?yōu)镵1幅LR圖像 Yk1s(k1=1，2，…，K1).將 Yk1s分割成U個(gè)大小為s×s的小塊，組成分塊集合{yk1，is}.每一個(gè)分塊如圖1(a)所示.

圖1 多信息融合的特征提取

假設(shè)LR訓(xùn)練圖像分塊的大小為s×s，將原始分塊轉(zhuǎn)化為標(biāo)準(zhǔn)亮度分塊，則圖1(b)中的標(biāo)準(zhǔn)亮度uij為

圖1(c)所示的邊緣信息為一個(gè)四維邊緣特征向量，它可使原圖像中有邊緣的地方得到銳化，對(duì)于平滑的地方則可抑制噪聲.邊緣特征由標(biāo)準(zhǔn)亮度經(jīng)過計(jì)算得出，即

式中，bij為邊緣特征矩陣，即

HR訓(xùn)練圖像經(jīng)退化模型，變成K1幅LR訓(xùn)練圖像.設(shè)第k1幅LR訓(xùn)練圖像中第i分塊的特征向量為 yk1，is(k1=1，2，…，K1)，則訓(xùn)練圖像中第i分塊的全局特征向量yis為

同理，將LR測(cè)試圖像經(jīng)過仿射變換、模糊化，變成K2幅LR測(cè)試圖像.設(shè)第k2幅LR測(cè)試圖像中第i分塊的特征向量為 yk2，it(k2=1，2，…，K2)，則測(cè)試圖像中第i分塊的全局特征向量yit為

2.2 分類預(yù)測(cè)器設(shè)計(jì)

本文算法中的一個(gè)重要部分是設(shè)計(jì)一個(gè)離線訓(xùn)練的優(yōu)化權(quán)值預(yù)測(cè)器.當(dāng)分塊特征向量形成后，將自動(dòng)根據(jù)特征向量送入到相應(yīng)的預(yù)測(cè)器中，根據(jù)預(yù)測(cè)器中的優(yōu)化權(quán)值進(jìn)行快速SR重建.

首先，利用L2范數(shù)，得出與第i個(gè)測(cè)試圖像分塊yi

t最接近的V(V＜U)個(gè)訓(xùn)練圖像分塊，即根據(jù)Lij的大小，依次選出V個(gè)與yit最接近的訓(xùn)練集圖像分塊，記為yi，vs.

對(duì)于測(cè)試集中第i分塊yit，定義 εi為

式中，ωi，v為第i分塊的自適應(yīng)優(yōu)化權(quán)值.

解出式(6)的最小化問題，便可求出HR測(cè)試圖像分塊zit，即

式中，zi，vs為與 yi，vs相對(duì)應(yīng)的第i個(gè) HR 訓(xùn)練圖像分塊.

自適應(yīng)優(yōu)化權(quán)值 ωi，u的計(jì)算比較復(fù)雜，對(duì)圖像重建的實(shí)時(shí)性有很大影響.因此，引入了一個(gè)離線的分類預(yù)測(cè)器.首先，將LR訓(xùn)練圖像分塊自動(dòng)分類;然后，將其送入預(yù)測(cè)器中，根據(jù)事先給定的自適應(yīng)優(yōu)化權(quán)值進(jìn)行實(shí)時(shí)SR重建.這樣便可在不損失重建效果的前提下，有效增加算法的運(yùn)算速度.

分類預(yù)測(cè)器離線訓(xùn)練過程如圖2所示.由圖可見，預(yù)測(cè)器P中包含U個(gè)子預(yù)測(cè)器Pj.在這U個(gè)分塊中選取V個(gè)最接近的分塊，共有CVU種可能的組合方式.預(yù)測(cè)分類器的思想為:離線計(jì)算出所有可能的自適應(yīng)權(quán)值的組合，將其放入U(xiǎn)個(gè)子預(yù)測(cè)器中，可以看出，這種子預(yù)測(cè)器是一個(gè)V維空間，令之為P［U1］［U2］…［UV］，其中 1≤Ui≤U，1≤i≤V.LR測(cè)試圖像分塊通過拉式距離得到V個(gè)最近的LR訓(xùn)練圖像分塊，將其分別送入相對(duì)應(yīng)的子預(yù)測(cè)器中，取出各自的自適應(yīng)優(yōu)化權(quán)值，然后根據(jù)式(7)即可計(jì)算出HR重建圖像.

圖2 分類預(yù)測(cè)器離線訓(xùn)練過程

2.3 預(yù)測(cè)器離線訓(xùn)練

分類預(yù)測(cè)器中的自適應(yīng)優(yōu)化權(quán)值是快速進(jìn)行SR重建的基礎(chǔ)，需要通過離線訓(xùn)練得出.訓(xùn)練的數(shù)據(jù)采用LR訓(xùn)練圖像分塊集，式(6)即可變?yōu)榍蠼馊缦聠栴}:

式(8)中的yi，vs便可轉(zhuǎn)變?yōu)殡xyis最近的V個(gè)訓(xùn)練集圖像分塊，最小化問題轉(zhuǎn)化為約束最小二乘問題.令

式中，I為元素都為1的列向量;H為列向量由與構(gòu)成的矩陣.

由此可得

式中，ωi為V維列向量，其元素由自適應(yīng)優(yōu)化權(quán)值ωi，v(v=1，2，…，V)組成.

利用上述方法便可計(jì)算出所有可能的CVU種優(yōu)化權(quán)值組合.將其分別輸入到預(yù)測(cè)器中，以供在線圖像重建時(shí)使用.

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中采用分塊均方差εp對(duì)算法進(jìn)行驗(yàn)證.令

式中分別為HR圖像的第i分塊真值及其相應(yīng)的第j個(gè)像素點(diǎn)分別為HR測(cè)試圖像的第i分塊重建值及其相應(yīng)的第j個(gè)像素點(diǎn).

實(shí)驗(yàn)的訓(xùn)練和測(cè)試圖像見圖3.共進(jìn)行6組實(shí)驗(yàn)，每組實(shí)驗(yàn)中依次選擇圖3中的一幅圖像作為訓(xùn)練圖像，其余圖像則為測(cè)試圖像.選擇了較為經(jīng)典的SRNE和NeedFS算法與本文算法進(jìn)行比較，結(jié)果如圖4所示.由圖可知，本文算法的分塊均方差εp相對(duì)較小，圖像較為平滑，噪聲較小.

然后，分別改變參數(shù)K1，K2的取值進(jìn)行實(shí)驗(yàn)，結(jié)果見圖5和圖6.由圖可知，當(dāng)K1，K2越大時(shí)，分塊均方差越小;但是，當(dāng)K2＞3時(shí)，這種區(qū)別便不太明顯.因此，在適當(dāng)考慮計(jì)算成本的前提下選擇合適的K2，有助于提高圖像重建的質(zhì)量.

圖3 訓(xùn)練、測(cè)試圖像

圖4 不同算法的分塊均方差(K1=2，K2=2)

圖5 不同K1下的分塊均方差(K2=1)

圖6 不同K2下的分塊均方差(K1=1)

最終的重建圖像效果如圖7所示.由圖可知，本文算法較NeedFS算法的效果略好，體現(xiàn)在重建圖像邊緣部位較清晰，其他部分則比較平滑，噪聲較小.這是因?yàn)楸疚乃惴ㄓ?xùn)練集中訓(xùn)練圖像較多，一幅HR圖像對(duì)應(yīng)于K2幅LR圖像，且LR圖像是通過圖像退化模型得到的，更接近于現(xiàn)實(shí).

圖7 不同算法的重建效果圖

4 結(jié)語

本文將基于MAP的SR重建算法中常用的圖像退化模型引入到基于學(xué)習(xí)的領(lǐng)域嵌套SR重建之中，在提取多種圖像特征的基礎(chǔ)上對(duì)特征進(jìn)行有效融合，從而得到了一種基于分類預(yù)測(cè)器的解決方案.實(shí)驗(yàn)結(jié)果表明，本文算法具有較高的評(píng)價(jià)指標(biāo)以及較好的重建質(zhì)量.

［1］Chaudhuri S.Super-resolution imaging［M］.Norwell，MA，USA:Kluwer Academic，2001:100－125.

［2］楊欣，費(fèi)樹岷，周大可.基于MAP的自適應(yīng)圖像配準(zhǔn)及超分辨率重建［J］.儀器儀表學(xué)報(bào)，2011，32(8):1771－1775.

Yang Xin， Fei Shumin， Zhou Dake. Self-adapting weighted technology for simultaneous image registration and super-resolution reconstruction based on MAP［J］.Chinese Journal of Scientific Instrument，2011，32(8):1771－1775.(in Chinese)

［3］楊欣，王從慶，費(fèi)樹岷.基于最大后驗(yàn)概率的SAR圖像自適應(yīng)超分辨率盲重建［J］.宇航學(xué)報(bào)，2010，31(1):217－221.

Yang Xin，Wang Chongqing，F(xiàn)ei Shumin.An adaptive technology for SAR image blind super-resolution based on MAP［J］.Journal of Astronautics，2010，31(1):217－221.(in Chinese)

［4］Shen H，Zhang L，Huang B，et al.A MAP approach for joint motion estimation，segmentation，and super resolution［J］.IEEE Transaction on Image Processing，2007，16(2):479－490.

［5］Freeman W T，Jones T R，Pasztor E C.Example-based super-resolution［J］.IEEE Computer Graphics and Applications，2002，22(2):56－65.

［6］Chen M，Qiu G，Lam K M.Example selective and order independent learning-based image super-resolution［C］//International Symposium on Intelligent Signal Processing and Communication Systems.Hong Kong，China，2005:77－80.

［7］Chang H，Yeung D Y，Xiong Y.Super-resolution through neighbor embedding［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Washington DC，USA，2004:275－282.

［8］Wei F，Yeung D Y.Image hallucination using neighbor embedding over visual primitive manifolds［C］//IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，Minnesota，USA，2007:201－205.

［9］Chan T M，Zhang J，Pu J，et al.Neighbor embedding based super-resolution algorithm through edge detection and feature selection［J］.Pattern Recognition Letters，2009，30(2):494－502.

［10］楊欣，姜斌，周大可.基于退化模型和鄰域嵌套的彩色圖像超分辨率自適應(yīng)重建［J］.東南大學(xué)學(xué)報(bào):自然科學(xué)版，2011，41(6):1193－1196.

Yang Xin，Jiang Bin，Zhou Dake.Degradation model and neighbor embedding based color image adaptive super-resolution reconstruction［J］.Journal of Southeast University:Natural Science Edition，2011，41(6):1193－1196.(in Chinese)

Image fast super-resolution reconstruction based on class predictor and degradation model

Yang Xin1，2Fei Shumin2Zhou Dake1Tang Tingge1

(1College of Automation Engineering，Nanjing University of Aeronautics and Astronautics，Nanjing 210016，China)
(2School of Automation，Southeast University，Nanjing 210096，China)

Super-resolution(SR)reconstruction technology based on neighbor embedding is effectively improved and a novel image SR reconstruction method using class predictor and degradation model is proposed.First，according to image degradation model，training set is obtained and cut into patches based on neighbor embedding.Secondly，in order to suppress noise and smoothen regions，gray and gradient information is extracted and combined to feature vector according to each patch character. Thirdly，the idea of class predictor is introduced and a novel off-line predictor is designed.Optimal parameters are obtained through off-line training and the optimization time is substantially reduced.Finally，in the light of L2 norm，each low resolution(LR)patch is classed and then put into corresponding sub-predictor with fast SR reconstruction.The experimental results exhibit the good real-time performance and effectiveness of the proposed algorithm.

super-resolution reconstruction;class predictor;degradation model;feature extraction;neighbor embedding

TH457

A

1001－0505(2013)01-0035-04

10.3969/j.issn.1001－0505.2013.01.007

2012-07-02.

楊欣(1978—)，男，博士，副教授，yangxin@nuaa.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(60905009，61172135)、高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金資助項(xiàng)目(20093218120015)、北京師范大學(xué)遙感科學(xué)國家重點(diǎn)實(shí)驗(yàn)室開放基金資助項(xiàng)目(2009KFJJ012)、南京航空航天大學(xué)基本科研業(yè)務(wù)費(fèi)專項(xiàng)科研資助項(xiàng)目(NS2010081).

楊欣，費(fèi)樹岷，周大可，等.基于分類預(yù)測(cè)器及退化模型的圖像超分辨率快速重建［J］.東南大學(xué)學(xué)報(bào):自然科學(xué)版，2013，43(1):35－38.［doi:10.3969/j.issn.1001－0505.2013.01.007］