黃巧潔（廣東農(nóng)工商職業(yè)技術(shù)學(xué)院，廣東廣州 510507）

超分辨率圖像恢復(fù)算法綜述*

黃巧潔
（廣東農(nóng)工商職業(yè)技術(shù)學(xué)院，廣東廣州 510507）

圖像超分辨率是指從一序列低分辨率觀測(cè)圖像中恢復(fù)高分辨率圖像，廣泛用于視頻監(jiān)控、模式識(shí)別、軍事偵察、遙感檢測(cè)和醫(yī)學(xué)診斷等領(lǐng)域，已成為圖像處理領(lǐng)域最為活躍的研究方向之一。介紹了超分辨率圖像恢復(fù)的經(jīng)典算法，對(duì)比分析了各方法的優(yōu)缺點(diǎn)，提出了超分辨率圖像恢復(fù)的研究方向與展望，為其進(jìn)一步發(fā)展提供了一定的理論基礎(chǔ)。

超分辨率 高分辨率圖像 低分辨率圖像 恢復(fù)

圖像超分辨率（Super-resolution： SR）技術(shù)是一種提高圖像空間分辨率的“軟處理”方法，在不改變現(xiàn)有硬件設(shè)備條件的基礎(chǔ)上通過(guò)信號(hào)處理方法獲取更高分辨率、更高清晰度的圖像，由一系列低分辨率（Low-resolution： LR）、低質(zhì)量圖像序列恢復(fù)出高分辨率（High-resolution： HR）、高質(zhì)量圖像的處理過(guò)程。圖像超分辨率是通過(guò)對(duì)HR圖像一系列降質(zhì)處理（相當(dāng)于低通濾波器）后得到的觀測(cè)圖像進(jìn)行反求原HR圖像的過(guò)程，屬于圖像逆問(wèn)題，也屬于數(shù)學(xué)病態(tài)問(wèn)題。

自Harris和Goodman提出SR重建概念以來(lái)，該技術(shù)就受到廣泛關(guān)注，主要經(jīng)歷了靜態(tài)圖像、單視頻和多視頻SR重建三個(gè)階段，主要算法有基于頻域插值的方法、非均勻采樣內(nèi)插法、迭代反投影法、凸集投影法、正則化重建法、最大后驗(yàn)概率/凸集投影混合法和基于學(xué)習(xí)的方法。SR圖像恢復(fù)應(yīng)用廣泛，已成為圖像處理領(lǐng)域最為活躍的研究方向之一。通過(guò)SR圖像恢復(fù)能有效提高現(xiàn)有監(jiān)控設(shè)備的分辨率水平和監(jiān)控能力，對(duì)推進(jìn)智能視頻監(jiān)控的發(fā)展［1］，對(duì)“數(shù)字城市”、“平安城市”建設(shè)等，都具有重要意義。

1　超分辨率圖像恢復(fù)算法

1.1基于頻域插值的方法

先使用傅里葉變換將圖像變換到頻域，再利用位移特性觀測(cè)模型解決圖像的內(nèi)插問(wèn)題。在處理過(guò)程中，假設(shè)LR圖像序列無(wú)噪聲，且原始模擬圖像的頻率帶限，利用多幅圖像間離散和連續(xù)傅里葉變換間的平移特性以及混疊關(guān)系來(lái)獲得HR圖像。此方法理論簡(jiǎn)單，運(yùn)算復(fù)雜度低，但忽略了觀測(cè)模型中光學(xué)系統(tǒng)的諸多因素的影響，僅局限于全局平移運(yùn)動(dòng)模型下應(yīng)用。很多學(xué)者對(duì)此進(jìn)行改進(jìn)，Tekalp等［2］考慮了線性空不變點(diǎn)擴(kuò)散函數(shù)和觀測(cè)噪聲的影響，采用最小二乘法計(jì)算系統(tǒng)方程的解；Kim等［3］也考慮了噪聲的情況，用加權(quán)最小二乘法進(jìn)行計(jì)算；Rhee和Kang［4］提出采用離散余弦變換代替傅里葉變換，減少存儲(chǔ)資源的需求，提升了計(jì)算效率。但始終無(wú)法突破Tsai中整體平移相似的假設(shè)，僅含有限的空域先驗(yàn)知識(shí)，因此只能在全局平移運(yùn)動(dòng)和線性空間不變模糊模型中使用。因此，實(shí)際工程應(yīng)用中難以實(shí)用。

圖1　基于配準(zhǔn)、插值的重建過(guò)程

1.2非均勻采樣內(nèi)插法

屬于空域插值放大法，包括運(yùn)動(dòng)估計(jì)、非均勻內(nèi)插、圖像去模糊和去噪三個(gè)方面［5］。在運(yùn)動(dòng)估計(jì)中，選擇一幅參考圖像，根據(jù)某一運(yùn)動(dòng)模型，求出其他圖像與參考圖像之間的運(yùn)動(dòng)參數(shù)，并根據(jù)此參數(shù)將所有LR觀測(cè)圖像投影到參考圖像對(duì)應(yīng)的高分辨率網(wǎng)格上，得到非均勻分布的空間采樣圖，然后用非均勻內(nèi)插法內(nèi)插出所有整數(shù)格網(wǎng)的像素值，接著進(jìn)行去模糊和去噪處理，得到HR的圖像，如圖1所示。

此方法計(jì)算量小、模型簡(jiǎn)單，但需要假定所有的LR圖像的噪聲和模糊特征一致，不使用先驗(yàn)約束，恢復(fù)效果不佳，不能保證最優(yōu)性。

1.3迭代反投影法（IBP：Iterative back-projection）

首先，利用待求HR圖像的一個(gè)初步估計(jì)作為當(dāng)前結(jié)果，通過(guò)觀測(cè)模型投影到LR觀測(cè)圖像上，從而獲得LR模擬圖像，然后計(jì)算LR模擬圖像與實(shí)際觀測(cè)圖像之間的差值，并由此差值更新當(dāng)前估計(jì)，如此循環(huán)，得到最終結(jié)果［6］。S. Mann等［7］對(duì)圖像的配準(zhǔn)作了改進(jìn)；Irani等［8］使用該方法實(shí)現(xiàn)了包含多運(yùn)動(dòng)目標(biāo)的視頻圖像的SR恢復(fù)。IBP法容易理解和實(shí)現(xiàn)，但由于問(wèn)題的不適定性導(dǎo)致它的其解不唯一，嚴(yán)重依賴于反投影矩陣，難以引入先驗(yàn)約束，收斂速度慢。

1.4凸集投影法（POCS：Projection onto convex sets）

最早由H. Stark和P. Oskoui［9］提出，把HR圖像的每一個(gè)約束條件都定義為向量空間中的一個(gè)凸集合，所求的HR圖像包含于這些凸集合中，取其交集，即可得到HR圖像的解。約束條件包括觀測(cè)數(shù)據(jù)一致性、能量有界性、正定性、光滑性等，但H.Stark和P. Oskoui在對(duì)數(shù)據(jù)一致性約束定義的投影算子中忽略了觀測(cè)模型中噪聲的影響；Tekalp等［10］進(jìn)行了擴(kuò)展，考慮了噪聲的影響；Patti等［11］考慮了任意采樣網(wǎng)和運(yùn)動(dòng)模糊；隨后，又通過(guò)修改約束集合減少邊緣噪聲［12］。POCS法原理直觀、實(shí)現(xiàn)算法簡(jiǎn)單，容易加入先驗(yàn)知識(shí)；但它的解依賴于初始估計(jì)，且不唯一，收斂速度慢且穩(wěn)定性不高，運(yùn)算量大。

1.5正則化重建法

1.5.1確定性正則化

SR重建問(wèn)題是一個(gè)不適定問(wèn)題，確定性正則化通過(guò)加入先驗(yàn)知識(shí)約束把不適定問(wèn)題適定化，是解決病態(tài)問(wèn)題的經(jīng)典方法。最終迭代結(jié)果主要受限于迭代過(guò)程中所加入的正則項(xiàng)，其一般形式可表示為：

M.C. Hong等［13］提出一種多通道正則化SR算法，在每次迭代過(guò)程中無(wú)需先驗(yàn)知識(shí)計(jì)算正則化系數(shù)；M.G. Kang［14］構(gòu)造了一種通用多通道反卷積方法，也包含了多通道正則化SR算法；R.C. Hardie［15］提出最小化正則化代價(jià)函數(shù)方法，采用迭代梯度正則化和共軛梯度下降法優(yōu)化處理最小化代價(jià)函數(shù)；P.C. Hansen等［16］使用L曲線求解最優(yōu)正則化參數(shù)。

1.5.2隨機(jī)正則化

R.R. Schulz 和 R.L. Stevenson［17］最早提出利用最大后驗(yàn)概率方法MAP進(jìn)行HR重建，把HR圖像和觀察得到的LR圖像當(dāng)作兩個(gè)不同的隨機(jī)過(guò)程，利用隱馬爾可夫隨機(jī)場(chǎng)先驗(yàn)?zāi)Ｐ?，將SR問(wèn)題變?yōu)橐粋€(gè)具有唯一解的條件最優(yōu)問(wèn)題。由于MAP提供了先驗(yàn)約束，為SR重建提供了有效的正則化估計(jì)。MAP具有確定性正則化的一切優(yōu)點(diǎn)，還具備選擇噪聲模型和圖像先驗(yàn)?zāi)Ｐ偷姆€(wěn)健性和靈活性，使其成為研究的熱點(diǎn)。Tom等［18］提出了最大似然估計(jì)來(lái)同時(shí)估計(jì)亞像素位移、觀測(cè)圖像噪聲及HR圖像，采用最大期望來(lái)求解；Tom和Hardie等［19］提出了運(yùn)動(dòng)參數(shù)與HR圖像的聯(lián)合求解；Rudin等［20］首先提出了一種有效的全變分正則化方法；Farsiu等［21］提出了SR圖像重構(gòu)雙邊全變差正則化，更好地保護(hù)了圖像的邊緣。

1.6MAP/POCS混合法

MAP法推導(dǎo)嚴(yán)謹(jǐn)，POCS法更容易加入先驗(yàn)約束，將兩者結(jié)合起來(lái)將是一個(gè)不錯(cuò)的途徑。Keightley等［22］提出了一個(gè)MAP和POCS相結(jié)合的方法，在最大后驗(yàn)概率方法的迭代優(yōu)化過(guò)程中加入先驗(yàn)約束，以便對(duì)圖像像素值的范圍進(jìn)行約束。Elad等［23］提出了一種通用的最大似然估計(jì)凸集投影SR方法。

表1　SR圖像恢復(fù)方法比較

1.7基于學(xué)習(xí)的方法

該方法是空域法的一種，前提是認(rèn)為L(zhǎng)R圖像完全擁有用于推理預(yù)測(cè)其所對(duì)應(yīng)的高分辨率部分的信息。具體重建過(guò)程如下：準(zhǔn)備匹配所需的由高低分辨率圖像塊組成的訓(xùn)練集，對(duì)觀測(cè)到的LR圖像塊進(jìn)行匹配，從而得出最匹配的高/低圖像塊組，利用塊組中的HR圖像塊重建出HR圖像。目前，常用的學(xué)習(xí)算法有Chang等［24］提出的基于鄰域嵌入的方法；Karl等［25］提出的基于支持向量回歸的方法；Yang等［26］提出的使用圖形塊的稀疏表示的方法。

2　方法比較

縱觀SR圖像恢復(fù)技術(shù)的國(guó)內(nèi)外研究進(jìn)展，各種算法均有優(yōu)劣，目前難以有一個(gè)很好的統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)，如表1所示。在具體應(yīng)用中，需根據(jù)特定的圖像或者視頻特點(diǎn)，選擇針對(duì)性的研究算法，使系統(tǒng)設(shè)計(jì)最優(yōu)。

3　研究方向和展望

本文對(duì)SR圖像恢復(fù)算法進(jìn)行了全面綜述，對(duì)比分析了各算法的優(yōu)劣。雖然SR恢復(fù)取得了不少研究成果，但在特定應(yīng)用場(chǎng)合中，特別是在視頻監(jiān)控系統(tǒng)中還有很多熱點(diǎn)問(wèn)題需要探究。

（1）減少運(yùn)算量并提升算法效率。雖然已經(jīng)研究出很多恢復(fù)算法，但大部分算法的計(jì)算量都很大，如MAP、POCS、基于學(xué)習(xí)的方法等，需要做更多的研究。

（2）視頻序列間的運(yùn)動(dòng)參數(shù)估計(jì)。當(dāng)前，針對(duì)視頻序列間的運(yùn)動(dòng)估計(jì)還沒(méi)有得到有效的討論與研究，需要尋找快速、準(zhǔn)確、可靠地獲得多幀離散圖像和多組視頻序列間的運(yùn)動(dòng)估計(jì)參數(shù)的算法。這也是SR圖像恢復(fù)中需要解決的關(guān)鍵問(wèn)題。

（3）根據(jù)監(jiān)控視頻畫(huà)面內(nèi)容的特點(diǎn)尋找適合監(jiān)控視頻畫(huà)面的表述方法。在視頻監(jiān)控中，各種復(fù)雜時(shí)空因素對(duì)成像質(zhì)量清晰度影響很大，需研究監(jiān)控視頻中被加性噪聲污染后的監(jiān)控視頻圖像的退化模型以及監(jiān)控視頻畫(huà)面的特點(diǎn)。

（4）實(shí)時(shí)性電路結(jié)構(gòu)的實(shí)現(xiàn)。在監(jiān)控視頻中，由于監(jiān)控畫(huà)面是運(yùn)動(dòng)的目標(biāo)，圖像畫(huà)面連續(xù)變化，必須做到實(shí)時(shí)處理，才能滿足實(shí)際應(yīng)用。但監(jiān)控視頻數(shù)據(jù)量大，對(duì)海量視頻數(shù)據(jù)的處理涉及復(fù)雜的計(jì)算過(guò)程，需要大量的計(jì)算開(kāi)銷，內(nèi)存間涉及龐大的數(shù)據(jù)吞吐量；加之SR圖像處理算法的復(fù)雜性，進(jìn)一步加重了計(jì)算負(fù)擔(dān)，使得圖像處理電路設(shè)計(jì)面臨著巨大的挑戰(zhàn)，需研究SR圖像處理質(zhì)量效果及電路資源、實(shí)時(shí)性三者間的約束關(guān)系。

［1］卓力，王素玉，李曉光.圖像/視頻的超分辨率復(fù)原［M］.北京：人民郵電出版社，2011.

［2］Tekalp A.M.，Ozkan M.K.，Sezan M.I.，High-resolution image reconstruction from lower-resolution image sequences and spacevarying image restoration ［A］，In IEEE International Conference on Acoustics，Speech， and Signal Processing，1992：169-172.

［3］Kim S.P.， Bose N.K.， Valenzuela H.M.， Recursive reconstruction of high resolution image from noisy under sampled multiframes ［J］.IEEE Transactions on Acoustics，Speech，and Signal Processing，1990，38（6）：1013-1027.

［4］Rhee S.H. and Kang M.G.， Discrete cosine transform basedregularized high-resolution image reconstruction algorithm，1999，38（8）：1348-1356.

［5］Park SC， Park MK and Kang MG. Super-resolution image reconstruction a technical overview. Signal Processing Magazine，IEEE.2003，20（3）：21-36.

［6］張良培等著.圖像超分辨率重建［M］.北京科學(xué)出版社，2012.

［7］Mann S.and Picard R.W.，Virtual bellows：Constructing high quality stills from video，in Proc. IEEE Int.Conf.Image Processing，Austin，TX，1994：13-16.

［8］Irani M.and Peleg S.，Motion analysis for image enhancement resolution，occlusion，and transparency， J. Visual Commun. Image Represent，1993，4：324-335.

［9］Stark H.and Oskoui P.，High resolution image recovery from image-plane arrays，using convex projections，J. Opt. Soc. Am. A，1989，6： 1715-1726.

［10］Tekalp A.M.，Ozkan M.K.and Sezan M.I.，High-resolution image reconstruction from lower-resolution image sequences and space varying image restoration，in Proc.IEEE Int.Conf.Acoustics，Speech and Signal Processing （ICASSP），San Francisco，CA.，1992，3：169-172.

［11］Patti A.J.，Sezan M.I.and Tekalp A.M.，Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time，IEEE Trans.Image Processing，1997，6（8）：1064-1076.

［12］Patti A.J.and Altunbasak Y.，Artifact reduction for set theoretic superresolution image reconstruction with edge adaptive constraints and higher-order interpolants，IEEE Trans.Image Processing，2001，10（1）：179-186.

［13］Hong M.C.，Kang M.G.，and Katsaggelos A.K.，A regularized multichannel restoration approach for globally optimal high resolution video sequence，in SPIE VCIP，San Jose，CA，1997，3024：1306-1317.

［14］Kang M.G.，Generalized multichannel image deconvolution approach and its applications，Opt.Eng.，1998，37（11）：2953-2964.

［15］Hardie R.C.，Barnard K.J.，Bognar J.G.，Armstrong E.E.and Watson E.A.，High-resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system，Opt.Eng.，1998，37（1）：247-260.

［16］Hansen P.C.and Prost O'Leary D.，The use of the L-curve in the regularization of discrete ill-posed problems，SIAM J.Sci. Comput.，1993，14（6）：1487-1503.

［17］Schulz R.R.and Stevenson R.L.，Extraction of high-resolution frames from video sequences，IEEE Trans.Image Processing，1996，5：996-1011.

［18］Tom B.C.and Katsaggelos A.K.，Reconstruction of a highresolution image by simultaneous registration，restoration，and interpolation of low-resolution images，Proc.1995 IEEE Int.Conf. Image Processing，1995，2：539-542.

［19］Hardie R.C.，Barnard K.J.and Armstrong E.E.，Joint MAP registration and high-resolution image estimation using a sequence of undersampled images，IEEE Trans.Image Processing.，1997，6：1621-1633.

［20］Rudin L.，Osher S.and Fatemi E.，Nonlinear total variation based noise removal algorithms，Phys.D，1992，60：259 268.

［21］Farsiu S.，Elad M.and Milanfar P.，Multi-frame demosaicing and super-resolution of color images，IEEE Transactions on Image Processing，2006，15（1）：141 159.

［22］Keightley Dand Hunt BR，A rigid POCS extension to a Poisson super-resolution algorithm.Image Processing，International Conference，1995，2：508 511.

［23］Elad M.and Feuer A.，Restoration of a single superresolution image from several blurred，noisy，and undersampled measured images，IEEE Trans.Image Processing，1997，6（12）：1646-1658.

［24］CHANG H，YEUNG D Y and XIONG Y.Super resolution through neighbor embedding［C］，Proceedings of IEEE Conf CVPR.Washington，DC：IEEE Press，2004：275-282.

［25］NI K and NGUYEN T Q.Image superresolution using support vector regression［J］.IEEE Transactions on Image Processing，2007，16（6）：1596-1610.

［26］YANG J C，WRIGHT J，MA Y，et al.Image super-resolution as spar se representation of raw image patches［C］，Proceedings of IEEE Conf CVPR.Anchorage，Alaska：IEEE Press，2008：1-8.

Overview on Superresolution Image Restoration Algorithms

Huang Qiaojie
（GUANGDONG AGRICULTURE INDUSTRY BUSINESS POLYTECHNIC， Guangzhou 510507， China）

Super-resolution image restoration is widely used in video surveillance， pattern recognition， military reconnaissance， remote sensing，medical diagnosis etc.， which has become one of the most active research areas in image processing. Firstly， classical algorithms of Super-resolution image restoration were introduced. Secondly， advantages and disadvantages of the above methods were compared and analyzed. Thirdly， research directions and prospects were proposed. It is hoped to provide some theoretical basis for further development.

Super-resolution；high-resolution image； low-resolution image； restoration

黃巧潔（1981—），女，廣東佛山人，研究生，講師，畢業(yè)于華南理工大學(xué)，就職于廣東農(nóng)工商職業(yè)技術(shù)學(xué)院，研究方向：數(shù)字圖像處理與計(jì)算機(jī)通信。