陳 健,高慧斌,王偉國(guó),張振東,路 明

(1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué),北京 100049；3.吉林大學(xué) 通信工程學(xué)院,吉林 長(zhǎng)春 130012)

超分辨率復(fù)原方法相關(guān)原理研究

陳 健1,2,3,*,高慧斌1,王偉國(guó)1,張振東1,路 明1

(1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所,吉林 長(zhǎng)春 130033；2.中國(guó)科學(xué)院大學(xué),北京 100049；3.吉林大學(xué) 通信工程學(xué)院,吉林 長(zhǎng)春 130012)

介紹了超分辨率復(fù)原方法的概念和理論基礎(chǔ)；重點(diǎn)總結(jié)了常用的超分辨率復(fù)原方法，并對(duì)相關(guān)的理論依據(jù)、優(yōu)缺點(diǎn)和適用范圍進(jìn)行了詳盡分析；對(duì)超分辨率復(fù)原方法的未來(lái)發(fā)展進(jìn)行了展望。超分辨率復(fù)原方法分為頻域法和空域法。頻域復(fù)原法原理簡(jiǎn)單清楚，計(jì)算方便，但是所建立的運(yùn)動(dòng)模型都是平移模型，不具有一般性，同時(shí)難以利用正則化約束，因而導(dǎo)致難以使用圖像的先驗(yàn)信息進(jìn)行超分辨率復(fù)原。空域復(fù)原法可以很方便地建立復(fù)雜的運(yùn)動(dòng)模型，同時(shí)考慮了幾乎所有的圖像降質(zhì)因素，例如噪聲、降采樣、由非零孔徑時(shí)間造成的模糊、光學(xué)系統(tǒng)降質(zhì)和運(yùn)動(dòng)模糊等，還可以加入更完善的先驗(yàn)知識(shí)，相比于頻域復(fù)原法，空域超分辨率復(fù)原模型更符合實(shí)際的圖像退化過(guò)程，是目前應(yīng)用最廣泛的一類超分辨率復(fù)原方法。

超分辨率復(fù)原；頻域法；空域法；凸集投影約束

1 引言

“超分辨率”一詞的定義，經(jīng)歷了一系列的發(fā)展過(guò)程。成像系統(tǒng)可以看作是一個(gè)低通濾波器，經(jīng)歷了降采樣和低通濾波的過(guò)程，原始圖像中的一些高頻信息被濾除掉了，所成的圖像不是十分清晰。傳統(tǒng)的圖像復(fù)原方法只能在系統(tǒng)的極限衍射頻率范圍內(nèi)去估計(jì)圖像信息，無(wú)法突破硬件條件的限制，為此超分辨率復(fù)原方法應(yīng)運(yùn)而生。最初學(xué)者們認(rèn)為超分辨率復(fù)原方法指的就是估計(jì)超過(guò)成像系統(tǒng)衍射極限范圍的圖像信息的復(fù)原方法。隨后，學(xué)者們發(fā)現(xiàn)對(duì)同一個(gè)場(chǎng)景所成的圖像序列包含的信息是不盡相同的，結(jié)合這些低分辨率圖像序列，采用圖像處理的方法就可以獲得視覺效果較好的高分辨率圖像。隨著超分辨率方法的進(jìn)一步發(fā)展，超分辨率復(fù)原方法將越來(lái)越多的圖像降質(zhì)因素考慮在內(nèi)，包括序列圖像的亞像素位移、紅外相機(jī)的動(dòng)態(tài)響應(yīng)范圍、成像系統(tǒng)的固有噪聲和圖像的運(yùn)動(dòng)模糊等，越來(lái)越接近于實(shí)際的降質(zhì)模型。

從圖像處理角度，所謂的超分辨率復(fù)原，就是利用一幅或者多幅低分辨率的圖像，結(jié)合特定的方法，來(lái)估計(jì)頻率信息大于光學(xué)成像系統(tǒng)截止頻率的高分辨率圖像的過(guò)程，該過(guò)程主要克服的困難有光學(xué)系統(tǒng)的像差、大氣擾動(dòng)和目標(biāo)與光學(xué)系統(tǒng)之間的相對(duì)運(yùn)動(dòng)產(chǎn)生的模糊、成像系統(tǒng)噪聲、紅外相機(jī)降采樣丟失的信息和光學(xué)系統(tǒng)離焦等。超分辨率復(fù)原是圖像融合的一個(gè)分支，同樣是一個(gè)病態(tài)問(wèn)題，也就是說(shuō)輸入圖像參數(shù)的輕微擾動(dòng)都會(huì)導(dǎo)致估計(jì)圖像產(chǎn)生較大的偏差，學(xué)者們一直都在致力于解決這個(gè)問(wèn)題。

目前，超分辨率復(fù)原已經(jīng)應(yīng)用于多個(gè)領(lǐng)域，也已經(jīng)成為圖像配準(zhǔn)方面發(fā)展比較活躍的一個(gè)分支。例如法國(guó)的SPOT和美國(guó)的EarthSat公司已經(jīng)成功地將超分辨率復(fù)原技術(shù)應(yīng)用于商業(yè)領(lǐng)域，在衛(wèi)星圖像復(fù)原中取得較好的效果。

2 超分辨率復(fù)原方法中的圖像退化模型

要研究超分辨率復(fù)原方法，首先必須了解圖像退化的機(jī)理，也就是低分辨率降質(zhì)圖像的成因，建立合適的降質(zhì)模型。如果將質(zhì)模型建立的足夠精確，那么根據(jù)其逆過(guò)程則可以很容易地恢復(fù)出高質(zhì)量地高分辨率圖像。

自然圖像可以看作是一個(gè)在所有頻段都有分量的連續(xù)信號(hào)，由于發(fā)生幾何形變和運(yùn)動(dòng)模糊，經(jīng)過(guò)光學(xué)系統(tǒng)降采樣后離散化，加上前面分析的加性噪聲，最后形成了降質(zhì)圖像。由同一光學(xué)系統(tǒng)對(duì)同一場(chǎng)景采集的連續(xù)多幀圖像序列，可以看作是自然原始圖像經(jīng)過(guò)不同的形變、模糊、降采樣和噪聲參數(shù)作用之后得到的不同圖像。在傳統(tǒng)的圖像復(fù)原過(guò)程中，考慮的一般只有運(yùn)動(dòng)模糊和加性噪聲，而超分辨率復(fù)原過(guò)程中考慮的因素顯然更多。在成像系統(tǒng)中，只有光子散粒噪聲是乘性的，這種小的噪聲可以忽略，因此整個(gè)噪聲模型可以用加性的高斯噪聲近似得到。

根據(jù)考慮的主要退化因素不同，可以建立不同的退化模型。假設(shè)獲得的低分辨率圖像為｛lp1，lp2，…，lpn｝，如果退化過(guò)程滿足以下條件：幾何形變?yōu)橹饕耐嘶蛩?；模糊原因不以相?duì)運(yùn)動(dòng)為主，而是以光學(xué)系統(tǒng)的離焦、大氣抖動(dòng)為主要成因；幾何形變發(fā)生在模糊之前。則建立基于形變的退化模型。

基于形變的圖像退化模型如圖1所示。

圖1 基于形變的圖像退化模型Fig.1 Image degradation model based on deformation

相應(yīng)地，基于形變的圖像退化模型的數(shù)學(xué)表達(dá)式如式(1)所示。

式中：為了計(jì)算和表示方便，假設(shè)自然圖像場(chǎng)景的長(zhǎng)寬比為1，尺寸為L(zhǎng)×L，則X是一個(gè)L2×1的一維列向量，表示對(duì)自然圖像進(jìn)行行堆砌得到的矢量，Ci為L(zhǎng)2×L2的系統(tǒng)模糊矩陣，F(xiàn)i為L(zhǎng)2×L2的幾何形變矩陣，可描述各種幾何變換如平移、旋轉(zhuǎn)和尺度縮放等，Di為×L2的紅外相機(jī)降采樣矩陣，最后生成的低分辨率圖像Lpi也是×1維的。

如果考慮運(yùn)動(dòng)模糊為主要的退化因素，或者模糊過(guò)程發(fā)生在形變過(guò)程之前，則建立基于運(yùn)動(dòng)模糊的退化模型。

基于運(yùn)動(dòng)模糊的圖像退化模型如圖2所示。

圖2 基于運(yùn)動(dòng)模糊的圖像退化模型Fig.2 Image degradation model based on motion blur

相應(yīng)地，基于運(yùn)動(dòng)模糊的圖像退化模型的數(shù)學(xué)表達(dá)式如式(2)所示。

為了表示方便，也可以將式(1)和式(2)簡(jiǎn)單寫為：

式中：Hi=DiFiCi或者Hi=FiDiCi，這便是所熟悉的經(jīng)典圖像退化模型。在上述模型中，大寫字母表示的是信號(hào)的傅里葉變換。由式(1)、式(2)和式(3)可以得到一維列向量X如式(4)所示。

因?yàn)镠i是一個(gè)低通濾波器，高頻部分趨于0，因此在高頻上，Ni的一個(gè)細(xì)小的擾動(dòng)都有可能導(dǎo)致X發(fā)生較大的變化，解空間不存在連續(xù)性。同時(shí)，較大的噪聲容易導(dǎo)致觀測(cè)到的低分辨率圖像與高分辨率圖像嚴(yán)重不符，無(wú)法進(jìn)行估計(jì)。再者，在約束條件不同的情況下，得到的解也不盡相同。因此稱超分辨率復(fù)原問(wèn)題是一個(gè)病態(tài)問(wèn)題。直接利用式(3)進(jìn)行逆變換是不可行的，因?yàn)槌直媛蕪?fù)原的目的是恢復(fù)出超過(guò)光學(xué)系統(tǒng)截止頻率的原始信號(hào)，這種直接進(jìn)行逆變換得到的結(jié)果顯然不可能超過(guò)光學(xué)系統(tǒng)的截止頻率。

超分辨率復(fù)原的目標(biāo)，就是研究如何從這一組低分辨率圖像｛lp1，lp2，…，lpn｝中，找到原始圖像信號(hào)X的近似估計(jì)。為了引出超分辨率復(fù)原模型的一些經(jīng)典方法，下面首先介紹超分辨率復(fù)原的3個(gè)理論基礎(chǔ)：信息疊加理論、解析延拓理論和非線性操作理論。

2.1 信息疊加理論

無(wú)論是可見光相機(jī)還是紅外相機(jī)成像，采用的都是非相干成像機(jī)理，圖像中不存在乘性相干斑噪聲。同時(shí)，可以認(rèn)為圖像中的目標(biāo)具有固定的大小。對(duì)于某一個(gè)目標(biāo)信號(hào)f(x)，可以表示為：

式(5)中：rect(x/X)可以表示為：

式(6)中：X表示目標(biāo)的尺寸。式(5)表示在特定的范圍內(nèi)，目標(biāo)是有信號(hào)的，而一旦超出了這個(gè)范圍，目標(biāo)信號(hào)就可以認(rèn)為是0。光學(xué)系統(tǒng)相當(dāng)于一個(gè)低通濾波器，假設(shè)其截止頻率為Fc。對(duì)目標(biāo)信號(hào)f(x)作傅里葉變換得到其頻譜F(u)，假設(shè)其在截止頻率之外和截止頻率之內(nèi)的頻譜分別為Fa(u)和Fb(u)，則頻譜F(u)可以表示為：

相應(yīng)地，對(duì)式(5)作傅里葉變換，得到頻譜F (u)可以表示為：

sinc(Xu)的頻譜覆蓋了整個(gè)頻段，則式(8)中的Fa(u)*sinc(Xu)表示目標(biāo)信號(hào)的低頻分量會(huì)出現(xiàn)在光學(xué)系統(tǒng)截止頻率以上，而Fb(u)* sinc(Xu)表示目標(biāo)信號(hào)的高頻分量會(huì)出現(xiàn)在光學(xué)系統(tǒng)的截止頻率以下。也就是說(shuō)，通過(guò)光學(xué)成像系統(tǒng)獲得的低分辨率圖像中，既包含目標(biāo)的低頻分量的信息，又包含目標(biāo)高頻分量的信息，如果能將所有這些頻率信息都完整分離出來(lái)，就可以完全復(fù)原出高分辨率的目標(biāo)圖像。

2.2 解析延拓理論

解析延拓理論認(rèn)為：一個(gè)解析函數(shù)一旦給定其在某一個(gè)連續(xù)區(qū)間上的值，則這個(gè)解析函數(shù)完全確定，換言之，不存在兩個(gè)不同的解析函數(shù)，在某一區(qū)間上的取值處處相同。

根據(jù)上一小節(jié)的分析可知目標(biāo)信號(hào)在空域有界，則其在頻域上為解析函數(shù)。而根據(jù)式(2)可知從觀測(cè)圖像可以得到原始圖像的低頻分量(因?yàn)橄到y(tǒng)傳遞函數(shù)Hi是一個(gè)低通濾波器)，則根據(jù)低頻區(qū)間的函數(shù)值，完全可以復(fù)原整個(gè)頻域的傅里葉變換，這就是超分辨率復(fù)原的任務(wù)和目標(biāo)。

2.3 非線性操作理論

根據(jù)式(2)可知，降質(zhì)過(guò)程受到噪聲影響，由此得到的式(4)中f(x)的估計(jì)值可能包含負(fù)數(shù)，或者不滿足有界性。因此一般的圖像復(fù)原均需要強(qiáng)制添加約束條件，對(duì)估計(jì)出的解進(jìn)行截?cái)啵槐Ａ魸M足有意義和非零的那部分解。截?cái)嗍且粋€(gè)非線性操作，會(huì)對(duì)解附加高頻分量，因此只要約束條件足夠合理，便可以恢復(fù)出原始圖像的高頻分量，實(shí)現(xiàn)超分辨率復(fù)原。

本節(jié)論述了從觀測(cè)到的低分辨率圖像恢復(fù)高分辨率圖像的可能性，下面著重介紹目前較為成熟的一些超分辨率復(fù)原方法。

3 常用的超分辨率復(fù)原方法分析

在超分辨率復(fù)原這個(gè)概念提出后的最初幾年，學(xué)者們一般是使用單幀圖像復(fù)原的方法，將其歸為一般的圖像復(fù)原問(wèn)題，代表性的方法包括：基于解析延拓原理的外推法、基于長(zhǎng)球函數(shù)的外推法、Papoulis-Gerchberg迭代法和一步外推法等。這類復(fù)原問(wèn)題都是病態(tài)問(wèn)題，觀測(cè)誤差和噪聲的引入會(huì)對(duì)解產(chǎn)生很大影響，因此單幀圖像復(fù)原法復(fù)原圖像質(zhì)量不能令人滿意，難以應(yīng)用在實(shí)際工程中，已逐漸淡出了人們的視野。

目前采用的超分辨率復(fù)原方法，基本上均使用了多幀的低分辨率圖像，從不同圖像中提取相互補(bǔ)充的信息，從而恢復(fù)出高分辨率圖像［1］。多幀序列圖像的超分辨率復(fù)原方法，一般可以分為圖像配準(zhǔn)、降晰參數(shù)辨識(shí)和復(fù)原3個(gè)步驟，因?yàn)槔玫搅素S富的信息和先驗(yàn)知識(shí)，所以復(fù)原效果優(yōu)于單幀圖像復(fù)原方法?；诙鄮蛄袌D像的超分辨率復(fù)原方法可以分為頻域方法和空域方法，頻域方法包括遞歸最小二乘法(Recursive Least Squares，RLS)、遞歸整體最小二乘法(Recursive Total Least Squares，RTLS)、消混疊復(fù)原法和廣義采樣定理法等，空域方法包括非均勻空間樣本插值法、濾波器法、迭代反向投影法、代數(shù)濾波后向投影法、凸集投影(POCS)法、統(tǒng)計(jì)復(fù)原法和混合最大后驗(yàn)概率估算和凸集投影(MAP/POCS)法等，其中尤以空域復(fù)原方法使用最為廣泛。

圖3 超分辨率復(fù)原方法體系Fig.3 Methodology of super-resolution restoration

超分辨率復(fù)原方法體系見圖3。

3.1 頻域超分辨率復(fù)原方法

頻域法的主要思想是假設(shè)序列圖像之間存在位移變化，對(duì)序列圖像首先進(jìn)行傅里葉變換，并根據(jù)傅里葉變換的平移特性，消除序列圖像之間的頻譜混疊，獲得更多原始圖像的高頻信息，從而得到高分辨率圖像。頻域法的基礎(chǔ)是Tsai和Huang等提出的消混疊復(fù)原法，其余諸如RLS、WTLS和廣義采樣定理法都可以看作是對(duì)消混疊復(fù)原法的改進(jìn)。

頻域超分辨率復(fù)原方法的一般步驟如圖4所示。

圖4 頻域超分辨率復(fù)原方法的一般步驟Fig.4 General steps of frequency domain super-resolution restoration

3.1.1 消混疊復(fù)原法

原始的高分辨率圖像信號(hào)是二維連續(xù)信號(hào)，記為x(t1，t2)，它的傅里葉變換為X(w1，w2)。觀測(cè)得到一系列低分辨率圖像yk［n1，n2］，k=1，…，p是由這個(gè)信號(hào)經(jīng)過(guò)平移和光學(xué)系統(tǒng)降采樣得到的。假設(shè)第k個(gè)位移圖像為：

式(9)中：δk1和δk2為已知位移量，k=1，2，…，p。由傅里葉變換的位移性質(zhì)，位移圖像xk(t1，t2)的傅里葉變換如式(10)所示。

光學(xué)成像系統(tǒng)對(duì)位移圖像xk(t1，t2)分別以T1和T2為周期進(jìn)行離散采樣，最終得到低分辨率圖像序列yk［n1，n2］。根據(jù)傅里葉變換的頻譜混疊性質(zhì)，下式為：

式(11)可以簡(jiǎn)寫為：

式(12)中：Y是p×1的列向量，第k個(gè)元素為yk［n1，n2］，X為L(zhǎng)1L2×1的列向量，Φ是p×L1L2的變換矩陣。因?yàn)橛^測(cè)圖像Y已知，平移關(guān)系可以通過(guò)圖像配準(zhǔn)方法得到，所以通過(guò)解上述方程組并經(jīng)過(guò)傅里葉逆變換，就可以得到高分辨率圖像。

消混疊復(fù)原法模型簡(jiǎn)單，實(shí)現(xiàn)起來(lái)也較為容易，但缺點(diǎn)是假設(shè)較為嚴(yán)格，只能處理序列圖像之間是平移關(guān)系的情況，并且沒有考慮光學(xué)系統(tǒng)的離焦、運(yùn)動(dòng)模糊和噪聲等因素，實(shí)用性較差。

3.1.2 遞歸最小二乘法

Kim等［2-3］對(duì)傳統(tǒng)的消混疊復(fù)原法進(jìn)行了深入的研究，在復(fù)原過(guò)程中考慮了線性不變模糊、線性移變模糊和加性噪聲等因素，將觀測(cè)方程改寫為更加復(fù)雜的形式，使用RLS和WRLS求解，并引入Tikhonov正則化方法，正則化方程如下：

式(13)中：γ為正則化方程，c為解的估計(jì)值，γ為正則化系數(shù)。式(13)正則化方程的解如下：

式(13)正則化方程可以通過(guò)最小二乘和遞歸最小二乘進(jìn)行求解。

文獻(xiàn)［4］對(duì)觀測(cè)圖像進(jìn)行分塊，重疊運(yùn)動(dòng)子塊進(jìn)行運(yùn)動(dòng)補(bǔ)償，將消混疊復(fù)原法從整體運(yùn)動(dòng)模型推廣到局部運(yùn)動(dòng)模型，使之具有一般性，但是只局限于平移運(yùn)動(dòng)，而沒有推廣到更加復(fù)雜的情況。

3.1.3 遞歸整體最小二乘法

考慮到由于模型系數(shù)的誤差導(dǎo)致RLS求解對(duì)于某些系數(shù)可能不收斂的問(wèn)題，文獻(xiàn)［5］重新改寫了文獻(xiàn)［4］的方程組，并提出使用WRLS［6］進(jìn)行求解(Weighted Recursive Least Squares，WRLS)的思路。

假設(shè)模型系數(shù)Φ的誤差為EΦ，噪聲的傅里葉變換為N，則觀測(cè)模型可以改寫為：

式(15)的方程可以使用遞歸整體最小二乘法進(jìn)行求解。

3.1.4 廣義采樣定理法

廣義采樣定理法認(rèn)為降質(zhì)過(guò)程可以描述為一種線性退化模型，并將復(fù)原過(guò)程分為兩個(gè)步驟，首先將不同的低分辨率圖像信號(hào)合成，然后再對(duì)合成信號(hào)進(jìn)行去模糊，該類方法的缺點(diǎn)是對(duì)所有的低分辨率圖像都使用同一個(gè)點(diǎn)擴(kuò)散函數(shù)(Point Spread Function，PSF)，并且圖像之間的相對(duì)運(yùn)動(dòng)還是局限于平移。

綜上所述，頻域法的優(yōu)點(diǎn)包括：原理簡(jiǎn)單清楚，大多數(shù)是基于離散傅里葉變換和連續(xù)傅里葉變換；計(jì)算方便，可以通過(guò)并行處理來(lái)提高處理速度；理論發(fā)展清晰，大多數(shù)是由消混疊復(fù)原法發(fā)展而來(lái)。但是缺點(diǎn)也同樣明顯：所建立的運(yùn)動(dòng)模型都是平移模型，不具有一般性；在頻域中，難以利用正則化約束，這樣就導(dǎo)致難以使用圖像的先驗(yàn)信息來(lái)幫助進(jìn)行超分辨率復(fù)原。因此，人們對(duì)頻域復(fù)原方法的研究越來(lái)越少。發(fā)展最快，應(yīng)用最廣的是下面將要介紹的空域復(fù)原方法。

3.2 空域超分辨率復(fù)原方法

空域超分辨率復(fù)原方法是指在像素空間內(nèi)，直接進(jìn)行圖像配準(zhǔn)以計(jì)算序列圖像之間的變換關(guān)系，然后使用一系列的約束來(lái)描述模糊和噪聲等降質(zhì)過(guò)程，進(jìn)行迭代復(fù)原的方法。與頻域復(fù)原方法目前只局限于平移運(yùn)動(dòng)模型不同，空域復(fù)原方法可以很方便地建立復(fù)雜的運(yùn)動(dòng)模型，包括全局運(yùn)動(dòng)模型和局部運(yùn)動(dòng)模型。同時(shí)空域復(fù)原方法很好地描述噪聲、降采樣、由于非零孔徑時(shí)間造成的模糊、光學(xué)系統(tǒng)降質(zhì)和運(yùn)動(dòng)模糊等眾多復(fù)雜的過(guò)程，還可以加入更完善的先驗(yàn)知識(shí)，如Markov隨機(jī)場(chǎng)理論和集合理論約束等。因此，空域超分辨率復(fù)原模型更符合實(shí)際的圖像退化過(guò)程，能夠得到很好的復(fù)原效果，是目前應(yīng)用最廣泛的一類超分辨率復(fù)原方法。

常用的空域復(fù)原方法包括非均勻空間樣本插值法、濾波器法、迭代反向投影法、代數(shù)濾波后向投影法、凸集投影POCS法、統(tǒng)計(jì)復(fù)原法和混合MAP/POCS法等。

空域超分辨率復(fù)原方法的一般步驟如圖5所示。

圖5 空域超分辨率復(fù)原方法的一般步驟Fig.5 General steps of space domain super-resolution restoration

3.2.1 非均勻空間樣本插值法

非均勻空間樣本插值的思想比較簡(jiǎn)單，首先對(duì)圖像序列進(jìn)行配準(zhǔn)，在非均勻采樣間隔的網(wǎng)格點(diǎn)上產(chǎn)生采樣值，這些采樣值形成了一系列的復(fù)合圖像，對(duì)這個(gè)圖像進(jìn)行降采樣，最后解卷積進(jìn)行模糊復(fù)原，就可以得到清晰的高分辨率圖像。

文獻(xiàn)［7］建立了整體平移和旋轉(zhuǎn)的運(yùn)動(dòng)模型，進(jìn)行迭代的內(nèi)插和修正求解，解決了頻域法中無(wú)法描述復(fù)雜運(yùn)動(dòng)模型的問(wèn)題，但缺點(diǎn)是內(nèi)插方式過(guò)于簡(jiǎn)單，對(duì)于頻譜混疊不具有抑制作用。文獻(xiàn)［8］提出一種新的內(nèi)插方法，但是這種方法仍然無(wú)法滿足需求，導(dǎo)致復(fù)原的高分辨率圖像沒有包含全部的高頻信息，視覺效果無(wú)法令人滿意。文獻(xiàn)［9］引入了一種性能較好的圖像復(fù)原技術(shù)，取得令人滿意的復(fù)原效果。文獻(xiàn)［10］將小波插值方法應(yīng)用于超分辨率復(fù)原中，首先對(duì)低分辨率圖像序列進(jìn)行小波變換，在不同尺度的小波空間同時(shí)進(jìn)行圖像復(fù)原，最后合成得到高分辨率圖像，取得很好的復(fù)原效果。

非均勻樣本空間的插值方法原理直觀，計(jì)算簡(jiǎn)便，速度較快的方法甚至能夠做到實(shí)時(shí)處理。總的來(lái)說(shuō)，非均勻插值方法的優(yōu)勢(shì)是它具有相對(duì)較低的計(jì)算負(fù)荷，并能進(jìn)行實(shí)時(shí)應(yīng)用。但是，該方法較為簡(jiǎn)單，沒有涉及高頻分離技術(shù)，復(fù)原之后的圖像頻率成分并沒有超過(guò)成像系統(tǒng)的截止頻率，同時(shí)當(dāng)前的方法也沒有考慮到圖像序列模糊和噪聲參數(shù)不一致的情況。

3.2.2 濾波器法

一些應(yīng)用場(chǎng)合比如電視信號(hào)變換、超分辨率影視成像，不僅要求較好的復(fù)原精度，同時(shí)也要求復(fù)原的時(shí)間要短。濾波器法便是適用于這樣場(chǎng)合的方法。

濾波器法認(rèn)為視頻序列是平穩(wěn)因果圖像序列［11］，假設(shè)低分辨率圖像序列為y(t)，高分辨率圖像序列為f(t)，序列之間存在相對(duì)運(yùn)動(dòng)，經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償后存在獨(dú)立同分布的高斯噪聲，則低分辨率圖像序列y(t)為：

式(16)中：D表示降采樣，C(t-i)表示第i幀低分辨率圖像的降晰函數(shù)，E(t，i)表示幀間相對(duì)運(yùn)動(dòng)，N(t-i)表示模型中的噪聲，噪聲的自相關(guān)矩陣為W(t-i)-1。

定義誤差函數(shù)為：

誤差函數(shù)最小化的解就是復(fù)原得到的高分辨率圖像。對(duì)式(17)進(jìn)行求導(dǎo)，可得：

式(18)中：P(t)和R(t)分別如式(19)和式(20)所示。

式(18)可以采用不同的方法求解，例如文獻(xiàn)［11］中的梯度下降迭代算法，充分利用了前一幀的復(fù)原結(jié)果，具有很快的處理速度。Alam等［12］引入維納濾波用以抑制噪聲，對(duì)紅外圖像視頻序列的復(fù)原結(jié)果證明了該方法的有效性和快速性。

總的來(lái)說(shuō)，濾波器法應(yīng)用到幀間信息較少，因此復(fù)原出的高分辨率圖像質(zhì)量并不能超過(guò)其他幾種復(fù)原方法，但是該方法在計(jì)算效率上有很大優(yōu)勢(shì)，適用于一些特定的場(chǎng)合。

3.2.3 迭代反向投影法

迭代反向投影法是一個(gè)逆過(guò)程，該方法首先將估計(jì)的高分辨率圖像投影到低分辨率的圖像空間中，獲得低分辨率圖像的估計(jì)接著計(jì)算真實(shí)低分辨率圖像和估計(jì)低分辨率圖像的模擬誤差，直到誤差能量小于規(guī)定的閾值為止。迭代過(guò)程如式(21)所示。

Irani在文獻(xiàn)［13］中詳細(xì)描述了迭代反向投影法。國(guó)內(nèi)方面，郭偉偉、覃鳳清、張永育等［14-16］對(duì)迭代反向投影法提出了一些改進(jìn)，例如郭偉偉等引入傅里葉變換以估計(jì)幀位移，覃鳳清等使用子像素配準(zhǔn)方法，張永育等引入Keren改進(jìn)配準(zhǔn)算法，提高了配準(zhǔn)精度。Maan［17］和Tom［18］等使用迭代反向投影法重建視頻序列的高分辨率圖像，取得了很好的復(fù)原效果。

迭代反向投影的復(fù)原方法首先需要確定反向投影操作數(shù)，當(dāng)操作數(shù)選取不當(dāng)時(shí)，算法有可能不收斂，即便收斂，不同操作數(shù)也會(huì)得到不同復(fù)原結(jié)果。同時(shí)，該方法的投影誤差決定于先驗(yàn)約束條件，將先驗(yàn)約束引入是一個(gè)復(fù)雜的過(guò)程，大大增加了該方法的復(fù)雜度。

3.2.4 代數(shù)濾波后向投影法

代數(shù)濾波后向投影法是為了解決使用線性成像陣列對(duì)固定的場(chǎng)景多次一維掃描，然后進(jìn)行三維復(fù)原這一課題而提出的，推廣到二維圖像的超分辨率復(fù)原中，只需要將傳遞函數(shù)由線積分改成面積分就可以。文獻(xiàn)［11］中詳細(xì)描述了這種方法。代數(shù)濾波后向投影法的優(yōu)點(diǎn)是使用了層析圖像領(lǐng)域中的復(fù)原技術(shù)，提高了超分辨率復(fù)原的效果，但是這種方法在建模中沒有考慮觀測(cè)噪聲，在逆濾波過(guò)程中頻率越高，響應(yīng)越大，帶來(lái)的問(wèn)題就是這種方法對(duì)噪聲非常敏感。盡管有明顯缺陷，但這種由層析成像推廣到二維超分辨率復(fù)原的方法仍然值得借鑒。

3.2.5 凸集投影POCS法

嚴(yán)格來(lái)說(shuō)，凸集投影POCS法是集合理論復(fù)原的一類代表性方法，該方法的思想是使用一系列的凸約束集合來(lái)描述超分辨率復(fù)原方法中的一些特性和先驗(yàn)信息，例如圖像正則化、數(shù)據(jù)可靠性和能量有界性等，這些凸約束集合會(huì)有一個(gè)相交的區(qū)域，這個(gè)區(qū)域就被定義為超分辨率復(fù)原圖像的解空間。接著通過(guò)一定的約束條件在解空間中確定一個(gè)點(diǎn)，作為原始高分辨率圖像的估計(jì)。凸集投影方法是一種迭代方法，通過(guò)不停的迭代計(jì)算可以定位解空間中所有的收斂解，直至滿足條件。

式中：Pj表示對(duì)應(yīng)于第j個(gè)凸集的投影算子。顯然，這是一個(gè)迭代方法，給定合適的初始迭代值，可以收斂到唯一解，從而最終獲得滿足要求的超分辨率復(fù)原圖像，而如果沒有限定初始迭代值，并且凸集滿足緊致性，則解空間的任意一個(gè)值都是滿足條件的復(fù)原結(jié)果。

凸集投影迭代方法的示意圖如圖6所示。

圖6 凸集投影法示意圖Fig.6 Diagrammatic sketch of POCS

POCS法擁有以下兩個(gè)性質(zhì)：

性質(zhì)1：POCS法的解集也是凸集如下所示：

式(23)和式(24)中：f(x1，y1)為原始高分辨率圖像為高分辨率圖像的估計(jì)；hk(x， y；x1，y1)為觀察圖像在(x1，y1)處所對(duì)應(yīng)的系統(tǒng)PSF；δk=cσ≥0為f(x1，y1)在Ck(x1，y1)內(nèi)的統(tǒng)計(jì)置信度。

性質(zhì)2：如果需要調(diào)整收斂速度，可以加入松弛迭代算子如下：

如果加入一些額外的約束條件，可以進(jìn)一步加快收斂速度，例如加入幅度約束條件如下：

式中：α、β是可調(diào)整的常數(shù)，通常取α=0，β= 255。

最終得到的高分辨率復(fù)原圖像估計(jì)如式下所示：

如果加入松弛迭代算子，則上式變?yōu)椋?/p>

公式中：k=0，1，…，K，0≤x1≤N1-1，0≤y1≤N2-1。

一般而言，約束條件越多，迭代初始值選取得越準(zhǔn)確，則這種方法的收斂速度越快。

Youla等［19］首次將POCS理論引入到圖像復(fù)原中，而Stark等［20］首次將該理論用于超分辨率復(fù)原。但是，該方法復(fù)原結(jié)果中有可能出現(xiàn)振鈴效應(yīng)和吉布斯效應(yīng)，文獻(xiàn)［21-22］分別引入線過(guò)程模型和模擬-迭代過(guò)程，抑制了這兩種效應(yīng)，使復(fù)原圖像更加清晰。Patti等［23］提出一種新的運(yùn)動(dòng)模型，該運(yùn)動(dòng)模型包含了空間變化的點(diǎn)擴(kuò)散函數(shù)，考慮了光學(xué)系統(tǒng)降采樣和相對(duì)運(yùn)動(dòng)模糊對(duì)圖像質(zhì)量產(chǎn)生的影響，隨后又在文獻(xiàn)［24-25］中優(yōu)化了該方法，引入了頻譜混疊和加性噪聲等進(jìn)行建模。

POCS方法的優(yōu)點(diǎn)在于實(shí)現(xiàn)簡(jiǎn)單，并且便于使用先驗(yàn)知識(shí)，但是通常得不到唯一解，對(duì)邊緣細(xì)節(jié)的保護(hù)能力較差，迭代次數(shù)一般較大，計(jì)算時(shí)間較長(zhǎng)，同時(shí)收斂結(jié)果很大程度上取決于初始值的選取。統(tǒng)計(jì)復(fù)原法

3.2.6 統(tǒng)計(jì)復(fù)原法

在統(tǒng)計(jì)學(xué)中，以事先和事后估計(jì)為分類標(biāo)準(zhǔn)，常用的估算方法包括MAP和最大似然估算(Maximum Likelihood，ML)，MAP的定義是在已知先驗(yàn)知識(shí)的條件下，使事件出現(xiàn)的后驗(yàn)概率達(dá)到最大，而ML則是先驗(yàn)知識(shí)等概率出現(xiàn)的MAP的特例。在圖像的超分辨率復(fù)原中，所謂的統(tǒng)計(jì)復(fù)原方法，也就是通過(guò)引入一系列的先驗(yàn)約束條件，把超分辨率復(fù)原問(wèn)題轉(zhuǎn)化為一個(gè)統(tǒng)計(jì)估算問(wèn)題，可以是MAP，也可以是ML。

把原始高分辨率圖像記為f(x，y)，把退化后的低分辨率圖像記為g(x，y)，并且認(rèn)為f(x，y)和g(x，y)均為隨機(jī)場(chǎng)。根據(jù)Bayesian理論，在已知g(x，y)，f(x，y)出現(xiàn)的概率如下：

式中：P(f)和P(g)分別表示原始高分辨率圖像和低分辨率圖像的先驗(yàn)概率。P(f/g)為已知g(x，y)，出現(xiàn)f(x，y)的后驗(yàn)概率；P(f/g)為已知f(x，y)，出現(xiàn)g(x，y)的概率；適當(dāng)?shù)剡x擇f，使P(f/g)達(dá)到最大，這時(shí)對(duì)應(yīng)的f就是復(fù)原的最佳估計(jì)表示如下：

也即如式下：

求解式(32)，可以使用上面提到的兩種估算方法，即MAP和ML。

MAP方法，對(duì)式(32)進(jìn)行求導(dǎo)，得到如下：

代價(jià)函數(shù)的前一項(xiàng)表示觀察誤差，第二項(xiàng)則由先驗(yàn)知識(shí)決定，這個(gè)代價(jià)函數(shù)的收斂性取決于先驗(yàn)知識(shí)，加入先驗(yàn)?zāi)Ｐ秃瘮?shù)足夠光滑并且是凸函數(shù)，那么代價(jià)函數(shù)就是收斂的，式(34)便可以求解。

ML方法則是先驗(yàn)知識(shí)等概率出現(xiàn)的MAP的特例，因此忽略公式(33)的第二項(xiàng)。ML方法表示如下：求解公式(35)可以得到滿足條件的復(fù)原圖像。

Schultz等［26］首次將MAP方法應(yīng)用于圖像內(nèi)插中，隨后又將其推廣到超分辨率復(fù)原上，但是最初建立的模型比較粗糙，沒有考慮運(yùn)動(dòng)模糊；在接下來(lái)的工作中，Schultz等為了得到較精確的運(yùn)動(dòng)估計(jì)參數(shù)，將亞像素級(jí)運(yùn)動(dòng)估計(jì)方法引入到他們的方法中，提出了基于塊運(yùn)動(dòng)估計(jì)的投影模型和基于光流法的運(yùn)動(dòng)估計(jì)模型，較為精確的運(yùn)動(dòng)估計(jì)大大提高超分辨率復(fù)原的精度，但是這種運(yùn)動(dòng)估計(jì)是基于相鄰兩幀圖像的，如果使用多幀的運(yùn)動(dòng)信息，可以得到更加精確的估計(jì)。Hardie等［27］提出可以對(duì)運(yùn)動(dòng)估計(jì)和超分辨率復(fù)原同時(shí)進(jìn)行計(jì)算的方法，這種方法雖然計(jì)算速度較慢，但卻克服了傳統(tǒng)的運(yùn)動(dòng)參數(shù)需要從低分辨率圖像中獲得的缺點(diǎn)，取得較好的復(fù)原效果。國(guó)內(nèi)方面，鮮?，摰龋?8］提出將低分辨率序列的位移信息作為一種非冗余信息，與MAP復(fù)原方法相結(jié)合；王靜等［29］將MAP方法應(yīng)用于遙感圖像超分辨率復(fù)原，并提出一種頻域校正方法，復(fù)原結(jié)果令人滿意。

統(tǒng)計(jì)復(fù)原法目前已經(jīng)被人們廣泛接受，原因在于統(tǒng)計(jì)復(fù)原法可以很方便地引入各種先驗(yàn)知識(shí)，建立直觀的模型，并且由于文獻(xiàn)［27］的工作，可以將運(yùn)動(dòng)估計(jì)和超分辨率復(fù)原同時(shí)進(jìn)行計(jì)算，大大提高了復(fù)原精度。

3.2.7 混合MAP/POCS法

MAP方法和POCS方法是當(dāng)前學(xué)者們研究最多的，應(yīng)用也是最廣泛的方法，這兩種方法都很容易在模型中加入先驗(yàn)知識(shí)，但是各自存在的優(yōu)缺點(diǎn)也相當(dāng)明顯：POCS法迭代次數(shù)一般較大，計(jì)算時(shí)間較長(zhǎng)，同時(shí)收斂結(jié)果很大程度上取決于初始值的選取，難以收斂，通常得不到唯一解，同時(shí)對(duì)噪聲比較敏感；MAP法抗噪能力較強(qiáng)，收斂速度快且有唯一解，但是對(duì)邊緣的保留能力較差。因此研究者們考慮將二者進(jìn)行結(jié)合，以期待新的方法能同時(shí)擁有二者的優(yōu)勢(shì)?；旌螹AP/POCS法的思想是將MAP的代價(jià)泛函約束在某些集合中如下式：

式中：x∈Ck，1≤k≤M，Rn是噪聲的自相關(guān)系數(shù)，S是拉普拉斯算子，加權(quán)矩陣V用以控制平滑程度，Ck為外加約束條件。

目前這類方法研究的人不多，Elad等［30］把MAP和非橢球約束結(jié)合在一起，該方法可以使用全部的先驗(yàn)知識(shí)，并且能最終確定唯一的復(fù)原圖像。通過(guò)實(shí)驗(yàn)表明，將二者相結(jié)合的方法確實(shí)能提高超分辨率復(fù)原的性能。

3.2.8 其他方法

除了以上介紹的幾種常用的空間域方法之外，學(xué)者們還提出了很多其他的方法，主要包括：基于小波變換的方法、基于學(xué)習(xí)的方法和基于壓縮域的方法。

基于小波變換的方法：小波變換采用不同的小波基近似逼近原始信號(hào)，在時(shí)域和頻域均具有良好的局部化性質(zhì)，尤其對(duì)高頻成分可以進(jìn)行精確的描述。通常在小波域，圖像的高頻分量和低頻分量是分離的，圖像的主要信息集中在低頻分量，而細(xì)節(jié)信息集中在高頻分量，而噪聲通常是均勻分布在整個(gè)小波域的，因此小波變換可以方便描述圖像的性質(zhì)，目前已經(jīng)廣泛應(yīng)用于去噪、去模糊和自動(dòng)目標(biāo)識(shí)別等圖像處理的各個(gè)領(lǐng)域。由于小波變換良好的性質(zhì)，學(xué)者們將其引入到超分辨率復(fù)原方法中?；谛〔ㄗ儞Q的超分辨率復(fù)原方法可以分為兩大類：第一類是對(duì)低分辨率進(jìn)行小波變換，在小波域?qū)D像進(jìn)行配準(zhǔn)和插值，再進(jìn)行小波逆變換得到高分辨率圖像；第二類是使用低分辨率圖像的小波變換系數(shù)來(lái)估計(jì)高分辨率圖像的小波變換，最后進(jìn)行逆變換。Tao等［31］提出將小波變換與雙線性插值相結(jié)合，實(shí)現(xiàn)圖像的邊緣增強(qiáng)。Nguyen等［10］提出的方法就是對(duì)低分辨率進(jìn)行小波變換，在小波域?qū)D像進(jìn)行配準(zhǔn)和插值，開啟了小波域超分辨率復(fù)原的先河。目前小波超分辨率復(fù)原方法尚處于起步階段，具有廣闊的發(fā)展前景。

基于學(xué)習(xí)的方法：隨著人工神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺和圖像處理方面的廣泛應(yīng)用，學(xué)者們提出了基于學(xué)習(xí)的超分辨率復(fù)原方法。該方法使用人工神經(jīng)網(wǎng)絡(luò)，通過(guò)大量的訓(xùn)練樣本學(xué)習(xí)，找到低分辨率圖像序列和高分辨率圖像的對(duì)應(yīng)關(guān)系。人工神經(jīng)網(wǎng)絡(luò)方法實(shí)際上是訓(xùn)練魯棒分類器的過(guò)程，并未過(guò)多地涉及超分辨率復(fù)原的概念。Hertzmann等［32］將神經(jīng)網(wǎng)絡(luò)引入超分辨率復(fù)原中，在不同的圖像之間進(jìn)行類推計(jì)算。Baker和Kanade［33］研究的是圖像放大問(wèn)題，使用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練。

基于壓縮域的方法：因?yàn)楫?dāng)前的視頻或者圖像都是采用某種壓縮方法進(jìn)行存儲(chǔ)的，在壓縮編碼中可能會(huì)引入噪聲、塊效應(yīng)和振鈴效應(yīng)。因此研究基于壓縮域的復(fù)原方法具有現(xiàn)實(shí)意義，例如Gunturk［34］將壓縮過(guò)程中產(chǎn)生的量化噪聲和圖像自身的加性噪聲結(jié)合起來(lái)，用兩種方法進(jìn)行建模處理。

4 總結(jié)比較

頻域法的主要理論依據(jù)是傅里葉變換的平移特性，通過(guò)在頻域內(nèi)進(jìn)行插值復(fù)原。頻域法的優(yōu)點(diǎn)是：原理簡(jiǎn)單清楚，計(jì)算方便，可以通過(guò)并行處理來(lái)提高處理速度；理論發(fā)展清晰，大多數(shù)是由消混疊復(fù)原方法發(fā)展而來(lái)。頻域法的缺點(diǎn)是：所建立的運(yùn)動(dòng)模型都是平移模型，不具有一般性；在頻域中，難以利用正則化約束，這就導(dǎo)致難以使用圖像的先驗(yàn)信息來(lái)幫助進(jìn)行超分辨率復(fù)原。目前，頻域法已經(jīng)不再是主流的超分辨率復(fù)原方法。

相比之下，空域復(fù)原方法可以很方便地建立復(fù)雜的運(yùn)動(dòng)模型，同時(shí)考慮了幾乎所有的圖像降質(zhì)因素，例如噪聲、降采樣、由于非零孔徑時(shí)間造成的模糊、光學(xué)系統(tǒng)降質(zhì)和運(yùn)動(dòng)模糊等，還可以加入更完善的先驗(yàn)知識(shí)，如Markov隨機(jī)場(chǎng)理論和集合理論約束等。因此，空域超分辨率復(fù)原模型更符合實(shí)際的圖像退化過(guò)程，能夠得到很好的復(fù)原效果，是目前應(yīng)用最廣泛的一類超分辨率復(fù)原方法。

在空域超分辨率復(fù)原方法中，使用最多的是POCS法和MAP法。POCS法迭代次數(shù)一般較大，計(jì)算時(shí)間較長(zhǎng)，同時(shí)收斂結(jié)果很大程度上取決于初始值的選取，難以收斂，通常得不到唯一解，同時(shí)對(duì)噪聲比較敏感。MAP法抗噪能力較強(qiáng)，收斂速度快且有唯一解，但是對(duì)邊緣的保留能力較差。為了提高POCS法的快速性，可以加入松弛迭代因子，同時(shí)，也可以將POCS法和MAP法相結(jié)合，得到混合MAP/POCS方法?；旌戏椒ň哂袃煞N方法的優(yōu)勢(shì)，既能得到唯一解，又可以較好地保留圖像的邊緣細(xì)節(jié)。

POCS法和MAP法的復(fù)原結(jié)果比較如圖7所示。

圖7 凸集投影法與最大后驗(yàn)概率法的復(fù)原效果比較Fig.7 Recovery effect contrast of POCS and MAP

圖7中，圖7(a)低分辨率序列圖像中的一幀圖像分辨率為256×256；圖7(b)POCS算法結(jié)果的圖像分辨率為512×512；圖7(c)MAP算法結(jié)果的圖像分辨率為512×512。

5 結(jié)束語(yǔ)

超分辨率復(fù)原方法經(jīng)過(guò)多年的發(fā)展，已經(jīng)形成了完整的理論體系，同時(shí)獲得了廣泛的應(yīng)用。在研究了眾多的超分辨率復(fù)原方法的基礎(chǔ)上，筆者認(rèn)為未來(lái)超分辨率復(fù)原方法的發(fā)展方向主要有以下幾個(gè)方面［35］：

(1)探索有效的抑制噪聲的復(fù)原方法。在成像過(guò)程中，噪聲是一個(gè)重要的退化因素。傳統(tǒng)的超分辨率復(fù)原方法往往沒有考慮噪聲的影響，在圖像包含噪聲時(shí)復(fù)原性能迅速下降。因此研究抗噪性能較好的復(fù)原方法，以便從包含較多噪聲的低分辨率圖像中復(fù)原出清晰的高分辨率圖像，是超分辨率復(fù)原方法發(fā)展的一個(gè)重要方向。

(2)研究有效的超分辨率方法評(píng)價(jià)體系。超分辨率復(fù)原結(jié)果是好是壞，不僅需要人眼的主觀評(píng)價(jià)，更需要一個(gè)客觀的評(píng)價(jià)標(biāo)準(zhǔn)。目前人們常用峰值信噪比(Peak Signal to Noise Ratio，PSNR)、結(jié)構(gòu)相似性(Structural SIMilarity，SSIM)等通用的評(píng)價(jià)指標(biāo)以衡量復(fù)原效果，并沒有專門評(píng)價(jià)超分辨率復(fù)原效果的指標(biāo)。如何才能有效地評(píng)價(jià)超分辨率復(fù)原方法的性能，既是超分辨率復(fù)原領(lǐng)域的一個(gè)亟待解決的問(wèn)題。

(3)快速超分辨率復(fù)原方法。目前的超分辨率復(fù)原方法處理時(shí)間大多較長(zhǎng)，并不能直接應(yīng)用于光電經(jīng)緯儀等對(duì)算法實(shí)時(shí)性要求較高的系統(tǒng)中。如何縮短算法的處理時(shí)間，提出快速超分辨率復(fù)原算法，是超分辨率復(fù)原實(shí)際應(yīng)用中不可繞過(guò)的一個(gè)難題。

(4)探索精確有效的運(yùn)動(dòng)估計(jì)方法。運(yùn)動(dòng)估計(jì)是否準(zhǔn)確，將大大影響超分辨率復(fù)原的精度。雖然目前出現(xiàn)了眾多的運(yùn)動(dòng)估計(jì)模型，甚至有些方法已經(jīng)達(dá)到亞像素的運(yùn)動(dòng)估計(jì)精度，但是目前的運(yùn)動(dòng)估計(jì)方法均局限于在低分辨率圖像上進(jìn)行估計(jì)，甚至于頻域法只能建立整體平移的運(yùn)動(dòng)模型?？偟膩?lái)說(shuō)，現(xiàn)有的運(yùn)動(dòng)估計(jì)方法無(wú)法令人滿意，需要進(jìn)行深入的理論研究和創(chuàng)新，提出新的運(yùn)動(dòng)估計(jì)模型。

(5)建立更加完善的圖像退化模型。從原理上來(lái)說(shuō)，任何一種超分辨率復(fù)原方法，首先都需要建立圖像退化模型，然后對(duì)這種模型進(jìn)行逆推，重新復(fù)原出高分辨率圖像。所建立的模型是否準(zhǔn)確，對(duì)復(fù)原精度有著直接的影響。目前多數(shù)的圖像退化模型都只考慮了一部分因素，或者是模糊，或者是噪聲，或者是整體運(yùn)動(dòng)等，這樣的模型只是對(duì)現(xiàn)實(shí)場(chǎng)景的近似，如果采用這種降質(zhì)模型，無(wú)論使用何種理論方法都無(wú)法取得更好的超分辨率復(fù)原性能。但是另一方面，模型建立的太過(guò)復(fù)雜，又會(huì)影響該方法執(zhí)行的效率，甚至導(dǎo)致該方法不收斂。因此如何建立更加完善的圖像退化模型，在估計(jì)準(zhǔn)確度和方法效率之間取得平衡，也是一個(gè)亟待解決的問(wèn)題。

(6)在超分辨率復(fù)原方法中，考慮視頻壓縮和編解碼技術(shù)引入的噪聲、塊效應(yīng)和振鈴效應(yīng)，使超分辨率復(fù)原方法能夠很好地應(yīng)用于電視信號(hào)復(fù)原和壓縮圖像復(fù)原等領(lǐng)域。

(7)盲復(fù)原問(wèn)題。在實(shí)際應(yīng)用中，光學(xué)系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)和噪聲分布并不是已知的，因此如何在這些參數(shù)無(wú)法獲得的情況下，對(duì)圖像序列進(jìn)行盲復(fù)原，也是一個(gè)亟待解決的問(wèn)題。

根據(jù)超分辨率應(yīng)用范圍的增加，必定會(huì)出現(xiàn)已有理論無(wú)法解決的難題。如何在理論上進(jìn)行創(chuàng)新，始終是超分辨率復(fù)原方法的一個(gè)發(fā)展方向。

［1］李衍達(dá)，常迥.信號(hào)重構(gòu)理論及其應(yīng)用［M］.北京：清華大學(xué)出版社，1991.

LI Y D，CHANG J.Signal Reconstruction Theory and Its Application［M］.Beijing：Tsinghua University Press，1991.(in Chinese)

［2］KIM S P，SU W Y.Recursive high-resolution reconstruction of blurred multi-frame images［J］.IEEE，1993，2(4)：534-539.

［3］KIM S P，BOSE N K，VALENZUELA H M.Recursive reconstruction of high resolution image from noisy under sampled multiframes［J］.IEEE，1990，38(6)：1013-1027.

［4］SU W，KIM S P.High-resolution restoration of dynamic image sequences［J］.International J.Imaging Systems and Technology，1994，5(4)：330-339.

［5］BOSE N K，KIM H C.Recursive implementation of total least squares algorithm for image reconstruction from noisy，under sampled multiframes［J］.IEEE，1993，1：269-272.

［6］DAVILA C E.Recursive total least squares algorithms for adaptive filtering［J］.IEEE，1991，3：1853-1856.

［7］KEREN D，PELEG S，BRADA R.Image sequence enhancement using sub-pixel displacements［J］.IEEE，1988，1：742-746.

［8］AIZAWA K，KOMATSU T，SAITO T.Acquisition of very high resolution images using stereo cameras［J］.IEEE，1991，1：318-328.

［9］TEKALP A M，OZKAN M K，et al..High-resolution image reconstruction from lower-resolution image sequences and space-varying image restoration［J］.IEEE，1992，3：169-172.

［10］NGUYEN N，MILANFAR P.A wavelet-based interpolation-restoration method for super-resolution［J］.Circuits Systems Signal Process，2000，19(4)：321-338.

［11］ELAD M，F(xiàn)EUER A.Super-resolution restoration of an image sequence：adaptive Filtering approach［J］.IEEE，1999，8 (3)：387-395.

［12］ALAM M S，BOGNAR J G，HARDIE R C，et al..Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames［J］.IEEE，2000，49(5)：915-923.

［13］IRANI M，PELEG S.Improving resolution by image registration［J］.CVGIP：Graphical Models and Image Processing，1991，53：231-239

［14］郭偉偉，章品正.基于迭代反投影的超分辨率圖像重建［J］.計(jì)算機(jī)科學(xué)與探索，2009，3(3)：321-329.

GUO W W，ZHANG P ZH.Super-resolution image reconstruction with iterative back projection algorithm［J］.J.Frontiers of Computer Science and Technology，2009，3(3)：321-329.(in Chinese)

［15］覃鳳清，何小海，陳為龍，等.一種基于子像素配準(zhǔn)視頻超分辨率重建方法［J］.光電子·激光，2009，20(7)：972-976.

TAN F Q，HE X H，CHEN W L，et al..A video super-resolution reconstruction method based on sub-pixel registration［J］.J.Optoelectronics Laser，2009，20(7)：972-976.(in Chinese)

［16］張永育，李翠華，余禮鈸，等.基于Keren改進(jìn)配準(zhǔn)算法的IBP超分率重建［J］.廈門大學(xué)學(xué)報(bào)（自然科學(xué)版），2012，51(4)：686-69.

ZHANG Y Y，LI C H，YU L B，et al..IBP super-resolution reconstruction based on improvement approach of Keren registration method［J］.J.Xiamen University，2012，51(4)：686-69.

［17］MAAN S，PICARD R W.Virtual bellows：Constructing high quality stills from video［A］.Proc.of International Conference on Image Processing，Austin，TX，1994，1：363-367.

［18］TOM B C，KATSAGGELOS A K.Resolution enhancement of video sequences using motion compensation［A］.Proc of IEEE Int.Conf Image Processing，Lausanne，Switzerland，1996，1：713-716.

［19］YOULA D C，WEBB H.Image restoration by the method of convex projections：part I，theory［J］.IEEE，1982，2：81-94.

［29］STARK H，OSKOUI P.High resolution image recovery from image-plane arrays，using convex projection［J］.JOSA A，1989，6：1715-1726.

［21］黃華，孔玲莉，齊春，等.基于凸集投影和線過(guò)程模型的超分辨率圖像重建［J］.西安交通大學(xué)學(xué)報(bào)，2003，37(10)：1059-1062.

HUANG H，KONG L L，QI CH，et al..Super-resolution image reconstruction based on projections onto convex sets and line process modeling［J］.J.Xi′an Jiaotong University，2003，37(10)：1059-1062.(in Chinese)

［22］肖創(chuàng)柏，段娟，禹晶.序列圖像的POCS超分辨率重建方法［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2009，35(1)：108-113.

XIAO CH B，DUAN J，YU J.POCS super-resolution reconstruction from image sequences［J］.J.Beijing University of Technology，2009，35(1)：108-113.(in Chinese)

［23］PATTI J，SEZAN M，TEKALP A M.High-resolution image reconstruction from a low-resolution image sequence in the presence of time-varying motion blur［A］.Proc IEEE Int.Conf.Image Processing，Austin，TX，1994，1：343-347.

［24］PATTI J，SEZAN M，TEKALP A M.Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE，1997，6(8)：1064-1076.

［25］PATTI J，SEZAN M，TEKALP A M.Robust methods for high-quality stills from interlaced video in the presence of dominant motion［J］.IEEE，1997，7(2)：328-342.

［26］SCHULTZ R R，STEVENSON R L.A Bayesian approach to image expansion for improved definition［J］.IEEE，1994，3(3)：233-241.

［27］HARDIE R C，BARNARD K J，ARMSTRONG E E.Joint MAP registration and high-resolution image estimation using asequence of under-sampled images［J］.IEEE，1997，6(12)：1621-1633.

［28］鮮?，?，傅志中，萬(wàn)群，等.基于非冗余信息的超分辨率算法［J］.電波科學(xué)學(xué)報(bào)，2012，27(2)：216-221.

XIAN H Y，F(xiàn)U ZH ZH，WAN Q，et al..Super resolution algorithm based on non-redundant information［J］.Chinese J. Radio Science，2012，27(2)：216-221.(in Chinese)

［29］王靜，章世平，孫權(quán)森，等.基于MAP估計(jì)的遙感圖像頻域校正超分辨率算法［J］.東南大學(xué)學(xué)報(bào)，2010，40(1)：84-88.

WANG J，ZHANG SH P，SUN Q S，et al..MAP based remote sensing image super-resolution with frequency domain correction［J］.J.Southeast University，2010，40(1)：84-88.(in Chinese)

［30］ELAD M，F(xiàn)EUER A.Restoration of a single super-resolution image from several blurrd，noisy and under sampled measured images［J］.IEEE，1997，6(12)：1646-1658.

［31］HONGJIU T，XINJIAN T，JIAN L，et al.Super resolution remote sensing image processing algorithm based on wavelet transform and interpolation［J］.SPIE，2003，4898：259-263.

［32］HERTZMANN A，ANALOGIES A.Computer Graphics［M］.New York：Siggraph，ACM Press，2001.

［33］BAKER S，KANADE T.Limits on super-resolution and how to break them［J］.IEEE，2000，1：372-379.

［34］GUNTURK B K，ALTUNBASAK Y，MERSEREAU R M.Multiframe resolution enhancement methods for compressed video［J］.Signal Processing Letters，2002，9：170-174.

［35］陳健.基于POCS的紅外弱小目標(biāo)超分辨率復(fù)原算法研究［D］.長(zhǎng)春：中國(guó)科學(xué)院大學(xué)，2014.

CHEN J.Research on infrared dim-small target super-resolution restoration arithmetic based on POCS［D］.Changchun：University of Chinese Academy of Sciences，2014.(in Chinese)

Correlation theory of super-resolution restoration method

CHEN Jian1，2，3，*，GAO Huibin1，WANG Weiguo1，ZHANG Zhendong1，LU Ming1
(1.Changchun Institute of Optics，F(xiàn)ine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China；2.University of Chinese Academy of Sciences，Beijing 100049，China；3.College of Communication Engineering，Jilin University，Changchun 130012，China)

Firstly，the basic concepts and theories of super-resolution restoration method are introduced.Secondly，some applications focused on common method of super-resolution restoration are summarized.Their theoretical basis，advantages and disadvantages，and scope of applications are exhaustively analyzed.Finally，the future development of super-resolution restoration method is prospected.Overall，the super-resolution restoration methods are divided into frequency domain method and space domain method.Frequency domain recovery method is simple in principle and easy in calculation.But its motion model is shift model and doesn′t have a general.Meanwhile it is difficult to use the priori information of the image to help super-resolution restoration. With space domain recovery method，a complex motion model can be easily established considering almost all of the imaging degradation factors，including noise，down sampling，fuzzy caused by non-zero aperture，degradation of optical system，and motion blur.As the same time，we could also add more perfect priori knowledge.Compared to the frequency domain method，space domain super-resolution restoration model is moreclose to actual degradation processes and is currently the most widely used super-resolution restoration method.

super-resolution restoration；frequency domain method；space domain method；projection onto convex sets(POCS)

TP751.1

A

10.3788/CO.20140706.0897

2095-1531(2014)06-0897-14

陳 健(1981—)，男，吉林長(zhǎng)春人，博士，助理研究員，2005年、2007年于吉林大學(xué)分別獲得學(xué)士、碩士學(xué)位，2014年于中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所獲得博士學(xué)位，主要從事高精度快速數(shù)字伺服系統(tǒng)方面的研究。E-mail：chenjian4500@163.com

高慧斌(1963—)，男，吉林長(zhǎng)春人，研究員，博士生導(dǎo)師，1985年、1990年于吉林工業(yè)大學(xué)分別獲得學(xué)士、碩士學(xué)位，主要從事光電測(cè)量和精密跟蹤控制技術(shù)方面的研究。E-mail：gaohuibin1@163.com

王偉國(guó)(1970—)，男，吉林通化人，博士，研究員，2002年于吉林大學(xué)獲得碩士學(xué)位，2006年于中國(guó)科學(xué)院長(zhǎng)春光學(xué)精密機(jī)械與物理研究所獲得博士學(xué)位，主要從事光電經(jīng)緯儀精密控制及總體設(shè)計(jì)方面的研究。E-mail：wangwei5878@sina.com

張振東(1988—)，男，河南商丘人，研究實(shí)習(xí)員，2010年于武漢理工大學(xué)獲得學(xué)士學(xué)位，2013年于中國(guó)科學(xué)院大學(xué)獲得碩士學(xué)位，主要從事光電測(cè)量系統(tǒng)伺服控制方面的研究。E-mail：602202932@qq.com

路 明(1980—)，男，黑龍江綏化人，助理研究員，2003年于哈爾濱工程大學(xué)獲得學(xué)士學(xué)位，主要從事光電對(duì)抗系統(tǒng)計(jì)算機(jī)軟件設(shè)計(jì)方面的研究。E-mail：luminglk@163.com

2014-10-01；

2014-11-06

吉林省重大科技攻關(guān)資助項(xiàng)目(No.20126015)

*Corresponding author，E-mail：chenjian4500@163.com