盧 健,孫 怡

(大連理工大學(xué)信息與通信工程學(xué)院,遼寧大連116024)

結(jié)合稀疏編碼模型的多幀圖像超分辨率重建

盧 健,孫 怡

(大連理工大學(xué)信息與通信工程學(xué)院,遼寧大連116024)

傳統(tǒng)序列超分辨率方法對低分辨率視頻序列的要求較高,一旦序列中沒有包含足夠的信息,會造成重建高分辨率圖像質(zhì)量的下降。為此,提出一種結(jié)合稀疏編碼模型的序列超分辨率算法。利用概率運動場從低分辨率序列中重建一幅高分辨率圖像,根據(jù)自適應(yīng)閾值確定重建有效和無效區(qū)域,使用稀疏編碼模型對無效區(qū)域進(jìn)行補全重建。實驗結(jié)果表明,該算法可以采用序列自身的信息和稀疏字典中的信息來重建高分辨率圖像,在序列信息有破缺時,與僅利用序列自身信息或僅利用單幅圖像的算法相比,具有更好的魯棒性和廣泛的適用性。

超分辨率;稀疏編碼;圖像補全;非局部正則化;線性反問題

1 概述

超分辨率(Super-resolution,SR)重建是一種突破成像硬件限制提高圖像質(zhì)量的算法。從廣義上分,主要包括:(1)多幀超分辨率;(2)單幅圖像超分辨率。多幀超分辨率能夠利用連續(xù)多幀低分辨(Low-resolution,LR)圖像中不同而又相似的信息,重建高于成像系統(tǒng)分辨率的圖像,也被稱作序列超分辨率。經(jīng)典的序列超分辨率算法,包括最大似然法、最大后驗概率法、凸集投影法以及后向投影迭代法等［1］。由于序列超分辨率包括配準(zhǔn)和重建2個階段,近年來一些新的思路不斷被引進(jìn)分別用來解決這兩方面的問題。在配準(zhǔn)方面,文獻(xiàn)［2］嘗試使用互信息來提高配準(zhǔn)精度,文獻(xiàn)［3］利用各項異性擴散方程來提高配準(zhǔn)可靠性,而文獻(xiàn)［4］則引入尺度不變特征變換(Scale Invariant Feature Transform,SIFT)特征點實現(xiàn)跨尺度配準(zhǔn)。與追求準(zhǔn)確性相反,文獻(xiàn)［5］利用非局部核回歸實現(xiàn)了不需要精確配準(zhǔn)的超分辨率算法。在重建方面,文獻(xiàn)［6-7］分別利用差值曲率和形態(tài)學(xué)對圖像進(jìn)行度量,并利用度量結(jié)果對總變分(Total Variation,TV)正則項進(jìn)行加權(quán),從而提高了正則項的自適應(yīng)性。此外,為了避免不同階段誤差的累積,能夠同時對配準(zhǔn)和重建參數(shù)進(jìn)行估計的聯(lián)合最大后驗概率(Maximum a Posterior,MAP)算法［8］也被提出。盡管各種算法各有側(cè)重,但序列超分辨率都依賴同樣的假設(shè),即序列中需要存在足夠的信息,一旦信息破缺,則會造成重建質(zhì)量的下降。

而單幅圖像超分辨率則需要從外部樣本庫中學(xué)習(xí)獲得先驗知識來重建圖像的高頻細(xì)節(jié)。為了解決樣本庫過大的問題,近年來,許多最新的信號表示手段被引入到單幅超分辨率的領(lǐng)域。如文獻(xiàn)［9］將流形學(xué)習(xí)的算法引入超分辨率,文獻(xiàn)［10-11］則利用稀疏字典來實現(xiàn)超分辨率重建。

綜上,序列和單幅圖像超分辨率各有優(yōu)勢與不足。視頻序列通常是對同一場景的連續(xù)拍攝,幀間相關(guān)性強,多幀超分辨率直接利用這些相關(guān)信息進(jìn)行高分辨重建,因此,重建的高頻信息更加準(zhǔn)確。然而,由于實際拍攝過程往往存在大量不可控因素,如拍攝對象運動過快、物體的遮擋等,這些因素破壞了序列中信息的完整性,通常會在重建結(jié)果中形成明顯的干擾物。而單幅圖像超分辨率重建,可從樣本庫中獲取額外的信息,避免了序列超分辨率中由于信息破缺而導(dǎo)致的重建質(zhì)量下降問題,因此重建結(jié)果更加魯棒。然而,由于樣本庫中的樣本通常與所要重建的圖像相關(guān)性較弱,從而重建的高頻信息往往不夠準(zhǔn)確,這也是單幅超分辨率常被稱作“幻像”［12］的原因。長期以來,2類算法在各自的領(lǐng)域不斷發(fā)展,然而結(jié)合兩者優(yōu)勢的超分辨率研究相對較少,其原因在于難于度量哪些區(qū)域適合從序列中提取信息,而哪些區(qū)域適合從外部的樣本中獲取信息。

為解決上述問題,本文在序列超分辨率的基礎(chǔ)上,推導(dǎo)出自適應(yīng)閾值對重建圖像進(jìn)行度量,從而確定不適合序列重建的無效區(qū)域,然后采用稀疏模型對該區(qū)域進(jìn)行補全重建。

2 基于概率運動場的超分辨率重建

建立觀測模型是研究超分辨率重建的前提。在實際的成像過程中,降質(zhì)因素主要包括模糊,幀間運動下的采樣及噪聲,其模型可用下式表示:

由于Ft需要從降質(zhì)的低分辨序列中估計獲得,因此估計準(zhǔn)確度較低,而估計誤差常常會造成重建質(zhì)量的嚴(yán)重下降。針對這一問題,文獻(xiàn)［13］提出一種新的基于概率運動場的觀測模型:其中,矢量z=Hx表示模糊的高分辨圖像。假設(shè)像素在水平和豎直方向的最大移動范圍為d個像素,則每一個像素最多會有M=(2d+1)2種可能的移動方式,Fm表示第m種移動方式的矩陣,而像素最終進(jìn)行的運動則由權(quán)重矩陣Wm,t來描述。Wm,t是一個對角陣,其對角元表示第t幀圖像上對應(yīng)像素進(jìn)行了第Fm種位移(即［dx(m),dy(m)］)的可能性大小,如果某一像素進(jìn)行了第Fm種位移的可能性較大,則相應(yīng)的對角元接近于1,否則,接近于0。在文獻(xiàn)［13］中,這種由可能性權(quán)重描述的運動估計模型被稱為概率運動場。概率運動場的超分辨率模型,將原本一個像素只能有一種可能運動的問題轉(zhuǎn)換為一個像素可以有多種可能運動的問題,從而避免了算法對單一運動估計準(zhǔn)確性的依賴。

在建立了概率運動場超分辨率觀測模型之后,重建問題即是式(2)的反問題,該問題需要使用最大似然估計來優(yōu)化求解:

其中,［i,j］表示高分辨圖像上的像素坐標(biāo);N(i,j)表示低分辨圖像上的像素集合;集合中坐標(biāo)為［k,l］的像素經(jīng)過第Fm種移動后,可以融合到高分辨率圖像的第［i,j］點上。

3 概率運動場權(quán)重計算與無效區(qū)域確定

由式(4)可見,概率運動場超分辨率算法的關(guān)鍵在于能否有效地估計出運動場權(quán)重Wm,t［k,l］,即第t幀低分辨圖像［k,l］位置上的像素做第Fm種運動的可能性大小。文獻(xiàn)［13］使用像素所在鄰域平方誤差(Sum of Squared Difference,SSD)的e指數(shù)來計算權(quán)重,具體表示如下:

其中,Rk,l表示取鄰域算子矩陣。SSDm,t較大說明高分辨圖像上某一像素經(jīng)第Fm種移動后其所在鄰域下采樣與第t幀低分辨率圖像上相應(yīng)像素所在鄰域差異較大。由此可知,如果將低分辨圖像上的相應(yīng)像素,按照Fm的運動形式融合到高分辨圖像中,會造成該點與其鄰域的顯著差異,因此,為了避免這些“異常點”對重建的影響,應(yīng)當(dāng)令其權(quán)重Wm,t為0。然而exp(·)只有在SSDm,t非常大的情況下才能夠?qū)?quán)重映射為0,因此,按照式(6)計算權(quán)重會使得相當(dāng)一部分“異常”點仍然有可能參與到重建過程。剔除這些SSD較大的異常點,最簡單的辦法就是進(jìn)行一個硬閾值濾波,但是如圖1所示,由位移造成的SSD差異與像素所在鄰域圖像有關(guān)。由位移造成的不同鄰域塊的 SSD如圖1所示,其中,圖1(a)、圖1(b)的SSD為1.87;圖1(c)、圖1(d)的SSD為28.16。圖1(b)和圖 1(d)分別是將圖1(a)和圖1(c)向右移動一個像素所得到的鄰域塊,雖然位移相同,但是圖1(a)和圖1(b)與圖1(c)和圖1(d)各自的SSD卻顯著不同,鄰域變化較緩的,產(chǎn)生的差異較小,而鄰域變化較大的,產(chǎn)生的差異也較大。因此,很難給出一個統(tǒng)一的閾值,為此,本文提出一種能夠根據(jù)鄰域內(nèi)容自適應(yīng)地計算閾值的算法。

圖1 位移造成的不同鄰域塊的SSD對比

由超分辨率原理［1］可知,只有相互存在亞像素級位移的低分辨圖塊才能保留下互補的信息,從而重構(gòu)出高分辨圖塊。因此,SSD閾值可以通過求取像素所在鄰域圖塊經(jīng)過亞像素級位移后可能產(chǎn)生的最大SSD來確定。如果令矢量A=DFmz,矢量B=yt,則式(5)可表示為:

其中,鄰域尺寸為(2wx+1)×(2wy+1)。假定A與B之間存在亞像素位移d—=［dx,dy］T,即:

B(x,y)=A(x+dx,y+dy)

則式(7)可進(jìn)一步表示為:

由于［dx,dy］T很小,因此可用一階Taylor展開來逼近,由此可得:

如果2個鄰域圖塊之間的SSD超過上式值,則表明2個鄰域之間不足夠“相似”(超出了亞像素的位移),即沒有可以互補的信息了。通過以上分析,可將剔除異常點的自適應(yīng)閾值設(shè)置為:

其中,β為常數(shù),作用是調(diào)節(jié)閾值的嚴(yán)格程度。在本文實驗中β=1便可以取得不錯的效果。

由式(10)可知,閾值與鄰域自身的梯度變化有關(guān),梯度變化大的,相應(yīng)的閾值也較大,這與圖1所示實驗的結(jié)果一致。在對每個像素點求得閾值之后,便可對異常點進(jìn)行濾除,即令其權(quán)重為0:

在獲得了運動場權(quán)重之后,便可利用式(4)進(jìn)行超分辨率重建。圖2(a)展示了對Foreman視頻的重建結(jié)果,圖中黑點是無效區(qū)域,即用來重建該點的像素權(quán)重均為0。圖2(b)是對重建有效區(qū)域與無效區(qū)域的劃分,黑色代表無效區(qū)域,白色代表有效區(qū)域。從劃分結(jié)果可以看出,無效區(qū)域主要有2種類型:(1)平坦區(qū)域,如墻板、帽盔等處,這主要是因為平坦區(qū)域自適應(yīng)SSD閾值較小,噪聲干擾很容易造成該區(qū)域內(nèi)點的SSD超過閾值,導(dǎo)致權(quán)重為0,不過,平坦區(qū)域變化規(guī)律簡單,因此,比較容易補全重建;(2)運動過快的區(qū)域,比如嘴部,該區(qū)域由于運動過快,前后幀中沒有保留下太多相關(guān)的信息,因此,也無法從序列中提取出足夠有效的信息進(jìn)行重建。

圖2 重建結(jié)果與有效/無效區(qū)域

由上述分析可以看出,本文提出的自適應(yīng)閾值可以有效地篩選出重建圖像中不適宜從序列本身提取信息進(jìn)行重建的區(qū)域,對于這部分區(qū)域,將會繼續(xù)利用外部的樣本庫對其進(jìn)行重建。

4 基于稀疏編碼模型的無效區(qū)域重建

基于學(xué)習(xí)的算法通常用于單幅圖像超分辨率。該類算法通過對樣本的學(xué)習(xí)獲取高低分辨率圖像之間的先驗知識,以指導(dǎo)高分辨率圖像的重建。但傳統(tǒng)算法常受困于樣本庫過大的問題,文獻(xiàn)［10-11］將稀疏表示的理論引入到超分辨率領(lǐng)域,通過稀疏學(xué)習(xí),將樣本庫整理成為更為緊致的稀疏字典,提高了基于學(xué)習(xí)算法的效率。針對所要解決的問題,本文提出一種通過字典對重建圖像有效區(qū)域內(nèi)的信息進(jìn)行稀疏編碼,從而重建無效區(qū)域的算法。

4.1 加權(quán)稀疏編碼模型

建立該問題的稀疏編碼模型:

其中,矢量z∈RN×1為由序列重建出的模糊超分辨率圖像;M為遮罩對角陣,對角元為1表示對應(yīng)像素屬于有效區(qū),為0表示其屬于無效區(qū)域;H為模糊矩陣;矩陣Φ∈RN×L表示稀疏字典;矢量α∈RL×1為稀疏系數(shù),為α中非零元個數(shù),表示α的稀疏度; ε為誤差容限。該模型的意義在于,對重建圖像進(jìn)行稀疏編碼,使得通過編碼重建后的圖像在有效區(qū)內(nèi)與序列重建結(jié)果保持一致,而在無效區(qū)內(nèi)根據(jù)稀疏約束,在字典中選擇合適的樣本對其進(jìn)行重建,通過求解上述優(yōu)化問題,可得稀疏編碼矢量α^,最終高分辨率圖像矢量x即可由下式重建:

其中,λ是一常數(shù),表示稀疏約束的強度。文獻(xiàn)［14］指出加權(quán)l(xiāng)1范數(shù)能夠更有效地逼近l0范數(shù),提高重建質(zhì)量,并給出了一種權(quán)重取值算法,是αi的估計值,ξ為小常數(shù)。該加權(quán)的意義在于對接近于0的系數(shù)給予更大的懲罰,使其變?yōu)?,從而提高系數(shù)的稀疏性。通過引入加權(quán)l(xiāng)1范數(shù),可進(jìn)一步獲得加權(quán)稀疏編碼模型:

4.2 非局部正則化

上述稀疏模型主要考慮了圖像局部的稀疏性。而近年來,許多研究表明自然圖像上會有大量相似模式重復(fù)出現(xiàn),這種現(xiàn)象被稱作非局部相似性。許多利用非局部相似性進(jìn)行的研究都取得了不錯的結(jié)果［5,10-11］。作為對局部稀疏性的一個補充,本文進(jìn)一步將非局部正則化算法引入到重建模型中。

首先,以高分辨圖像上每一像素xi為中心,提取n×n大小的鄰域N(xi),然后在整幅圖像中(實際應(yīng)用中可確定一個適當(dāng)?shù)乃阉鞣秶?利用最近鄰的方式搜索前K個最相似的鄰域為每個鄰域的中心像素。

其中,η為控制常數(shù),用來控制非局部正則約束的強度。加入非局部正則化的稀疏編碼模型在保證了重建圖像局部稀疏性的同時,也保證了圖像的非局部相似性。式(17)還可以進(jìn)一步表示為:

其中,I為單位矩陣;矩陣 B中的元素可由下式給出:

5 算法描述

式(18)可以進(jìn)一步整理成下式:

由此可以看出這是一個加權(quán)l(xiāng)1范數(shù)的線性反問題,該問題可以利用迭代收縮算法［15］進(jìn)行求解。本文超分辨率算法求解過程如下:

(1)序列重建

1)用式(6)構(gòu)造輸入視頻序列的概率運動場。

2)用式(10)和式(12)計算閾值,對運動場權(quán)重進(jìn)行自適應(yīng)硬閾值濾波。

3)用式(4)從序列中重建高分辨率圖像矢量z,同時利用得到的有效/無效區(qū)域構(gòu)造遮罩矩陣M。

4)利用z作為x的初始估計矢量x(0)(無效區(qū)域利用插值填補),同時利用x(0)計算矢量bi構(gòu)造非局部權(quán)重矩陣B。

5)設(shè)定相關(guān)參數(shù)η,P,e,最大迭代次數(shù)Max_Iter。

(2)稀疏模型迭代重建

1)利用迭代收縮算法對高分辨圖像矢量x進(jìn)行求解,迭代公式如下:

其中,U=(MH)TMH,V=η2(I-B)T(I-B)。

5)每隔P次迭代,利用最新重建的圖像重新估計局部權(quán)重陣B,當(dāng)或k＞Max_Iter,迭代終止。

軟閾值函數(shù)具體形式為:

6 實驗結(jié)果與分析

為驗證算法性能,本文采用實際視頻序列進(jìn)行重建實驗,通過比較本文算法和其他算法的重建結(jié)果,來驗證算法的有效性。本文采用的比較算法包括序列超分辨率算法和單幅超分辨率算法。序列超分辨率算法是基于概率運動場的算法(Probabilistic Motion Based Super Resolution,PMSR)［13］,單幅超分辨率是基于非局部中心化稀疏的算法(Nonlocally Centralized Sparse Representation,NCSR)［11］。

所有實驗如未做說明均采用相同的實驗參數(shù),其中,η=0.04,β=1,計算權(quán)重時的鄰域尺寸為7× 7像素。所用字典Φ是由K-SVD算法［16］從由15幅自然圖像構(gòu)成的樣本庫中學(xué)習(xí)獲得的。樣本庫的構(gòu)造過程為,首先將15幅圖像分割成7×7像素大小的圖像塊,然后從這些圖像塊中隨機選取100 000塊作為訓(xùn)練樣本。考慮到計算復(fù)雜度和重建質(zhì)量,將訓(xùn)練后的字典中的原子數(shù)目設(shè)置為1 024。以下所有實驗均采用同一個字典。除了主觀評價之外,本文還采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)對重建圖像質(zhì)量進(jìn)行了客觀評價。

首先,本文從標(biāo)準(zhǔn)CIF視頻序列中選擇了Suzie和Foreman 2個具有代表性的序列進(jìn)行實驗。Suzie中有頭發(fā)等細(xì)節(jié)部分,可以檢驗算法對細(xì)節(jié)重建的能力,而Foreman嘴部動態(tài)變化較快,可以檢驗算法在序列中有效信息破缺時的重建能力。實驗分別從上述2個視頻中截取連續(xù)30幀圖像,經(jīng)模糊、下采樣以及加噪處理后,生成低分辨圖像序列,其中,模糊核為3×3的均勻模糊核,下采樣因子為3,噪聲為標(biāo)準(zhǔn)差等于2的高斯白噪聲,然后分別用前述2種算法和本文算法對2個序列進(jìn)行重構(gòu)。

圖3展示了Suzie視頻第8幀的重建結(jié)果,其中,各子圖的下半部分是重建結(jié)果的細(xì)節(jié)放大圖,圖3(a)中的方框標(biāo)明了放大細(xì)節(jié)在原圖中的位置。從結(jié)果中可以看出,當(dāng)序列中存在較多可用信息時,基于序列重建的算法可以獲得很好的重建結(jié)果,比如圖3(b)中眼睛、電話等處,而當(dāng)序列中沒有較多可用信息時,序列重建的算法便無法獲得很好的結(jié)果,比如Suzie的頭發(fā)處不夠清晰。相反,基于學(xué)習(xí)的算法圖3(b),能夠從樣本庫獲取知識,對頭發(fā)處重建效果較好,但是由于樣本庫中的信息與要重建的圖像之間相關(guān)性較弱,加上噪聲和下采樣混疊的干擾,導(dǎo)致眼睛和電話等處重建結(jié)果并不理想。而本文算法由于能夠結(jié)合2種算法的優(yōu)點,因此,在各細(xì)節(jié)處都取得了不錯的重建效果。

圖3 Suzie序列重建結(jié)果

圖4 展示了Foreman視頻第22幀的重建結(jié)果。圖中各子圖的下半部分是重建結(jié)果的細(xì)節(jié)放大圖,圖4(a)中的方框標(biāo)明了放大細(xì)節(jié)在原圖中的位置。由于Foreman嘴部運動過快,導(dǎo)致視頻前后幀關(guān)于嘴部的相關(guān)的信息嚴(yán)重不足。因此,基于序列的算法在重建結(jié)果,如圖4(b)中,出現(xiàn)了雜點現(xiàn)象。而基于學(xué)習(xí)的算法利用樣本庫中的信息較好地恢復(fù)了嘴部信息。但由于嚴(yán)重的下采樣混疊影響了樣本選擇,導(dǎo)致混疊信息在重建的結(jié)果中仍然存,如圖4(c)中的墻板處。而本文算法可以利用序列中的相關(guān)信息來減少混疊,同時,對于序列中破缺的信息,還可以利用稀疏模型進(jìn)行重建,因此,在嘴部和墻板處能夠取得較好的重建結(jié)果。

圖4 Foreman序列重建結(jié)果

表1給出了上述2個實驗中重建視頻30幀的平均PSNR評測結(jié)果。此外,為了進(jìn)一步檢測算法的廣泛適用性及魯棒性,本文繼續(xù)從標(biāo)準(zhǔn)的CIF視頻庫中,選取了另外6段視頻進(jìn)行了如上所述的重建實驗,然后對各重建視頻序列求其平均PSNR指標(biāo)。從評測結(jié)果可以看出,相較于其他2種算法,本文算法對不同的視頻內(nèi)容幾乎都可以取得較好的重建結(jié)果。這進(jìn)一步說明本文算法具有廣泛的適用性和魯棒性,可以有效地提高序列超分辨率在實際應(yīng)用中的重建質(zhì)量。

表1 超分辨率重建結(jié)果的PSNR dB

表2給出了上述8組實驗在同一機器上重建一幀需要的平均時間。機器的配置為 Intel Pentium 2.7 GHz雙核處理器,計算工具為Matlab R2013a。從表中可以看出,本文算法需要在序列超分辨率之后,繼續(xù)使用稀疏字典對無效區(qū)域進(jìn)行重建,這大大增加了算法的執(zhí)行時間。因此,在一些需要實時重建的應(yīng)用場合,本文算法存在一定的局限性。

表2 超分辨率重建平均時間 s

7 結(jié)束語

受客觀條件的限制,實際拍攝的視頻無法滿足理想超分辨率條件,存在不同程度的信息缺失。針對這一問題,本文提出一種自適應(yīng)閾值算法,有效地區(qū)分序列重建的有效和無效區(qū)域,對無效區(qū)域,提出基于局部和非局部正則化的稀疏模型算法進(jìn)行重建。實驗結(jié)果證明了其有效性。然而,由于在序列超分辨率之后,該算法需要再應(yīng)用稀疏字典對無效區(qū)域進(jìn)行重建,這增加了算法的執(zhí)行時間,因此如何進(jìn)一步提高算法的效率將是今后的研究重點。

［1］卓 力,王素玉,李曉光.圖像/視頻的超分辨率復(fù)原［M］.北京:人民郵電出版社,2011.

［2］Vrigkas M,Nikou C,KondiL P.AccurateImage Registration for MAP Image Super-resolution［J］.Signal Processing:Image Communication,2013,28(5):494-508.

［3］Lu Jian,Zhang Hongran,Sun Yi.Video Super Resolution Based on Non-localRegularization and Reliable Motion Estimation［J］.Signal Processing: Image Communication,2014,29(29):514-529.

［4］李 展,張慶豐,孟小華,等.多分辨率圖像序列的超分辨率重建［J］.自動化學(xué)報,2012,38(11):1804-1814.

［5］Zhang Haichao,Yang Jianchao,Zhang Yanning,et al. Image and Video Restorations via Nonlocal Kernel Regression［J］.IEEE Transactions on Cybernetics, 2013,43(3):1035-1046.

［6］Yuan Qiangqiang,Zhang Liangpei,Shen Huanfeng. Multiframe Super-resolution Employing a Spatially Weighted Total Variation Model［J］.IEEE Transactions on Circuits and Systems for Video Technology,2012, 22(3):379-392.

［7］Purkait P,Chanda B.Morphologic Gain-controlled Regularization for Edge-preserving Super-resolution Image Reconstruction［J］.Signal,Image and Video Processing, 2013,7(5):925-938.

［8］Liu Ce,Sun Deqing.On Bayesian Adaptive Video Super Resolution［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(2):346-360.

［9］Su Heng,Jiang Nan,Wu Ying,et al.Single Image Super-resolution Based on Space Structure Learning［J］. Pattern Recognition Letters,2013,34(16):2094-2101.

［10］Dong Weisheng,Zhang Lei,Shi Guangming,et al.Image Deblurring and Super-resolution by Adaptive Sparse Domain Selection and Adaptive Regularization［J］.IEEE Transactionson ImageProcessing,2011,20(7): 1838-1857.

［11］Dong Weisheng,Zhang Lei,Shi Guangming,et al. Nonlocally Centralized Sparse Representation for Image Restoration ［J］. IEEE Transactions on Image Processing,2013,22(4):1620-1630.

［12］Freeman W T,Jones T R,Pasztor E C.Example-based Super-resolution［J］.IEEE Computer Graphics and Applications,2002,22(2):56-65.

［13］Protter M,Elad M.Super Resolution with Probabilistic Motion Estimation［J］.IEEE Transactions on Image Processing,2009,18(8):1899-1904.

［14］Candes E J,Wakin M B,Boyd S P.Enhancing Sparsity by Reweighted L1 Minimization［J］.Journal of Fourier Analysis and Applications,2008,14(5/6):877-905.

［15］Daubechies I,Defrise M,De M C.An Iterative Thresholding Algorithm for Linear Inverse Problems with a Sparsity Constraint［J］.Communications on Pure and Applied Mathematics,2004,57(11):1413-1457.

［16］Aharon M,Elad M,Bruckstein A.K-SVD:An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation［J］.IEEE Transactions on Signal Processing,2006,54(11):4311-4322.

編輯 劉 冰

Multi-frame Image Super-resolution Reconstruction Combined with Sparse Coding Model

LU Jian,SUN Yi
(School of Information and Communication Engineering,Dalian University of Technology,Dalian 116024,China)

Classic multi-frame Super-resolution(SR)techniques strongly rely on the supportability of Low-resolution (LR)frames.When the frames contain insufficient information,annoying artifacts often appear in the SR outcome.To solve this problem,a multi-frame SR combined with sparse coding technique is proposed in this paper.A high-resolution frame is reconstructed by the help of probabilistic motion estimation,and meanwhile effective/ineffective regions can also be determined by using an adaptive threshold segment.A sparse-coding-based completion technique is applied to recover the ineffective regions.Experimental results show that the proposed algorithm can essentially exploit the information from both LR frames and sparse coding dictionary.Compared with SR methods which depend only on image sequence itself or a single frame,the proposed algorithm has better robustness and extensive applicability.

Super-resolution(SR);sparse coding;image completion;non-local regularization;linear inverse problem

1000-3428(2015)05-0264-06

A

TP391

10.3969/j.issn.1000-3428.2015.05.049

盧 健(1978-),男,博士研究生,主研方向:圖像處理;孫 怡,教授。

2014-05-06

2014-07-03E-mail:lslwf@dlut.edu.cn

中文引用格式:盧 健,孫 怡.結(jié)合稀疏編碼模型的多幀圖像超分辨率重建算法［J］.計算機工程,2015,41(5):264-269,273.

英文引用格式:Lu Jian,Sun Yi.Multi-frame Image Super-resolution Reconstruction Combined with Sparse Coding Model［J］.Computer Engineering,2015,41(5):264-269,273.