劉世瑛,黃 峰,劉秉琦,胡江濤

(軍械工程學(xué)院,河北 石家莊 050003)

?

·綜述與評(píng)論·

復(fù)眼圖像超分辨率重構(gòu)中配準(zhǔn)算法研究進(jìn)展

劉世瑛,黃 峰,劉秉琦,胡江濤

(軍械工程學(xué)院,河北 石家莊 050003)

高分辨率圖像能夠提供更多的圖像細(xì)節(jié)和更清晰的圖像質(zhì)量,因此模仿生物復(fù)眼高分辨率這一特性、研究復(fù)眼超分辨率對(duì)于航天偵查和軍事目標(biāo)的識(shí)別具有重要意義。近年來(lái)亞像素級(jí)圖像配準(zhǔn)作為超分辨率重構(gòu)中的關(guān)鍵步驟成為了研究熱點(diǎn),新的配準(zhǔn)算法層出不窮。圖像配準(zhǔn)作為復(fù)眼圖像超分辨率重構(gòu)技術(shù)中至關(guān)重要的一步也是超分辨率重構(gòu)中的一個(gè)難點(diǎn),圖像配準(zhǔn)的精度以及圖像配準(zhǔn)算法的運(yùn)算復(fù)雜程度直接影響著超分辨率重構(gòu)的質(zhì)量和效率。文中總結(jié)了近年來(lái)國(guó)內(nèi)外超分辨率重構(gòu)中配準(zhǔn)算法的研究進(jìn)展,介紹了圖像配準(zhǔn)技術(shù)和復(fù)眼超分辨率重構(gòu)技術(shù)的基本原理和應(yīng)用背景,闡明了課題的研究目的、意義以及發(fā)展前景,并且重點(diǎn)研究與分析了目前主流的配準(zhǔn)算法以及各自的優(yōu)缺點(diǎn),并對(duì)今后的研究趨勢(shì)進(jìn)行了展望,同時(shí)為今后的配準(zhǔn)算法研究提供了重要參考。

成像系統(tǒng)；配準(zhǔn)算法；復(fù)眼超分辨率；重構(gòu)算法；SIFT配準(zhǔn)

1 引 言

隨著人們對(duì)高分辨率圖像更迫切的需求,超分辨率重構(gòu)技術(shù)應(yīng)運(yùn)而生。超分辨率重構(gòu)技術(shù)在不提高成像系統(tǒng)硬件水平的前提下,借助軟件方法提高圖像分辨率,因此超分辨率重構(gòu)技術(shù)是一種經(jīng)濟(jì)并且有效地提高圖像分辨率的方法?，F(xiàn)階段,超分辨率重構(gòu)技術(shù)被廣泛地應(yīng)用于目標(biāo)識(shí)別、定位與追蹤、醫(yī)學(xué)圖像處理等多個(gè)領(lǐng)域。目前將仿生復(fù)眼技術(shù)與超分辨率重構(gòu)技術(shù)的結(jié)合成為了超分辨率重構(gòu)研究的一個(gè)熱點(diǎn),仿生復(fù)眼以其體積小、質(zhì)量輕、視場(chǎng)大、分辨率高[1]等特點(diǎn)使超分辨率重構(gòu)技術(shù)的發(fā)展進(jìn)入了新階段。復(fù)眼超分辨率重構(gòu)主要有兩部分:亞像素級(jí)配準(zhǔn)和圖像重構(gòu)。隨著重構(gòu)算法的成熟,配準(zhǔn)的精度、效率以及穩(wěn)定性對(duì)重構(gòu)效果的限制變得尤為突出。

20世紀(jì)80年代以來(lái)超分辨率圖像重構(gòu)的研究取得了突破性的進(jìn)展,對(duì)于超分辨率圖像配準(zhǔn)的研究也進(jìn)入了新階段[2]。頻域法是最早出現(xiàn)的圖像配準(zhǔn)算法,它利用圖像頻譜相位差進(jìn)行運(yùn)動(dòng)估算,典型的頻域法有Vandewalle算法,此算法考慮到信號(hào)低頻部分信噪比最高并且不存在混疊的情況[3],算法中僅使用低分辨率圖像的低頻信息進(jìn)行運(yùn)算,這是由于低頻信息中沒(méi)有走樣的信息,因此其魯棒性較強(qiáng),但配準(zhǔn)精度卻有限；隨著對(duì)配準(zhǔn)精度要求的提高,出現(xiàn)了空域內(nèi)的圖像配準(zhǔn),空域法能夠適用于較多的運(yùn)動(dòng)模型,并且由于其較高精度的配準(zhǔn)效果,空域法成為了新時(shí)期的研究熱點(diǎn),典型的有高配準(zhǔn)精度的基于泰勒級(jí)數(shù)展開(kāi)的迭代算法,可以計(jì)算像素運(yùn)動(dòng)方向的光流場(chǎng)算法,結(jié)構(gòu)簡(jiǎn)單、運(yùn)算復(fù)雜度低的基于塊的配準(zhǔn)算法以及基于特征的算法[4],這些算法在保證高精度的配準(zhǔn)效果的同時(shí)逐步簡(jiǎn)化了計(jì)算難度,大大提高了配準(zhǔn)效率；此外,人們結(jié)合空域法和頻域法的優(yōu)點(diǎn)研究了Vandewalle與Keren相結(jié)合的算法、基于小波的運(yùn)動(dòng)模型等空頻域法[5],也取得了很好的效果。

本文總結(jié)了近年來(lái)國(guó)內(nèi)外超分辨率重構(gòu)中配準(zhǔn)算法的研究進(jìn)展,介紹了圖像配準(zhǔn)技術(shù)和復(fù)眼超分辨率重構(gòu)技術(shù)的基本原理和應(yīng)用背景,闡明了課題的研究目的、意義以及發(fā)展前景,并且重點(diǎn)總結(jié)了目前主流的配準(zhǔn)算法并加以分析各方法的特點(diǎn),在此之上對(duì)今后的研究趨勢(shì)進(jìn)行了展望。

2 復(fù)眼超分辨率重構(gòu)技術(shù)

2.1 復(fù)眼超分辨率重構(gòu)技術(shù)原理

圖像超分辨率重構(gòu)技術(shù)(Super Resolution Reconstruction,SRR)是利用多幅存在亞像素位移的低分辨率圖像中重構(gòu)出一幅高分辨率圖像的方法[6],它融合了低分辨率圖像序列之間存在的互補(bǔ)信息來(lái)表現(xiàn)更多的圖像細(xì)節(jié),其原理如圖1所示。

然而,復(fù)眼超分辨率重構(gòu)技術(shù)是將復(fù)眼結(jié)構(gòu)的成像系統(tǒng)與超分辨率圖像重構(gòu)技術(shù)相結(jié)合的新方法。圖2所示為復(fù)眼圖像超分辨率重構(gòu)技術(shù)的基本步驟:首先是復(fù)眼成像系統(tǒng)對(duì)目標(biāo)物體進(jìn)行成像,得到存在亞像素位移的低分辨率圖像序列,其次通過(guò)配準(zhǔn)解出圖像序列之間的配準(zhǔn)關(guān)系[7],即得到配準(zhǔn)參數(shù),最后通過(guò)重構(gòu)算法對(duì)配準(zhǔn)的圖像序列進(jìn)行重構(gòu),得到高分辨率圖像。復(fù)眼成像系統(tǒng)使用小孔徑光學(xué)鏡頭或微透鏡陣列代替大孔徑光學(xué)鏡頭,使用小面陣CCD/CMOS代替大面陣CCD/COMS,并且復(fù)眼成像系統(tǒng)獲取的低分辨率圖像間不存在時(shí)間差,便于實(shí)現(xiàn)實(shí)時(shí)配準(zhǔn)與重構(gòu)。復(fù)眼成像系統(tǒng)以其系統(tǒng)小型化、經(jīng)濟(jì)實(shí)用性的優(yōu)勢(shì)[8],在諸多領(lǐng)域內(nèi)擁有廣闊的前景。

圖1 超分辨率圖像重構(gòu)原理示意圖

圖2 復(fù)眼圖像超分辨率圖像重構(gòu)流程圖

2.2 圖像觀(guān)測(cè)模型

在超分辨率重構(gòu)過(guò)程中,首要問(wèn)題是建立圖像觀(guān)測(cè)模型。復(fù)眼系統(tǒng)中,由于多個(gè)單鏡頭是在同一時(shí)刻對(duì)相同場(chǎng)景成像,獲得的低分辨率圖像之間不存在成像時(shí)間差,因此使用靜態(tài)觀(guān)測(cè)模型處理。由于成像系統(tǒng)的工作特性以及其工作環(huán)境并不理想,如存在大氣擾動(dòng)、空氣密度[9]不同導(dǎo)致的圖像幾何形變[10-12],光學(xué)鏡頭、光電傳感器的性能有限而產(chǎn)生的模糊,場(chǎng)景內(nèi)的物體運(yùn)動(dòng)等諸多因素,會(huì)使得到的圖像是存在形變、模糊的下采樣后的低分辨率圖像,并且存在噪聲污染。

圖3 圖像退化模型

多幀低分辨率圖像Y作為已知數(shù)據(jù)將被用來(lái)重建高分辨率圖像X′,作為真實(shí)的高分辨率圖像X的估計(jì)值。高分辨率圖像X以及多幀低分辨率圖像Y都以列向量的形式表示,如式1所示:

Y=DHFX+V

(1)

式(1)中矩陣D為下采樣矩陣,反映了成像系統(tǒng)對(duì)原始高分辨率場(chǎng)景的下采樣過(guò)程；矩陣H為點(diǎn)擴(kuò)散函數(shù)或衍射極限引起的模糊矩陣,綜合體現(xiàn)了成像過(guò)程中的多種模糊[13-14]；矩陣F表示由觀(guān)測(cè)圖像Y插值放大后的圖像與原始高分辨率圖像X之間的由于運(yùn)動(dòng)引起的幾何變形；向量V表示噪聲,通常為加性高斯白噪聲。

通過(guò)圖像觀(guān)測(cè)模型,大大簡(jiǎn)化了超分辨率重構(gòu)的難度,在該成像模型的基礎(chǔ)上,多種重構(gòu)算法應(yīng)運(yùn)而生,極大地推動(dòng)了超分辨率重構(gòu)算法的發(fā)展。

3 圖像配準(zhǔn)原理

圖像配準(zhǔn)是在各個(gè)低分辨率圖像之間尋找最佳的空間變換,使圖像的內(nèi)容達(dá)到空間上的對(duì)齊。隨著圖像重構(gòu)技術(shù)的不斷研究,重構(gòu)效果也隨之提升,與此同時(shí),圖像配準(zhǔn)的精度對(duì)重構(gòu)效果的影響變得尤為關(guān)鍵。在復(fù)眼圖像超分辨率重構(gòu)中,由于對(duì)多個(gè)子成像器件的光軸平行性要求不高,配準(zhǔn)算法又只能利用低分辨率圖像上的信息,因而其圖像配準(zhǔn)難度較高[15],這對(duì)配準(zhǔn)提出了更高的要求。因此,作為超分辨率重構(gòu)的第一個(gè)步驟,亞像素精度的配準(zhǔn)是至關(guān)重要的。

圖像配準(zhǔn)是將使用不同傳感器、在不同角度下獲取的同一場(chǎng)景的多幅圖像進(jìn)行最佳匹配的過(guò)程。簡(jiǎn)而言之,圖像配準(zhǔn)是尋找多幅低分辨率圖像之間的空間關(guān)系,實(shí)質(zhì)上是將圖像中對(duì)應(yīng)于空間同一位置的點(diǎn)對(duì)應(yīng)起來(lái),在二維空間中表現(xiàn)為二維變換。假設(shè)有給定兩個(gè)二維矩陣I1和I2代表兩幅圖像,I1(x,y)和I2(x,y)分別表示對(duì)應(yīng)位置(x,y)點(diǎn)的灰度函數(shù),則圖像間的映射可表示為:

I2(x,y)=g(I1(f(x,y)))

(2)

式中,f表示一個(gè)二維空間坐標(biāo)變換,即:(x′,y′)=f(x,y),g是一維灰度或輻射變換。

配準(zhǔn)問(wèn)題的任務(wù)即為找到最優(yōu)的空間變換f和灰度變換g。通常灰度變換g是不需要的,但在如傳感器變化[16]等應(yīng)用中可能會(huì)用到。大多數(shù)情況下,尋找空間或幾何變換是解決配準(zhǔn)問(wèn)題的關(guān)鍵,這一變換一般可參數(shù)化為兩個(gè)單值函數(shù)fx和fy:

I2(x,y)=I1(fx(x,y),fy(x,y))

(3)

4 配準(zhǔn)方法

對(duì)于諸多的配準(zhǔn)算法,研究中針對(duì)不同的分類(lèi)標(biāo)準(zhǔn)出現(xiàn)了諸多不同的分類(lèi)結(jié)果。本文按照變換域的不同進(jìn)行分類(lèi),并且在研究中發(fā)現(xiàn)了結(jié)合空域法和頻域法的新方法,并在配準(zhǔn)過(guò)程中體現(xiàn)了其優(yōu)勢(shì),因此本文中將配準(zhǔn)方法分為空域法、頻域法和空頻域法。

4.1 頻率域配準(zhǔn)方法

頻域法是最早出現(xiàn)的圖像配準(zhǔn)算法,它是利用圖像頻譜相位差進(jìn)行運(yùn)動(dòng)估算的圖像配準(zhǔn)算法,具有魯棒性強(qiáng)的特點(diǎn)。

典型的有Vandewalle算法。

假設(shè)f1(x)為參考圖像函數(shù),f2(x)為目標(biāo)圖像函數(shù)。則兩者有如下關(guān)系:

f2(x)=f1(R(x+Δx))

其中:

假設(shè)F1(u)和F2(u)分別為f1(x)和f2(x)對(duì)應(yīng)的傅里葉變換,由傅里葉變換的性質(zhì)可知,傅里葉變換的相位值只由空間域的移動(dòng)決定,因此首先進(jìn)行相位估計(jì),再對(duì)相應(yīng)的平移參數(shù)進(jìn)行估計(jì)。Vandewalle算法作為典型的頻域法,尤其適用于信號(hào)頻譜在某些方向上有較強(qiáng)高頻分量的情況。

Vandewalle等人提出的頻域圖像配準(zhǔn)算法中,僅僅使用低分辨率圖像中的低頻信息參與運(yùn)算,這是考慮到信號(hào)的信噪比最高并且不存在重疊。此外因?yàn)榈皖l信息中不包含走樣信息[17-19],因此該算法魯棒性較強(qiáng)。

4.2 空間域配準(zhǔn)方法

空間域法能夠適用于大多數(shù)的運(yùn)動(dòng)模型,這是由于它運(yùn)用圖像的強(qiáng)度信息或選擇獨(dú)特的圖像特征進(jìn)行配準(zhǔn),因而具有配準(zhǔn)精度高的特點(diǎn)。

4.2.1 基于泰勒級(jí)數(shù)展開(kāi)的方法

假定用f和g分別表示參考圖像函數(shù)和待配準(zhǔn)圖像函數(shù),a代表水平位移,b代表垂直位移,旋轉(zhuǎn)角度為θ,則有f和g的關(guān)系函數(shù):

g(x,y)=f(xcosθ-ysinθ+a,ycosθ+xsinθ+b)

(4)

通過(guò)對(duì)sinθ、cosθ和f進(jìn)行泰勒級(jí)數(shù)展開(kāi)并忽略高次項(xiàng),可得誤差函數(shù)。再通過(guò)其導(dǎo)函數(shù)取零,可得E(a,b,θ)的最小值,并且可解出a、b和θ三個(gè)參數(shù)值。泰勒級(jí)數(shù)法只適用于函數(shù)高階導(dǎo)數(shù)很小的限速,由于該配準(zhǔn)過(guò)程需經(jīng)多次迭代實(shí)現(xiàn),故獲得高精度配準(zhǔn)效果的同時(shí),常常配準(zhǔn)過(guò)程較慢。

Keren等提出的基于泰勒展開(kāi)的圖像配準(zhǔn)方法是空域法中對(duì)噪聲具有一定魯棒性的方法,適用于估計(jì)位移差不大的圖像的配準(zhǔn)問(wèn)題。因?yàn)榇怂惴ㄊ轻槍?duì)剛體變換模型使用的,故而對(duì)圖像之間小位置差的情況能夠?qū)崿F(xiàn)較高精度的配準(zhǔn),充分發(fā)揮了泰勒級(jí)數(shù)的性質(zhì)的優(yōu)勢(shì),在圖像間有較大偏移量和旋轉(zhuǎn)量時(shí),可通過(guò)迭代方式求解。

為了提高配準(zhǔn)算法對(duì)噪聲的穩(wěn)定性,改進(jìn)的算法中采用三層高斯金字塔[20],將邊緣檢測(cè)與Keren算法相結(jié)合,其首先利用Roberts算子對(duì)多幅低分辨率圖像進(jìn)行邊緣檢測(cè),然后求出平移量和旋轉(zhuǎn)量。這樣改進(jìn)的泰勒級(jí)數(shù)算法能夠有效地處理多參數(shù)的仿射變換模型以及旋轉(zhuǎn)角帶來(lái)的誤差,提高了該算法的精度和穩(wěn)定性。

4.2.2 基于光流的算法

基于光流的方法是一種參數(shù)模型化方法,其理論基礎(chǔ)是著名的光流約束方程。方程中假設(shè)運(yùn)動(dòng)點(diǎn)的光強(qiáng)不變,則有:

Ix·u+Iy·v+It=0

(5)

其中，Ix和Iy代表圖像的空間微分；It表示圖像強(qiáng)度的時(shí)間微分；(u,v)描述了光流大小。根據(jù)仿射變換可以得到圖像上所有點(diǎn)所對(duì)應(yīng)的擴(kuò)展的先行方程組,進(jìn)而可解得仿射變換關(guān)系。

光流法是通過(guò)研究圖像序列的光流場(chǎng)而估計(jì)運(yùn)動(dòng)的方法。光流場(chǎng)是二維瞬時(shí)速度場(chǎng)[21-22],其中的二維速度矢量是景物中可見(jiàn)點(diǎn)的三維速度矢量在成像面的投影。光流包含了被觀(guān)察物體的運(yùn)動(dòng)信息[23],同時(shí)還攜帶著景物的三維結(jié)構(gòu)信息。因而研究目的就是估計(jì)不可直接獲取的運(yùn)動(dòng)場(chǎng)。

在諸多配準(zhǔn)算法中,光流法具有其自身明顯的優(yōu)勢(shì):可以基本正確的檢測(cè)子像素級(jí)的移動(dòng)距離,精度較高；能完成復(fù)雜運(yùn)動(dòng)的檢測(cè)；具有較好的穩(wěn)健性并易于實(shí)現(xiàn)。其不足表現(xiàn)在:光流本身只是圖像運(yùn)動(dòng)的近似,不能完全代表實(shí)際運(yùn)動(dòng)。雖然理想情況下光流和圖像運(yùn)動(dòng)相吻合,但實(shí)際卻不盡然。

在后續(xù)的研究中,光流法得到了改進(jìn)。為解決光流法運(yùn)動(dòng)估計(jì)的病態(tài)性,對(duì)光流場(chǎng)進(jìn)行了正則性約束,提出了一種基于耦合偏微分方程的全局平滑約束方法[24-25],并且嵌入了局部平滑約束從而得到混合算法,并通過(guò)實(shí)驗(yàn)證明了新方法的有效性。

4.2.3 基于塊的算法

基于塊的配準(zhǔn)算法是針對(duì)低分辨率圖像間存在全局位移的情況最常用的配準(zhǔn)算法之一。基于塊的算法是將單個(gè)圖像分解成圖像塊,認(rèn)為單個(gè)圖像塊的像素具有相同的運(yùn)動(dòng)而處理[26]。對(duì)于某一低分辨率圖像中的特定圖像塊,在參考幀上進(jìn)行搜索,得到的相對(duì)位移作為當(dāng)前幀圖像塊中心像素點(diǎn)的運(yùn)動(dòng)矢量?；趬K的算法其結(jié)構(gòu)簡(jiǎn)單、運(yùn)算復(fù)雜度較低,但相應(yīng)的該方法局限于逐塊平移的運(yùn)動(dòng)場(chǎng),同時(shí)該算法的難點(diǎn)在于圖像塊搜索,雖然通過(guò)全搜索算法可以使效果達(dá)到最好,但其運(yùn)算量過(guò)大。結(jié)合這些問(wèn)題在后來(lái)的研究中提出了其他搜索方法,如新三步法、定向菱形法、多模塊六邊形法等,在計(jì)算量和搜索效果之間尋找平衡點(diǎn)。

在后續(xù)的研究中又提出了分層塊匹配算法——基于小波變換的改進(jìn)的自適應(yīng)十字模式搜索方法[27],該方法在小波變換域完成匹配宏塊搜索,能夠有效地減少匹配點(diǎn)的搜索個(gè)數(shù),且配準(zhǔn)圖像峰值信噪比相比全搜索下降不到0.1 dB,在保持較高的配準(zhǔn)精度的同時(shí),取得了較好的重構(gòu)效果。

4.2.4 基于特征的算法

基于圖像特征的算法是通過(guò)對(duì)圖像某種特征的分析來(lái)分析圖像,避免了對(duì)整個(gè)圖像進(jìn)行分析的繁瑣,極大程度上提高了運(yùn)算效率。由于利用的是圖像特征,因而算法對(duì)灰度變化以及圖像變形甚至遮擋等都有較好的適應(yīng)能力。其原理可概括為三個(gè)階段:①提取圖像特征構(gòu)成特征集合(如特征點(diǎn)集)；②將特征作為控制結(jié)構(gòu),尋找圖像間控制結(jié)構(gòu)的映射關(guān)系；③建立圖像間控制結(jié)構(gòu)的空域幾何變換,通常利用最小二乘原則建立二維多項(xiàng)式函數(shù)來(lái)對(duì)幾何變換進(jìn)行擬合。

基于特征的圖像配準(zhǔn)方法分為基于特征區(qū)域的圖像配準(zhǔn)和基于特征點(diǎn)的圖像配準(zhǔn)。其中基于區(qū)域特征的方法的優(yōu)點(diǎn)在于:①能夠獲得數(shù)量充足的參考點(diǎn)；②利用區(qū)域質(zhì)心作控制點(diǎn),其精度能達(dá)到亞像素級(jí)。這種方法改進(jìn)了基于鏈碼特征的圖像配準(zhǔn)方法的算法復(fù)雜度高、難以得到閉合邊界而影響配準(zhǔn)精度的不足。在后續(xù)的研究中,又提出了一種基于小面元和鏈碼特征的圖像自動(dòng)配準(zhǔn)算法[28-30],算法首先利用小面元對(duì)特征進(jìn)行預(yù)處理,降低了提取邊緣的難度,之后提取閉合鏈碼進(jìn)行二次匹配并提取控制點(diǎn)[31-32]。這種方法克服了傳統(tǒng)的基于鏈碼的缺點(diǎn),達(dá)到了很高的配準(zhǔn)精度。相應(yīng)的,基于特征點(diǎn)的配準(zhǔn)算法更適合于解決存在復(fù)雜空間變換的圖像間的快速、精確配準(zhǔn)問(wèn)題。在多種圖像特征中,角點(diǎn)具有旋轉(zhuǎn)不變性和不隨光照條件變化而變化的優(yōu)勢(shì),并且減少了參與計(jì)算的數(shù)據(jù)量,因而對(duì)提高圖像匹配速度和匹配效率有著重要意義。

此外,根據(jù)最新的研究進(jìn)展,SIFT(尺度不變特征變換)配準(zhǔn)算法成為了目前基于點(diǎn)特征的配準(zhǔn)算法的研究熱點(diǎn)。SIFT算法是由David Lowe于1999年首次提出,于2004年進(jìn)行完善的,并在實(shí)驗(yàn)中證明了其良好的配準(zhǔn)效果。該算法優(yōu)勢(shì)在于其圖像特征對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性,對(duì)視角變化、噪聲以及仿射變換也保持一定的穩(wěn)定性,其極強(qiáng)的匹配能力甚至可以對(duì)任意角度拍攝的圖像也具有較為穩(wěn)定的匹配能力。其不足表現(xiàn)在對(duì)特征點(diǎn)的要求苛刻,若圖像紋理單一,不能提供足夠的特征點(diǎn),則不利于圖像配準(zhǔn)?？偠灾?由于特征的信息量豐富,算法適合于在海量特征數(shù)據(jù)中進(jìn)行快速、準(zhǔn)確的匹配,并且對(duì)物體數(shù)量要求不高；由于其高速性,經(jīng)優(yōu)化的算法甚至可以實(shí)時(shí)匹配,因而可以方便的與其他形式的向量進(jìn)行聯(lián)合,具有較強(qiáng)的可擴(kuò)展性。

4.3 空頻域法

基于傅里葉變換域方法的空間局域性較差,可以采用空頻域方法進(jìn)行從粗到細(xì)的運(yùn)動(dòng)估計(jì),如Vandewalle與Keren結(jié)合的算法、基于小波的運(yùn)動(dòng)模型、空時(shí)域連續(xù)小波變換以及復(fù)小波變換方式等,這類(lèi)方法稱(chēng)為空頻域法。

基于上述各種方法的研究,有人提出了結(jié)合Vandewalle魯棒性強(qiáng)和Keren算法配準(zhǔn)精度高的特點(diǎn)的新方法。其思路為:首先用Vandewalle的頻域算法對(duì)圖像進(jìn)行配準(zhǔn),得到運(yùn)動(dòng)參數(shù)；其次根據(jù)得到的參數(shù),將目標(biāo)圖像朝參考圖像的方向轉(zhuǎn)回,由于轉(zhuǎn)動(dòng)后的目標(biāo)圖像和參考圖像之間的偏移量縮小,這時(shí)再用一次Keren算法就得到更好的精確度。通過(guò)實(shí)驗(yàn)比較,證明基于Vandewalle和Keren的組合配準(zhǔn)算法結(jié)合了頻域和空域算法的優(yōu)點(diǎn),達(dá)到了較好的效果。

5 總結(jié)與展望

復(fù)眼圖像超分辨率重構(gòu)技術(shù)是數(shù)字圖像超分辨率重構(gòu)與復(fù)眼成像系統(tǒng)結(jié)合而成的新技術(shù)。它突破了傳統(tǒng)的僅僅依靠提高硬件工藝水平而提高分辨率的方法,利用軟件方法在硬件平臺(tái)之上得到超分辨率圖像,具有復(fù)眼結(jié)構(gòu)的質(zhì)量輕、體積小、對(duì)運(yùn)動(dòng)物體敏感的優(yōu)勢(shì),并且能夠適用于各種復(fù)雜的應(yīng)用環(huán)境。復(fù)眼圖像超分辨率重構(gòu)技術(shù)是一個(gè)極具發(fā)展?jié)摿Φ难芯糠较?其研究成果在軍事偵察、安防監(jiān)控、定位等許多領(lǐng)域有廣闊的應(yīng)用前景。

近年來(lái),由于重構(gòu)算法的不斷研究,圖像配準(zhǔn)成為了限制超分辨率重構(gòu)的關(guān)鍵環(huán)節(jié),目前諸多的配準(zhǔn)算法有著各自的特點(diǎn)及優(yōu)勢(shì),但同時(shí)也存在著各不相同的問(wèn)題。針對(duì)超分辨率重構(gòu)中的這些問(wèn)題及難點(diǎn),作者認(rèn)為未來(lái)的一些工作預(yù)計(jì)會(huì)集中在設(shè)計(jì)更加小型化的、集成度高的復(fù)眼成像系統(tǒng),能夠高效率、實(shí)時(shí)地完成圖像的多路采集；對(duì)于配準(zhǔn)算法的研究主要集中在基于點(diǎn)特征的配準(zhǔn)算法的研究,典型的有SIFT配準(zhǔn)算法?？偠灾?在對(duì)超分辨率重構(gòu)技術(shù)的迫切需求下,在對(duì)該技術(shù)的不斷研究下,復(fù)眼超分辨率重構(gòu)技術(shù)必將在今后的研究中展現(xiàn)其獨(dú)特的應(yīng)用前景。

[1] J Tanida,T Kumagai,K Yamada,et al.Thin observation module by bound optics(TOMBO):concept and experimental verification[J].Appl Opt,2011,40(11):1806-1813.

[2] R C Hardie,K J Barnard,J G Bognar,et al.High-resolution image reconstruction from a sequence of rotated and translated frames and its application to an infrared imaging system[J].Opt Eng,1998,37(1):247-260.

[3] ZHAO Xiaojuan.Imageregistration method based on EM algorithm[C].Wuhan:2010 2ndInternational Conference on Future Computer and Communication,ICFCC,China,2010.

[4] WEI Jianhua.Research of geometric registration method for multi-modality image[C].Hangzhou:2ndInternational Conference on Multimedia Technology,ICMT,2011.

[5] LIU Xiangzeng,TIAN Zheng,YAN Weidong,et al.Duan.KW-SIFT descriptor for remote-sensing image registration[J].Chinese Optics Letters,2011,9(6):1-5.

[6] WU Yan,AN Bowen,YE Hongtao.The key points for applying SRR to infrared scanning imagining system[J].Electronics Optics & Control,2012,12(19):63-67.(in Chinese)

吳艷,安博文,葉洪濤,等.超分辨率重構(gòu)技術(shù)用于紅外掃描系統(tǒng)的關(guān)鍵[J].電光與控制,2012,12(19):63-67.

[7] Tzimiropoulos Georgios,Argyriou Vasileios,Stathaki Tania.Subpixel registrationwith gradient correlation[J].IEEE Transactions on Image Processing,2011,20(6):1761-1767.

[8] Gillan Steven,Agathoklis Pan.Image registration using feature points,Zernike moments and an M-estimator[C].53rdIEEE International Midwest Symposium on Circuits and Systems,MWSCAS Seattle WA,United states,2010.

[9] Meng An,Zhiguo Jiang,Danpei Zhao.High speed robust image registration and localization using optimized algorithm and its performances evaluation[J].Journal of Systems Engineering and Electronics,2010,21(3):520-526.

[10]Liu Songtao,Yang Shaoqing.Progress in image registration techniques[J].Electronics Optics & Control,2007,14(6):99-105.

[11]Peter N,Crabtree,Collin Seanor,et al.Robust global image registration based on a hybrid algorithm combining Fourier and spatial domain techniques[R].Air Force Research Lab,Kirtland Afb,Nm,2012.

[12]S Farsiu,D Robinson,M Elad,et al.Advances and Challenges in Super-Resolution[R].California Univ,Santa Cruz.Dept,of electrical Engineering,2007.

[13]ZHANG Lei,YANG Jianfeng,XUE Bin,et al.Modified MAP algorithm for single frame super-resolution reconstruction[J].Laser & Optoelectronics Progress,2011,48(1):011003.(in Chinese)

張磊,楊建峰,薛彬,等.改進(jìn)的最大后驗(yàn)概率估計(jì)法實(shí)現(xiàn)單幅圖像超分辨率重建[J].激光與光電子學(xué)進(jìn)展,2011,48(1):011003.

[14]LI Lingling,LI Cuihua,ZENG Xiaoming,et al.An automatic image registration method based on SIFT and Harris-Affine features matching[J].Journal ofHuazhong University of Science and Technology:Natural Science Edition,2008,36(8):13-16.(in Chinese)

李玲玲,李翠華,曾曉明,等.基于Harris-Affine和SIFT特征匹配的圖像自動(dòng)配準(zhǔn)[J].華中科技大學(xué)學(xué)報(bào):自然科學(xué)版,2008,36(8):13-16.

[15]LIU Xiaojun,Yang Jie,Sun Jianwei,et al.Image registration approach based on SIFT[J].Infrared and Laser Engineering,2008,37(1):156-160.(in Chinese)

劉小軍,楊杰,孫堅(jiān)偉,等.基于SIFT的圖像配準(zhǔn)方法[J].紅外與激光工程,2008,37(1):156-160.

[16]LI Xue,JIANG Aimin,LIU Xiaofeng.Image super-resolution reconstruction algorithm based on sparse representation[J].Microprocessors,2014,1:41-45.(in Chinese)

李雪,蔣愛(ài)民,劉小峰,等.基于稀疏表示的圖像超分辨率重構(gòu)算法[J].微處理機(jī),2014,1:41-45.

[17]YANG Wenbo,ZHU Ming,MA Tianwei,et al.Research on super-resolution reconstruction of sub-pixel imaging in multiple linear array CCDs[J].Journal of Optoelectronics·Laser,2014,6(25):1203-1212.(in Chinese)

楊文波,朱明,馬天偉,等.多線(xiàn)陣CCD亞像元成像超分辨率重構(gòu)技術(shù)研究[J].光電子·激光,2014,6(25):1203-1212

[18]WANG Tianjia,LIU Guorong.Improved SIFT algorithm for Image matching[J].Microelectronics & Computer,2011,5(28):184-188.(in Chinese)

王田甲,劉國(guó)榮.SIFT改進(jìn)算法在圖像配準(zhǔn)中的應(yīng)用[J].微電子學(xué)與計(jì)算機(jī),2011,5(28):184-188.

[19]LIU Hui,SHEN Hailong.Image match method based on improved SIFT algorithm[J].Microelectronics & Computer,2014,31(1):38-42.(in Chinese)

劉輝,申海龍.一種基于改進(jìn)SIFT算法的圖像配準(zhǔn)方法[J].微電子學(xué)與計(jì)算機(jī),2014,31(1):38-42.

[20]ZHENG Yongbin,HUANG Xinsheng,FENG Songjiang.An image matching algorithm based on combination of SIFT and the rotation invariant LBP[J].Journal of Computer-Aided Design and Computer Graphics,2010,22(2):286-290.(in Chinese)

鄭永斌,黃新生,豐松江.SIFT和旋轉(zhuǎn)不變LBP相結(jié)合的圖像匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(2):286-290

[21]HAO Xu,DAI Xin.Research on a new sorting technique of Image Registration[J].China New Technologies and Products，2011，(4):28.(in Chinese)

郝旭,戴欣.一種新的圖像配準(zhǔn)分類(lèi)方法的研究[J].中國(guó)新技術(shù)新產(chǎn)品,2011，(4):28.

[22]YANG Kewei.Super resolution reconstruction using iterative back projection with optical flow based image matching[J].Modern Computer,2014,31(6):31-36.(in Chinese)

楊克偉.基于光流法的迭代反投影超分辨率重構(gòu)算法[J].現(xiàn)代計(jì)算機(jī)(專(zhuān)業(yè)版),2014,31(6):31-36.

[23]CHEN Yanwen,XU Dongping.Algorithm of image registration based on the precise SIFT feature matching[J].Computer Knowledge and Technology,2011,7(2):400-402.(in Chinese)

陳燕文,徐東平.基于SIFT特征匹配的精準(zhǔn)圖像配準(zhǔn)算法[J].電腦知識(shí)與技術(shù),2011,7(2):400-402.

[24]ZHANG Xinming,SHEN Lansun.Super-resolution restoration from image sequences in the wavelet domain[J].Chinese Journal of Computers,2003,9(26):1183-1189.(in Chinese)

張新明,沈蘭蓀.在小波變換域內(nèi)實(shí)現(xiàn)圖像的超分辨率復(fù)原[J].計(jì)算機(jī)學(xué)報(bào),2003,9(26):1183-1189.

[25]YUAN Jinsha,ZHAO Zhenbing,GAO Qiang,et al.Review and prospect on infrared/visible image registration[J].Laser & Infrared,2009,7(39):693-699.(in Chinese)

苑津莎,趙振兵,高強(qiáng),等.紅外與可見(jiàn)光圖像配準(zhǔn)研究現(xiàn)狀與展望[J].激光與紅外,2009,7(39):693-699.

[26]LEI Hua,XU Zhihai,FENG Huajun,et al.Template-based image registration in an optical butting system[J].Journal of Optoelectronics·Laser,2010,11(21):1725-1729.(in Chinese)

雷華,徐之海,馮華君,等.光學(xué)拼接系統(tǒng)中基于末班的圖像配準(zhǔn)[J].光電子·激光,2010,11(21):1725-1729.

[27]WU Wei,ZHAO Wenjie,LIU Hui.Overview of remote sensing digital image registration technology[J].Infrared,2009,10(30):37-43.(in Chinese)

吳畏,趙文杰,劉輝.遙感數(shù)字圖像配準(zhǔn)技術(shù)綜述[J].紅外,2009,10(30):37-43.

[28]GUO Liusheng,FENG Qianjin,YUN Zhaoqiang,et al.A new image registration method based on the interesting points of rotation invariant features[J].Chinese Journal of Medical Physics,2011,1(28):2364-2368.(in Chinese)

郭六生,馮前進(jìn),贠照強(qiáng),等.一種基于感興趣點(diǎn)旋轉(zhuǎn)不變性特征的圖像配準(zhǔn)新方法[J].中國(guó)醫(yī)學(xué)物理學(xué)雜志,2011,1(28):2364-2368.

[29]YU Lili,DAI Qing.A imopoved registration algorithm of SIFT feature[J].Computer Engineering,2011,37(2):210-213.(in Chinese)

于麗莉,戴青.一種改進(jìn)的SIFT特征匹配算法[J].計(jì)算機(jī)工程,2011,37(2):210-213.

[30]LI Wei,SHEN Zhenkang.Image registration based on KPCA-SIFT[J].Signal Processing,2009,25(4):644-647.(in Chinese)

李偉,沈振康.基于KPCA-SIFT描述符的圖像配準(zhǔn)[J].信號(hào)處理,2009,25(4):644-647.

[31]LI Tao,WANG Xiaohua,SONG Guiqin.Color face image super-resolution reconstruction based on learning[J].Transactions of Beijing Institute of Technology,2010,2(30):193-196.(in Chinese)

李濤,王曉華,宋桂芹,等.基于學(xué)習(xí)的彩色人臉圖像超分辨率重構(gòu)研究[J].北京理工大學(xué)學(xué)報(bào),2010,2(30):193-196.

[32]CAI Qiurong,LIU Rong,WANG Meiqing.Super-resolution reconstruction method based on edge detection[J].Computer Engineering,2011,11(37):225-227.(in Chinese)

蔡秋榮,劉蓉,王美清.基于邊緣檢測(cè)的超分辨率重構(gòu)方法[J].計(jì)算機(jī)工程,2011,11(37):225-227.

Research progress on registration algorithm in compound eye super resolution reconstruction

LIU Shi-ying,HUANG Feng,LIU Bing-qi,HU Jiang-tao

(Ordnance Engineering College,Shijiazhuang 050003,China)

High resolution images can provide much more image information and high image quality.According to the high resolution characteristics of simulating compound eye,the research of compound eye super resolution is very meaningful for target recognition and space reconnaissance.The research progress of registration algorithms in super resolution reconstruction in recent years was summarized,and the fundamental and application background of image registration technology and compound eye super resolution reconstruction technology were introduced.The current main registration algorithms were introduced and analyzed,and research trends were prospected,which provides an important reference for the further research of registration algorithms.

imaging system；registration algorithms；compound eye super resolution;reconstruction algorithms;SIFT

1001-5078(2015)10-1164-07

劉世瑛(1991-),男,碩士研究生,研究方向?yàn)楣怆娤到y(tǒng)設(shè)計(jì)及應(yīng)用(計(jì)算成像)。E-mail:568431578@qq.com

2015-03-17;

2015-04-08

TN911.74

A

10.3969/j.issn.1001-5078.2015.10.004