閔 雷，楊 平，許 冰，劉 永

基于變分貝葉斯多圖像超分辨的平面復(fù)眼空間分辨率增強(qiáng)

閔 雷1,2,3,4，楊 平1,3,4*，許 冰1,3,4，劉 永2

1中國(guó)科學(xué)院自適應(yīng)光學(xué)重點(diǎn)實(shí)驗(yàn)室，四川 成都 610209；2電子科技大學(xué)光電科學(xué)與工程學(xué)院，四川 成都 610054；3中國(guó)科學(xué)院光電技術(shù)研究所，四川 成都 610209；4中國(guó)科學(xué)院大學(xué)，北京 100049

平面復(fù)眼成像系統(tǒng)利用多個(gè)子孔徑對(duì)場(chǎng)景進(jìn)行成像，由于子孔徑大小和圖像傳感器空間采樣率的限制，各子孔徑圖像質(zhì)量較差。如何融合多個(gè)子孔徑圖像來(lái)獲得高分辨率圖像是亟需解決的問(wèn)題。多圖像超分辨理論利用多幅具有互補(bǔ)信息的圖像來(lái)重構(gòu)高空間分辨率圖像，然而現(xiàn)有理論通常采用過(guò)于簡(jiǎn)化的運(yùn)動(dòng)模型，這種簡(jiǎn)化的運(yùn)動(dòng)模型對(duì)平面復(fù)眼成像并不完全適用。若直接把現(xiàn)有多圖像超分辨理論用于平面復(fù)眼分辨率增強(qiáng)，不準(zhǔn)確的相對(duì)運(yùn)動(dòng)估計(jì)將降低圖像分辨率增強(qiáng)性能。針對(duì)這些問(wèn)題，本文在變分貝葉斯框架下改進(jìn)了現(xiàn)有多圖像超分辨理論中的運(yùn)動(dòng)模型，并把導(dǎo)出的聯(lián)合估計(jì)算法用于平面復(fù)眼分辨率增強(qiáng)。仿真數(shù)據(jù)實(shí)驗(yàn)和真實(shí)復(fù)眼數(shù)據(jù)實(shí)驗(yàn)驗(yàn)證了推薦方法的正確性和有效性。

平面復(fù)眼；分辨率增強(qiáng)；運(yùn)動(dòng)模型；變分貝葉斯；多圖像超分辨

1 引 言

平面復(fù)眼成像系統(tǒng)[1-2]通過(guò)適當(dāng)?shù)墓鈱W(xué)設(shè)計(jì)利用多個(gè)光學(xué)子孔徑同時(shí)對(duì)同一場(chǎng)景進(jìn)行成像，其具有輕、薄和大視場(chǎng)等特點(diǎn)。然而，由于成像子孔徑較小以及圖像傳感器的空間欠采樣，低信噪比和頻譜混疊造成各子孔徑圖像空間分辨率較低。如何提高平面復(fù)眼的空間分辨率是亟需解決的問(wèn)題。另一方面，圖像超分辨理論[3]是一種基于算法的空間分辨率增強(qiáng)方法，該理論利用同一場(chǎng)景的一幅或多幅圖像計(jì)算出潛在的空間高分辨率圖像。有別于文獻(xiàn)[4]中超光學(xué)衍射極限的超分辨理論，這里的圖像超分辨理論是一種基于計(jì)算的幾何超分辨率理論[5]，其通過(guò)融合低分辨率圖像中的互補(bǔ)信息和先驗(yàn)信息來(lái)提高圖像空間分辨率。圖像超分辨理論已經(jīng)發(fā)展了三十多年，產(chǎn)生了大量的研究文獻(xiàn)，詳見綜述[3]。近年來(lái)，基于學(xué)習(xí)的單圖像超分辨理論[6-8]發(fā)展較快，其通過(guò)外部訓(xùn)練庫(kù)學(xué)習(xí)低分辨率圖像到高分辨率圖像的映射關(guān)系，再把學(xué)習(xí)到的映射關(guān)系應(yīng)用到待增強(qiáng)的圖像上獲得相應(yīng)的高分辨率圖像。同樣，多圖像超分辨理論也有較大的發(fā)展[9]：對(duì)先驗(yàn)?zāi)Ｐ秃退迫缓瘮?shù)的探索和優(yōu)化，估計(jì)方法由最大似然估計(jì)到最大后驗(yàn)估計(jì)再到變分貝葉斯估計(jì)，高分辨率圖像和模型參數(shù)獨(dú)立估計(jì)到聯(lián)合估計(jì)?？傮w來(lái)說(shuō)，多圖像超分辨理論朝著自動(dòng)化和性能最優(yōu)化方向發(fā)展，尤其是變分貝葉斯多圖像超分辨理論[10-11]，該理論聯(lián)合估計(jì)高分辨率圖像和模型參數(shù)。

平面復(fù)眼成像能夠獲得同一場(chǎng)景的多幅低分辨率子孔徑圖像，在沒有較好外部訓(xùn)練數(shù)據(jù)的情況下，多圖像超分辨理論成為提高平面復(fù)眼空間分辨率的自然選擇。圖1是基于多圖像超分辨理論的平面復(fù)眼分辨率增強(qiáng)示意圖。由于先前的多圖像超分辨理論研究主要集中在序列圖像超分辨上，因而幾乎所有的多圖像超分辨理論都假設(shè)各幅圖像之間的相對(duì)運(yùn)動(dòng)滿足歐幾里德變換，即低分辨率子孔徑圖像之間僅具有平移和/或旋轉(zhuǎn)變換。這種簡(jiǎn)化的運(yùn)動(dòng)模型對(duì)平面復(fù)眼成像場(chǎng)景并不完全適用，例如文獻(xiàn)[12]中設(shè)計(jì)的平面復(fù)眼系統(tǒng)可能存在子孔徑圖像相對(duì)于參考子孔徑圖像微略的放大或縮小，或者由于光學(xué)透鏡和圖像傳感器的裝配誤差造成子孔徑圖像之間存在仿射變換。為了避免相對(duì)運(yùn)動(dòng)模型不準(zhǔn)確引起的性能降低，我們進(jìn)一步擴(kuò)展相對(duì)運(yùn)動(dòng)模型以使其符合實(shí)際的平面復(fù)眼成像場(chǎng)景。基于以上討論，本文采用適用范圍更廣的仿射相機(jī)模型[13]建模各子孔徑低分辨率圖像之間的相對(duì)運(yùn)動(dòng)，在變分貝葉斯框架下獲得相應(yīng)的分辨率增強(qiáng)算法，并把推薦方法用于復(fù)眼圖像分辨率增強(qiáng)。仿真數(shù)據(jù)實(shí)驗(yàn)和真實(shí)數(shù)據(jù)實(shí)驗(yàn)驗(yàn)證了推薦方法的正確性和有效性。

2 分辨率增強(qiáng)的信號(hào)模型

2.1 前向成像模型

前向成像模型[3]描述了由潛在高分辨率圖像到幅低分辨率圖像(=1,2,?,)的降質(zhì)過(guò)程，包含相對(duì)運(yùn)動(dòng)、模糊、下采樣和加性噪聲：

圖1 基于多圖像超分辨的平面復(fù)眼空間分辨率增強(qiáng)

2.2 分層貝葉斯模型

分層貝葉斯模型對(duì)高分辨率圖像、低分辨率觀測(cè)、相對(duì)運(yùn)動(dòng)向量分別進(jìn)行建模。其第一層直接對(duì)前述變量的概率分布進(jìn)行建模。圖像的TV模型[14]具有良好圖像復(fù)原效果，因而這里采用TV模型建模高分辨率圖像：

假設(shè)噪聲n為零均值高斯白噪聲且各子孔徑圖像噪聲相互獨(dú)立，于是對(duì)低分辨率觀測(cè)有：

其中是高斯噪聲逆方差參數(shù)。

由于運(yùn)動(dòng)向量的維度較小，這里直接采用非信息先驗(yàn)(non-informative prior)來(lái)對(duì)其進(jìn)行建模，即假設(shè)：

3 分辨率增強(qiáng)算法

進(jìn)一步通過(guò)最大后驗(yàn)準(zhǔn)則：

通過(guò)優(yōu)化問(wèn)題：

將式(19)帶入式(14)，得：

付玉看看天。天上有幾只鳥雀飛過(guò)，像刀片在她記憶里劃了一道黑色的弧線。馬路兩邊的老槐樹上，有蟬在叫，叫聲像白花花的魚鱗，瓦片般在地上滾動(dòng)。

將式(20)帶入式(18)，得：

來(lái)近似優(yōu)化問(wèn)題(17)。由變分貝葉斯方法[15]可得優(yōu)化問(wèn)題(22)的顯式解：

把式(26)帶入式(25)，通過(guò)計(jì)算可得下一次迭代計(jì)算式：

對(duì)輔助變量集{w}，通過(guò)最小化式(22)可得：

把上述分辨率增強(qiáng)算法總結(jié)如下：

算法 1 變分貝葉斯分辨率增強(qiáng)算法

2) 分辨率增強(qiáng)算法迭代步驟如下：

2.3.2)=+1，當(dāng)收斂條件不滿足時(shí)，返回步驟2.3.1)，直到收斂條件滿足。

2.4)=+1，當(dāng)收斂條件不滿足時(shí)，返回步驟2.1)，直到收斂條件滿足。

4 實(shí)驗(yàn)與仿真

4.1 性能評(píng)價(jià)

對(duì)仿真實(shí)驗(yàn)數(shù)據(jù)，由于存在真實(shí)的高分辨率圖像作為對(duì)比，文中采用峰值信噪比PSNR[17]來(lái)定量評(píng)價(jià)圖像的分辨率增強(qiáng)效果。PSNR計(jì)算式如下：

由于在進(jìn)行真實(shí)數(shù)據(jù)實(shí)驗(yàn)時(shí)沒有高分辨率圖像作為對(duì)比，這里采用分辨率板作為目標(biāo)物，把平面復(fù)眼對(duì)其成像獲得的分辨率板圖像作為低分辨率觀測(cè)。此時(shí)，易于采用人眼對(duì)各分辨率增強(qiáng)方法進(jìn)行評(píng)價(jià)。進(jìn)一步，為了更加客觀地評(píng)價(jià)各分辨率增強(qiáng)方法，采用BISQEI[18](blind image spatial quality evaluator index)來(lái)評(píng)價(jià)各增強(qiáng)方法的性能，BISQEI值越小，圖像質(zhì)量越高。BISQEI是一種無(wú)參考圖像的圖像質(zhì)量評(píng)價(jià)指標(biāo)，圖像空間分辨率是圖像質(zhì)量的一個(gè)重要方面，因此這里采用BISQEI來(lái)表征圖像分辨率增強(qiáng)方法的性能。

4.2 仿真數(shù)據(jù)實(shí)驗(yàn)結(jié)果與分析

其中，u和v的單位為像素。這里僅給出稍微偏離歐幾里德變換的一個(gè)仿射變換實(shí)例，對(duì)更普遍的仿射變換，推薦方法仍是有效的，而對(duì)比方法中的兩種多圖像超分辨率理論反而惡化了圖像性能。以第一幅圖像為參考子孔徑圖像，水平和垂直方向下采樣倍數(shù)都設(shè)置為=2。對(duì)于加性觀測(cè)噪聲n，依次加入均值為0，標(biāo)準(zhǔn)差為0.001、0.01和0.1的高斯白噪聲。

表2是兩幅圖像在三種信噪比下PSNR實(shí)驗(yàn)結(jié)果?？梢钥闯?，兩種單圖像分辨率增強(qiáng)方法性能最差，因?yàn)槠鋬H使用了單幅參考子孔徑圖像來(lái)重構(gòu)高分辨率圖像，另外SRCNN的網(wǎng)絡(luò)參數(shù)并未針對(duì)這里的應(yīng)用場(chǎng)景進(jìn)行優(yōu)化；在所有場(chǎng)景，推薦方法都優(yōu)于TV和NS：噪聲水平較大(標(biāo)準(zhǔn)差為0.1)時(shí)，推薦方法略優(yōu)于TV和NS，這是由于相比于運(yùn)動(dòng)估計(jì)的不準(zhǔn)確性，此時(shí)噪聲是制約分辨率增強(qiáng)性能的主要因素；低噪聲水平(標(biāo)準(zhǔn)差為0.01和0.001)時(shí)，推薦方法能夠有效估計(jì)出相對(duì)運(yùn)動(dòng)向量，此時(shí)推薦方法的PSNR大幅優(yōu)于現(xiàn)有方法。

圖2 仿真數(shù)據(jù)實(shí)驗(yàn)中真實(shí)高分辨率圖像。(a) Kod04；(b) Kod23

表1 仿真數(shù)據(jù)實(shí)驗(yàn)中運(yùn)動(dòng)向量設(shè)置

表2 各圖像分辨率增強(qiáng)方法PSNR(dB)值比較

為了進(jìn)一步從主觀視覺上對(duì)比各分辨率增強(qiáng)方法，圖3和圖4給出了Kod04和Kod23在標(biāo)準(zhǔn)差為0.01時(shí)的實(shí)驗(yàn)結(jié)果圖像?？梢钥闯?，低分辨率圖(a)在圖像邊緣具有明顯的鋸齒且高頻圖像細(xì)節(jié)出現(xiàn)混疊。在圖3中，BBC和SRCNN仍然具有較強(qiáng)的噪聲水平，尤其是SRCNN在增強(qiáng)圖像細(xì)節(jié)的同時(shí)明顯地放大了噪聲。TV和NS降噪效果明顯，然而因?yàn)橄鄬?duì)運(yùn)動(dòng)估計(jì)的不準(zhǔn)確，在邊緣處出現(xiàn)了模糊和一定的人造干擾物，另外NS方法具有一定的過(guò)平滑效應(yīng)，例如，過(guò)多平滑了原圖臉上的斑點(diǎn)。推薦方法處理結(jié)果具有銳利的邊緣、清晰的細(xì)節(jié)，最接近原始高分辨率圖像。在圖4中，BBC最為模糊，SRCNN具有更加銳利的邊緣，然而從圖像左下角看出該方法對(duì)噪聲放大較為明顯。TV和NS方法雖具有一定的去混疊和分辨率增強(qiáng)效果，然而由于相對(duì)運(yùn)動(dòng)向量估計(jì)誤差，在圖像邊緣，例如鳥嘴尖處，出現(xiàn)了明顯的人造干擾物。從鳥眼周圍的復(fù)雜紋理信息的恢復(fù)和銳利邊緣看出，推薦方法具有最好的分辨率增強(qiáng)和圖像復(fù)原效果。

圖3 Kod04圖像標(biāo)準(zhǔn)差為0.01的高斯噪聲時(shí)，增強(qiáng)結(jié)果。

(a) 參考低分辨率圖像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推薦方法

Fig. 3 The enhancement results on Kod04 in presence of Gaussian noise ( with a standard deviation of 0.01).

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method

圖4 Kod23圖像標(biāo)準(zhǔn)差為0.01的高斯噪聲時(shí)，增強(qiáng)結(jié)果。

(a) 參考低分辨率圖像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推薦方法

Fig. 4 The enhancement results on Kod23in presence of Gaussian noise (with a standard deviation of 0.01).

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method.

4.3 真實(shí)數(shù)據(jù)實(shí)驗(yàn)結(jié)果與分析

本節(jié)對(duì)復(fù)眼相機(jī)陣列采集的圖像數(shù)據(jù)進(jìn)行分辨率增強(qiáng)實(shí)驗(yàn)并給出相應(yīng)的分析。復(fù)眼相機(jī)對(duì)ISO 12233分辨率板和USAF 1951分辨率板分別成像獲得9幅子孔徑低分辨率圖像，并截取公共視場(chǎng)內(nèi)的部分區(qū)域進(jìn)行分辨率增強(qiáng)，其中，對(duì)ISO 12233分辨率板，截取大小為56′56的中心圓環(huán)區(qū)域，對(duì)USAF 1951分辨率板，截取大小為40′40的包含0、1線對(duì)組的區(qū)域。圖5為兩幅相應(yīng)的復(fù)眼圖像，其中每幅中包含9張子孔徑低分辨率圖像。

以左上角子孔徑圖像為參考子孔徑圖像，見圖6(a)和圖7(a)，設(shè)置下采樣因子為3，對(duì)TV、NS和本文推薦方法，模糊核選為大小3′3、方差為1的高斯濾波器。圖6(b)~6(f)和圖7(b)~7(f)分別為圖5(a)和5(b)復(fù)眼圖像采用不同分辨率增強(qiáng)方法獲得的增強(qiáng)結(jié)果圖像。ISO 12233復(fù)眼圖像增強(qiáng)后圖像大小為168′168，USAF 1951復(fù)眼圖像增強(qiáng)后圖像大小為120′120。表3為各分辨率增強(qiáng)方法增強(qiáng)結(jié)果的BISQEI比較，可以看出本文推薦方法具有最好的分辨率增強(qiáng)性能。

圖5 真實(shí)數(shù)據(jù)復(fù)眼圖像，截取自分辨率板。(a) ISO 12233；(b) USAF 1951

圖6 ISO12233分辨率板圖像增強(qiáng)結(jié)果。

(a) 參考低分辨率圖像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推薦方法

Fig. 6 The enhancement results on the ISO12233 resolution chart image.

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method.

圖7 USAF1951分辨率板圖像增強(qiáng)結(jié)果。

(a) 參考低分辨率圖像；(b) BBC；(c) SRCNN；(d) TV；(e) NS；(f) 推薦方法

Fig. 7 The enhancement results on the USAF1951 resolution chart image.

(a) Reference low resolution image; (b) BBC; (c) SRCNN; (d) TV; (e) NS; (f) The proposed method.

表3 分辨率板圖像增強(qiáng)結(jié)果BISQEI比較

對(duì)ISO 12233復(fù)眼圖像和分辨率增強(qiáng)結(jié)果，圖6(a)空間下采樣造成了邊緣處明顯的鋸齒以及高頻區(qū)域的混疊圖樣。圖6(b)上采樣插值使鋸齒效應(yīng)得到緩解，但圖像模糊且混疊圖樣依然存在。相對(duì)于BBC，圖6(c)中的SRCNN能夠去除模糊并增加對(duì)比度，但混疊圖樣依然存在且更加明顯。單幀圖像方法BBC和SRCNN不能去除混疊圖樣是因?yàn)槠湮从行Ю枚喾鶊D像的互補(bǔ)信息，所以它們并未從本質(zhì)上增加分辨率。從圖6(d)~6(f)看出，利用多幅圖像進(jìn)行分辨率增強(qiáng)的TV、NS和本文推薦方法都能夠有效增強(qiáng)圖像的分辨率。圖6(d)中的TV方法，由于運(yùn)動(dòng)估計(jì)的不準(zhǔn)確造成了圖像光滑區(qū)域的噪聲和邊緣上有較強(qiáng)的干擾物存在，圖6(e)中的NS方法利用先驗(yàn)?zāi)Ｐ蛯?duì)噪聲和運(yùn)動(dòng)不準(zhǔn)確造成的干擾物有較好的抑制作用，但該先驗(yàn)也有明顯的過(guò)平滑現(xiàn)象，圓環(huán)中高頻紋理幾乎被平滑掉，且仍存在少量的混疊圖樣。圖6(f)的推薦方法不僅獲得了最好的分辨率增強(qiáng)，且在干擾物和噪聲抑制方面表現(xiàn)出最好的性能。

對(duì)USAF 1951復(fù)眼圖像和分辨率增強(qiáng)結(jié)果，為了便于從視覺上對(duì)比分辨率增強(qiáng)效果，圖7中各圖的相同區(qū)域加入了黃色框和紅色實(shí)線框。圖7(a)鋸齒現(xiàn)象較明顯，如黃色框中數(shù)字0，同時(shí)出現(xiàn)了混疊現(xiàn)象，例如0組中的3號(hào)線條對(duì)已不能被正確分辨，紅色方框中的線條組混疊更為明顯。圖7(b)BBC方法使得圖7(a)中的鋸齒現(xiàn)象得到緩解，但圖像邊緣更加模糊，且圖7(a)中不能分辨的線條對(duì)仍不能被分辨。圖7(c)進(jìn)一步去除了圖7(b)的邊緣模糊，使得圖像的對(duì)比度更高，但仍然沒有增加對(duì)線條的分辨能力。利用多個(gè)子孔徑圖像的分辨率增強(qiáng)方法增加了圖像空間分辨率，圖7(a)~7(c)中不能被分辨的0組3號(hào)線對(duì)在7(d)~7(f)中都能夠被正確分辨。圖7(d)中的TV方法分辨率增強(qiáng)效果比較明顯，然而由于運(yùn)動(dòng)模型的限制，其它子孔徑低分辨率圖像并不能很好地配準(zhǔn)到參考子孔徑圖像上，這些配準(zhǔn)誤差體現(xiàn)在增強(qiáng)圖像中線條和數(shù)字邊緣處明顯的干擾物，從黃色框中變形的數(shù)字0可以看出，這些干擾物極大地影響了對(duì)真實(shí)高頻細(xì)節(jié)的分辨。圖7(e)中NS方法利用先驗(yàn)?zāi)Ｐ湍軌蛞种七\(yùn)動(dòng)模型誤差造成的干擾物，但同時(shí)把圖像中的細(xì)節(jié)、紋理等高頻信息也平滑掉了。從圖7(f)看出，推薦方法增強(qiáng)結(jié)果的邊緣干擾物較少且分辨率增強(qiáng)最為明顯，增強(qiáng)后的黑白線條更加均勻且具有更高對(duì)比度。

5 結(jié) 論

本文把變分貝葉斯多圖像超分辨理論用來(lái)進(jìn)行復(fù)眼圖像分辨率增強(qiáng)。傳統(tǒng)的多圖像超分辨方法通常假設(shè)過(guò)于簡(jiǎn)化的歐幾里德變換運(yùn)動(dòng)模型，這限制了超分辨方法在復(fù)眼圖像增強(qiáng)中的應(yīng)用。推薦方法把仿射變換模型引入變分貝葉斯框架，并推導(dǎo)了高分辨率圖像、運(yùn)動(dòng)向量和模型參數(shù)的自適應(yīng)聯(lián)合估計(jì)的分辨率增強(qiáng)算法。仿真數(shù)據(jù)實(shí)驗(yàn)和復(fù)眼相機(jī)數(shù)據(jù)實(shí)驗(yàn)驗(yàn)證了推薦方法的正確性和有效性：在仿真數(shù)據(jù)實(shí)驗(yàn)中，推薦方法具有最高的PSNR性能和好的視覺效果；基于分辨率板的真實(shí)數(shù)據(jù)實(shí)驗(yàn)表明，推薦方法具有最好的分辨率增強(qiáng)效果，且在模糊去除、噪聲和干擾物抑制方面具有更好的性能。

[1] Tanida J, Kumagai T, Yamada K,. Thin Observation Module by Bound Optics (TOMBO): concept and experimental verification[J]., 2001, 40(11): 1806–1813.

[2] Carles G, Downing J, Harvey A R. Super-resolution imaging using a camera array[J]., 2014, 39(7): 1889–1892.

[3] Yue L W, Shen H F, Li J,. Image super-resolution: the techniques, applications, and future[J]., 2016, 128: 389–408.

[4] Guo Y H, Pu M B, Ma X L,. Advances of dispersion-engineered metamaterials[J]., 2017, 44(1): 3?22.

郭迎輝, 蒲明博, 馬曉亮, 等. 電磁超構(gòu)材料色散調(diào)控研究進(jìn)展[J]. 光電工程, 2017, 44(1): 3–22.

[5] Zalevsky Z, Mendlovic D.[M]. New York: Springer, 2004.

[6] Zhan S, Fang Q. Image super-resolution based on edge-enhancement and multi-dictionary learning[J]., 2016, 43(4): 40–47.

詹曙, 方琪. 邊緣增強(qiáng)的多字典學(xué)習(xí)圖像超分辨率重建算法[J]. 光電工程, 2016, 43(4): 40–47.

[7] Dong C, Loy C C, He K M,. Image super-resolution using deep convolutional networks[J]., 2016, 38(2): 295–307.

[8] Wang F, Wang W, Qiu Z L. A single super-resolution method via deep cascade network[J]., 2018, 45(7): 170729.

王飛, 王偉, 邱智亮. 一種深度級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)的單幀超分辨重建算法[J]. 光電工程, 2018, 45(7): 170729.

[9] Milanfar P.[M]. Boca Raton: CRC Press, 2011.

[10] Babacan S D, Molina R, Katsaggelos A K,. Variational Bayesian super resolution[J]., 2011, 20(4): 984–999.

[11] Villena S, Vega M, Molina R,. A non-stationary image prior combination in super-resolution[J]., 2014, 32: 1–10.

[12] Horisaki R, Nakao Y, Toyoda T,. A compound-eye imaging system with irregular lens-array arrangement[J]., 2008, 7072: 7072G.

[13] Hartley R, Zisserman A.[M]. 2nd ed. Cambridge: Cambridge University Press, 2003.

[14] Ng M K, Shen H F, Lam E Y,. A total variation regularization based super-resolution reconstruction algorithm for digital video[J]., 2007, 2007: 074585.

[15] Beal M J. Variational algorithms for approximate Bayesian inference[D]. London: The Gatsby Computational Neuroscience Unit, University College London, 2003.

[16] Dong C, Loy C C, He K,. Image Super-Resolution Using Deep Convolutional Networks [OL]. available from: http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html.

[17] Wang Z, Bovik A C. Mean squared error: love it or leave it? A new look at signal fidelity measures[J]., 2009, 26(1): 98–117.

[18] Mittal A, Moorthy A K, Bovik A C. No-reference image quality assessment in the spatial domain[J]., 2012, 21(12): 4695–4708.

Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution

Min Lei1,2,3,4, Yang Ping1,3,4*, Xu Bing1,3,4, LiuYong2

1Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China, Chengdu, Sichuan 610054, China;3Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;4University of Chinese Academy of Sciences, Beijing 100049, China

Spatial resolution enhancement of planar compound eye based on multi-image super-resolution

Overview:The planar compound eye imaging system uses multiple sub-apertures to image the scene. With a proper optical design, the planar compound eye has the characteristics of thin, light, and large field of view. However, because of the constraint of imaging sub-aperture size and spatial sampling rate of the image sensor, the image quality of each sub-aperture is low. How to fuse multiple sub-aperture images to obtain a high-resolution image is an urgent problem. Multi-image super-resolution theory uses multiple images with complementary information to reconstruct high spatial resolution images. However, existing theories usually use oversimplified motion models, and this motion model is not suitable for planar compound eye imaging. If the existing multi-image super-resolution theory is directly applied to the resolution enhancement of planar compound eye, the inaccurate relative motion estimation will reduce the performance of image resolution enhancement. In order to solve these problems, the motion model of the multi-image super-resolution is improved in the variational Bayesian framework, and the derived joint estimation algorithm is used to enhance the resolution of the planar compound eye. In the first stage of hierarchical Bayesian model, we use total variation (TV) model and non-informative prior model to model the latent high-resolution image and the motion vector, respectively. In the second stage, we use Gamma distribution to model the model parameters in the first stage. Instead of the oversimplified Euclidean motion model, we use the affine motion model, which is more suitable for planar compound eye imaging scenario. The correctness and effectiveness of the proposed method is verified by the simulation data experiments and the real compound eye data experiments. We report the experiments and analyses on simulated and real data. For the experiments on simulated data, the performance of the resolution enhancement method is quantitatively measured by the peak signal-to-noise ratio (PSNR). The proposed method is superior to the comparison methods in all simulated scenarios, especially in the middle and high signal to noise ratio scenarios. Better visual effects of the results also demonstrate the advantage of the proposed method. For the real data experiments, we first e USAF 1951 and ISO 12233 resolution charts as the target at a certain distance, and use the planar compound eye prototype to collect the compound eye images. Then, the resolution chart compound eye images are used to compare different resolution enhancement methods. The proposed method has better performance in preserving image details, suppressing noise and removing artifacts.

Citation: Min L, Yang P, Xu B,Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution[J]., 2020, 47(2): 180661

Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution

Min Lei1,2,3,4, Yang Ping1,3,4*, Xu Bing1,3,4, LiuYong2

1Key Laboratory of Adaptive Optics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;2School of Optoelectronic Science and Engineering, University of Electronic Science and Technology of China, Chengdu, Sichuan 610054, China;3Institute of Optics and Electronics, Chinese Academy of Sciences, Chengdu, Sichuan 610209, China;4University of Chinese Academy of Sciences, Beijing 100049, China

The planar compound eye imaging system uses multiple sub-apertures to image the scene. Due to the constraint of the imaging sub-aperture size and spatial sampling rate of the image sensor, the image quality of each sub-aperture is low. How to fuse multiple sub-aperture images for a high-resolution image is an urgent problem. Multi-image super-resolution theory uses multiple images with complementary information to reconstruct high spatial resolution image. However, existing theories usually adopt the oversimplified motion model which is not suitable for planar compound eye imaging. If the existing multi-image super-resolution theory is directly applied to the resolution enhancement of the planar compound eye, the inaccurate motion estimation will reduce the performance of image resolution enhancement. In order to solve these problems, the motion model of the multi-image super-resolution is improved in the variational Bayesian framework, and the derived joint estimation algorithm is used to enhance the resolution of the planar compound eye. The correctness and effectiveness of the proposed method is verified by the simulation data experiments and the real compound eye data experiments.Keywords: planar compound eye; resolution enhancement; motion model; variational Bayesian; multi-image super-resolution

Supported by National Innovation Fund of Chinese Academy of Sciences (CXJJ-16M208), the Preeminent Youth Fund of Sichuan Province, China (2012JQ0012), and the Outstanding Youth Science Fund of Chinese Academy of Sciences

TN911.73

A

10.12086/oee.2020.180661

: Min L, Yang P, Xu B,. Spatial resolution enhancement of planar compound eye based on variational Bayesian multi-image super-resolution[J]., 2020,47(2): 180661

2018-12-18；

2019-04-09

中國(guó)科學(xué)院創(chuàng)新基金項(xiàng)目(CXJJ-16M208)；四川省杰出青年基金項(xiàng)目(2012JQ0012)；中國(guó)科學(xué)院卓越科學(xué)家項(xiàng)目

閔雷(1986-)，男，博士研究生，主要從事光電圖像分辨率增強(qiáng)、圖像超分辨的研究。E-mail：minlei1986@163.com

楊平(1980-)，男，博士，研究員，主要從事自適應(yīng)光學(xué)、光場(chǎng)信號(hào)獲取與處理、激光光束凈化等研究。E-mail：pingyang2516@163.com

閔雷，楊平，許冰，等. 基于變分貝葉斯多圖像超分辨的平面復(fù)眼空間分辨率增強(qiáng)[J]. 光電工程，2020，47(2): 180661

* E-mail: pingyang2516@163.com