鄭祥祥　張治安

摘要：光場相機(jī)能夠通過一次拍攝獲取包含空間和角度的四維信息。然而，光場圖像空間分辨率較低，角度分辨率也無法滿足應(yīng)用需求。針對此問題，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的光場圖像超分辨率重建方法，同時(shí)提高光場圖像的空間分辨率和角度分辨率。首先通過空間分辨率重建網(wǎng)絡(luò)恢復(fù)子孔徑圖像的高頻細(xì)節(jié)，然后根據(jù)子孔徑圖像位置，設(shè)計(jì)三種不同的角度分辨率重建網(wǎng)絡(luò)在子孔徑圖像間插入新的視角。實(shí)驗(yàn)結(jié)果表明，該文方法與其他先進(jìn)方法相比，在定性和定量評價(jià)方面均取得較好的重建效果。

關(guān)鍵詞：超分辨率重建；光場；卷積神經(jīng)網(wǎng)絡(luò)；空間分辨率；角度分辨率

1概述

光場成像作為一種新型成像技術(shù)，與傳統(tǒng)的二維成像技術(shù)相比，不僅記錄了光線的位置信息，還記錄了光線的方向信息，具有先拍照后聚焦的獨(dú)特優(yōu)勢。因此，光場成像已成為成像領(lǐng)域的研究熱點(diǎn)之一，并在計(jì)算機(jī)視覺領(lǐng)域得到廣泛應(yīng)用，如顯著性檢測、深度估計(jì)、目標(biāo)檢測與識別等。

光場相機(jī)通過在主透鏡和圖像傳感器之間插入微透鏡陣列實(shí)現(xiàn)對四維光場的采集，但是由于傳感器分辨率的限制，光場相機(jī)通過犧牲角度分辨率來換取角度分辨率。目前，光場相機(jī)一般具有較小的角度分辨率，且其空間分辨率也遠(yuǎn)低于傳統(tǒng)相機(jī)，提高光場圖像的分辨率對充分發(fā)揮光場相機(jī)的優(yōu)勢十分必要。

Bishop等人首次提出了光場圖像的超分辨率重建，利用深度圖和精確的相機(jī)內(nèi)部參數(shù)構(gòu)建微透鏡陣列光場相機(jī)成像模型，應(yīng)用盲反卷積對光場進(jìn)行恢復(fù)；Wanner和Goldluecke提出在TV框架下，利用光場EPI（EpipolarPlane Image）提取深度信息，將貝葉斯框架下的MAP估計(jì)作為數(shù)據(jù)項(xiàng)，TV模型作為能量函數(shù)的先驗(yàn)?zāi)Ｐ瓦M(jìn)行超分辨率重建；Mitra等人分析了EPI的低秩性與視差之間的關(guān)系，提出以混合高斯模型作為先驗(yàn)的超分辨率重建方法。然而，光場圖像間基線較窄且受到微透鏡畸變、漸暈等效應(yīng)的影響，這些因素限制了上述方法的應(yīng)用。

近年來，深度學(xué)習(xí)尤其是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）由于其出色的學(xué)習(xí)能力，已經(jīng)被成功地運(yùn)用到超分辨率重建、圖像理解等應(yīng)用。Dong等人將稀疏表示與多層非線性操作聯(lián)系起來，將CNN用于單幅圖像的超分辨率重建。Liao等人提出一種基于CNN的視頻超分辨率重建方法，先通過不同的光流估計(jì)參數(shù)得到輸入視頻序列的不同融合結(jié)果，然后通過CNN得到每個(gè)圖像塊的最佳融合結(jié)果，從而重建出高分辨率圖像。Yoon等人首次提出基于CNN的光場數(shù)據(jù)超分辨率重建，其網(wǎng)絡(luò)可分為空間分辨率重建卷積神經(jīng)網(wǎng)絡(luò)和角度分辨率重建卷積神經(jīng)網(wǎng)絡(luò)，空間分辨率重建卷積神經(jīng)網(wǎng)絡(luò)類似于文獻(xiàn)，沒有充分利用多視角圖像間的有用信息對空間分辨率進(jìn)行重建。

針對上述問題，本文設(shè)計(jì)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的光場超分辨率重建方法，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，該方法首先利用文獻(xiàn)處理視頻幀間信息的優(yōu)勢，通過CNN挖掘光場多視角圖像之間的有用信息，對光場圖像進(jìn)行空間分辨率的重建，然后將重建后的多視角圖像作為輸入進(jìn)行角度分辨率的重建。實(shí)驗(yàn)結(jié)果表明，本文方法相對目前現(xiàn)有光場超分辨率重建方法，在定量指標(biāo)和定性評價(jià)上均有所提升。