吳笑天，呂 博，劉 博，楊 航

（1.長春理工大學光電工程學院，吉林長春130022；2.中國科學院長春光學精密機械及物理研究所，吉林長春130022）

1 引 言

傳統(tǒng)的光學成像系統(tǒng)往往采用成像鏈路各個環(huán)節(jié)分離化的設計思路，其光學設計、傳感器驅動及面向任務的圖像處理都在局部范圍內優(yōu)化。這種設計方式能夠滿足消費類及部分低成像分辨率應用場合的要求，但是無法滿足高端工業(yè)及軍工領域對于高分辨率、高靈敏度、多維信息融合等特種應用需求，傳統(tǒng)的成像設計方式不再適用。因此，一種面向任務需求的全成像鏈路環(huán)節(jié)定向定制、全局優(yōu)化的成像方式應運而生，即計算成像。計算成像是幾何光學、波動光學、電子學和信息科學等學科的交叉融合，近年來備受學術界和產業(yè)界的關注。

計算成像系統(tǒng)在設計理念上強調面向任務背景需求的全局定制化設計。由于任務的多樣性，計算成像主要包括孔徑編碼、全息成像、光場成像、壓縮感知、計算鬼成像和散射介質成像等方法［1-2］。其中，單光子成像和計算鬼成像主要應用于遠紅外成像、深紫外成像和極弱光成像背景下的高空間采樣率成像［1］。其主要機理在于光的二階相干性。最早的單像素成像利用糾纏光子對的空間信息實現(xiàn)目標空間信息的探測［3］，而后發(fā)展的計算鬼成像則利用空間光調制器模擬光子的隨機性，采用單一像素探測器實現(xiàn)“單像素級”成像［4］。但是，無論單像素成像、計算鬼成像，還是后期進一步發(fā)展的對偶攝影［5］，都需要對場景進行多次投影采集（需要上萬次甚至更多）。雖然它們可以在極其微弱的成像條件下使用，卻難以實現(xiàn)動態(tài)目標的成像［1］。張玉葉等［6］提出了一種基于多設備多曝光圖像融合的計算成像方式，但是該方式除了增加系統(tǒng)成本之外，成像效果也易受多采集源配準精度的影響。弱光環(huán)境下的常規(guī)成像可以通過構建深度學習網(wǎng)絡模型實現(xiàn)細節(jié)的顯著增強，Chen等［7］通過對大量場景采集長短曝光圖像形成數(shù)據(jù)庫用于神經網(wǎng)絡的訓練，訓練后的神經網(wǎng)絡可以將弱光條件下拍攝的低對比圖像恢復為細節(jié)紋理清晰的正常圖像。該方法僅在訓練段使用了長短曝光的信息融合以形成訓練數(shù)據(jù)集，而在實施階段沒有用到長積分圖像的信息，因此可以理解為低照度條件下的圖像去噪及增強問題。

模糊圖像復原是計算成像方法的核心問題之一，直接決定并影響著系統(tǒng)最終的成像效果［8］。在傳統(tǒng)圖像處理領域，圖像復原算法雖然與成像鏈路的其他環(huán)節(jié)分離化設計［9-10］，但是許多方法依然對計算成像系統(tǒng)的實施具有借鑒和指導意義。近年來，圍繞圖像復原問題的研究主要包括兩類理論實現(xiàn)方式：基于優(yōu)化框架的復原方法和基于深度學習的復原方法?；趦?yōu)化框架的復原方法屬于一種物理模型驅動的理論方法。由于圖像復原問題是一個典型的病態(tài)問題，基于優(yōu)化框架的復原方法通常需要添加先驗約束并整合進優(yōu)化理論框架中，以使病態(tài)問題具有可解性。這些優(yōu)化先驗方法主要包括L0梯度［11］、梯度稀疏性［12-13］、暗通道［14］等。所采取的優(yōu)化框架主要包括邊緣化法（Marginalization Approach，MA）和最大后驗概率法（Maximum A Posteriori，MAP）。Pan等［14］利用暗通道的稀疏性提出一種求取暗通道的線性化方法以代替原有暗通道的求取，從而規(guī)避了原有暗通道非凸非線性對于優(yōu)化框架的影響，取得了較好的復原效果，并且適用于非均勻一致的盲復原效果。Whyte等［15］建立了相機拍攝隨機抖動的數(shù)學模型，并利用高速運動去模糊［16］的方法實現(xiàn)了非均勻一致的圖像復原?；谏疃葘W習的圖像復原方式屬于一種數(shù)據(jù)驅動型的理論方法，不同的數(shù)據(jù)驅動推斷的切入點及實現(xiàn)方式各有不同。Chakrabarti［17］等利用一種深度學習網(wǎng)絡實現(xiàn)模糊核傅里葉系數(shù)的估算；Li等［18］將神經網(wǎng)絡訓練用于MAP模型框架下的先驗信息，取得了良好的效果；Nah等［19］提出了一種多尺度卷積神經網(wǎng)絡，以端到端的方式實現(xiàn)模糊圖像的清晰化復原；Zhang等將循環(huán)神經網(wǎng)絡（Recurrent Neural Network,RNN）的特征提取優(yōu)勢與卷積神經網(wǎng)絡（Convolutional Neural Network,CNN）的權重學習特性相結合，實現(xiàn)了一種可用于非均勻運動模糊復原的神經網(wǎng)絡［20］。近年來，隨著生成對抗網(wǎng)絡（GAN）的不斷發(fā)展，忽略物理模型過程直接端到端生成復原圖像的實現(xiàn)方式也被應用在圖像去模糊領域［21］。然而，上述論文均為基于單幀圖像的去模糊復原方法。Yuan和Lee［22-23］等研究了基于多幀圖像的模糊復原方法，利用邊緣清晰幀的梯度信息實現(xiàn)了模糊幀的圖像復原。

針對低照度環(huán)境下高速運動物體的清晰成像問題，傳統(tǒng)成像方式難以通過積分時間的配置達到預期的效果，其原因在于低照度環(huán)境下，在孔徑光闌達到極限設計時，依然需要長積分時間獲取足夠的光通量以達到高信噪比成像的要求。但是長積分時間會導致高速運動物體模糊，進而影響后續(xù)的成像效果。

本文提出一種基于組合曝光的計算成像方式，在成像鏈路環(huán)節(jié)上將傳感器驅動設計與面向任務的圖像處理環(huán)節(jié)合并優(yōu)化。為了實現(xiàn)組合曝光圖像對的信息互補應用，采用一種基于EFF（Efficient Filter Flow）框架下由粗至精的全局非一致運動模糊核點擴散函數(shù)（Point Spread Function，PSF）求解方法，在求解過程中利用短積分時間的梯度信息和長積分時間的像素信息共同輔助模糊核的求解，最后利用全變分（Total Variation，TV）框架下的快速算法復原出高質量的清晰圖像。該方法能夠滿足低照度環(huán)境下高速運動物體的清晰成像需求，計算成像結果清晰，具有良好的主觀視覺效果。

2 成像原理及圖像復原模型

面向低照度微光條件下的高速目標運動成像問題，本文提出的計算成像方式需要將傳感器設計和圖像處理結合，形成面向任務需求的聯(lián)合優(yōu)化。因此，其成像方式的實現(xiàn)主要包括傳感器及硬件平臺和匹配的圖像復原算法兩部分的設計。

2.1 傳感器及硬件平臺的設計

傳感器及硬件平臺作為組合曝光計算成像的重要組成部分，需要定向定制，以實現(xiàn)特殊的組合曝光時序設計。

為了滿足低照度高靈敏成像及后續(xù)計算合成的需求，需要在高靈敏度（像元尺寸及量子轉化效率）和高幀頻（上限幀頻范圍）之間權衡。經過調研，本文選擇長光辰芯公司生產的GSENSE2020作為本系統(tǒng)的主傳感器，其主要性能指標如表1所示。相機的后端處理電路主芯片為Xilinx公司的K7系列芯片XC7K325T，輸出接口為標準Camlink-Full，相機系統(tǒng)樣機如圖1所示。

圖1 計算成像相機系統(tǒng)Fig.1 Computational imaging camera system

表1 GSENSE2020的主要性能指標Tab.1 Main indicators of GSENSE2020

該芯片在使用時具有正常高幀頻模式和長短組合曝光模式兩種工作模式，如圖2所示。

圖2 相機工作模式示意圖Fig.2 Schematic diagram of camera operation modes

正常高幀頻模式下，相機處于標定狀態(tài)，如圖2所示，此模式用于測量攝影高速物體所需的最短積分時間；在低照度環(huán)境下，積分時間與信噪比成反比。這里利用一種無參考圖像量化函數(shù)評價圖像的信噪比數(shù)值，以確定最低的積分時間配置，如式（1）所示：

經過試驗，下限信噪比數(shù)值設置為6 dB，以此確定系統(tǒng)的最低積分時間，上限不可超過高幀頻相機可接受的最大積分時間，在500 frame/s的模式下，積分時間最大可設置為2 ms。

長短組合曝光模式是系統(tǒng)正常的工作模式，長積分時間的設置需要綜合考慮高速運動物體在物方的空間分辨率、最大運行速度及成像系統(tǒng)焦距等信息，如圖3所示。

圖3 積分時間內的像移產生Fig.3 Image shift in integral time

2.2 圖像復原模型

本文的核心目的在于實現(xiàn)長積分時間觀測圖像的復原，其成像模型表述如下：

式中：O（i，j）為成像系統(tǒng)采集的長積分時間觀測圖像，（i，j）為觀測圖像空間的像素位置；I（m，n）為真值圖像，（m，n）為真值圖像空間的像素位置；K（m，n，i，j）為運動模糊SPF；N（i，j）為成像噪聲。由于高速運動物體的運動速度與背景明顯不一致，因此運動模糊SPF既與觀測圖像的像素空間位置有關，又與真值圖像的像素空間位置有關，K（m，n，i，j）表征了該全局非一致性。

雖然長短曝光的圖像對存在雙輸入源，即長積分時間圖像O（i，j）和短積分時間圖像O^(i，j)，但是圖像復原的直接目標僅在于實現(xiàn)長積分時間圖像O（i，j）的復原，而短積分時間圖像O^(i，j)由于信噪比的原因僅在模糊核估算階段提供額外的邊緣信息，不作為復原目標圖像呈現(xiàn)在式（2）中。因此在式（2）中，已知觀測的模糊O（i，j），未知真值圖像I（m，n），運動模糊SPFK（m，n，i，j）及成像噪聲N（i，j）。上述問題在數(shù)學上為典型的病態(tài)問題，本文采用基于優(yōu)化框架的復原方法，需要添加先驗約束并整合進優(yōu)化理論框架中，以使病態(tài)問題有解。

3 圖像復原算法

圖像復原是計算成像系統(tǒng)的核心部分，計算復原的輸出直接決定并影響著系統(tǒng)成像的最終成像效果。為了適配組合曝光成像采集模式，克服高速運動物體在成像背景中形成的非均勻一致運動模糊，合理利用長短積分時間圖像。本文提出了一種改進式EFF框架的全局非一致運動模糊核的估計算法及全變分框架下的快速復原算法。其中，EFF框架的全局非一致運動模糊核的估計算法主體借鑒了Whyte等［15］所使用的方法及文獻［16］的部分思路。模糊核迭代方法是在EFF框架下實施的，該框架由Hirsch等［24］提出，用于非一致去模糊的各種場合［15，26］。在EFF框架下實施迭代及復原的過程，能夠切合本系統(tǒng)非均勻一致運動模糊的特點。同時，本文對模糊迭代方法進行了一定的改進，使用短積分時間圖像和長積分時間圖像聯(lián)合實施模糊求解，以期獲得更為精確的模糊核估計。

3.1 模糊核的迭代估計

如圖4所示，圖像復原過程從整體上劃分為兩個部分：模糊核的迭代估計和已知估計模糊核的非盲圖像復原。模糊核迭代估計的具體實施步驟主要包括由低至高的迭代實施預處理、模糊核和真值圖像之間的交替估算。預處理及模糊核估計分別使用了短積分時間圖像和長積分時間圖像。

在EFF框架下，尺度由粗至精的實施，對于本文1 280×720分辨率的圖像，尺度為9級，每一級尺度的PSF的初始估計由上一次尺度的上采樣獲取。每一個尺度內的迭代實施實質相當于低精度的完整圖像復原過程，區(qū)別僅在于復原解卷積不需要高質量的圖像輸出。尺度由低至高的實施意義在于提升運算效率。每一個尺度內的迭代復原不需要較高的精度，本文設置為5次，最高尺度的最后一次為最終的非均勻一致的模糊核估計，非盲圖像復原的輸入。

3.1.1 預處理

圖4 模糊核估計流程Fig.4 Flow chart of kernel iterative estimation

預處理的意義在于獲取強邊緣圖像，而短積分圖像包含清晰的強邊緣紋理信息，使用該圖像作為預處理的輸入更為合理。同時，由于短積分時間的信噪比比較低，需要雙邊濾波、沖擊濾波和梯度提取3個子過程串聯(lián)實施，以便求解保留強邊緣的梯度圖像

沖擊濾波［25］和邊緣閾值提取操作用于提煉強梯度圖像用FuncShoGrThred來代表這一過程，即有：

3.1.2 模糊核的交替估算

式中Conveff代表著解卷積操作在EFF框架下實施的為L1范數(shù)正則化項代表了不同方向的偏微分操作，α*為權系數(shù)為當前迭代次數(shù)的模糊核估計。該目標函數(shù)的意義在于讓強梯度圖像與模糊核估計卷積后更接近于長積分圖像

3.1.3 真值圖像的交替估算

在迭代運算中，真值圖像的估算主要用于監(jiān)測反饋模糊核的估計效果。在已知模糊核估計基礎上，優(yōu)化目標函數(shù)如下：

式中?*∈{?0，?x，?y，?xx′，?xy′，?yy}代表不同方向不同階次的偏導算子，α*為其系數(shù)，β為正則化項的權系數(shù)。

上述迭代實施過程的中間結果如圖5所示。

圖5 模糊核迭代估計中的中間試驗結果Fig.5 Intermediate test results in fuzzy kernel iterative estimation

3.2 非盲圖像的最終復原

在經過迭代并最終獲得非均勻一致的模糊核估計Kˉfinal的基礎上，選擇常規(guī)的非盲圖像復原算法來實現(xiàn)這一過程。本文選用全變分框架下的快速算法［27］來完成復原工作，該方法能較好地復原圖像的邊緣輪廓。

全變差復原模型為：

其中D1和D2分別表示對x和y方向的偏導算子。在已知SPFK的情況下，論文［24］采用分離變量法，引入中間變量wi（i=1，2）求解上述最小化問題，如式（8）所示：

其中β是一個充分大的正數(shù)。這一優(yōu)化問題的優(yōu)點是，當兩個變量I和w中的任何一個是固定值時，相對于另一個變量最優(yōu)化問題具有低計算復雜度和高數(shù)值穩(wěn)定性的閉式公式。

4 試 驗

4.1 系統(tǒng)實現(xiàn)及實測圖像復原效果

使用2.1所述的計算成像樣機硬件系統(tǒng)，本文方法的復原效果如圖6所示。系統(tǒng)測試在10 Lux的光照環(huán)境下進行，短積分時間設置為100 us，拍攝效果如圖6（a）所示；長積分時間為4 ms，可見運動模糊，如圖6（b）所示；使用本文方法獲得的復原圖像為圖6（c）所示；模糊及復原圖像細節(jié)對比如圖6（d）和6（e）所示。

圖6 計算成像相機的成像效果Fig.6 Images captured by computational imaging camera

4.2 仿真試驗結果

Nah等［19］發(fā)布了一個開源數(shù)據(jù)集，該數(shù)據(jù)集使用GOPRO4相機以240 frame/s的幀率在自然場景中隨機拍攝高速的連續(xù)圖片序列，并從圖片序列中構建配對的真值圖像序列和模糊圖像序列。其中，模糊圖像序列的構建基于真值圖像臨近7～13幀隨機產生。該數(shù)據(jù)集為非均勻一致運動模糊提供了可供真值參考的依據(jù)，后續(xù)相關方法［20-21］均基于該數(shù)據(jù)集實現(xiàn)算法的評估與驗證。

本文基于該開源數(shù)據(jù)庫進行算法仿真。模糊圖像直接采用該數(shù)據(jù)集發(fā)布的圖片，然后將真值圖像灰度降低5倍并疊加均值灰度為20的高斯噪聲模擬低照度短積分圖像。本文方法的試驗效果如圖7所示。

圖7 分步試驗效果Fig.7 Step-by-step experimental results

由圖7可知，雖然短積分圖像的信噪比較低，但是短積分圖像僅在PSF的迭代階段提供邊緣信息，且邊緣信息使用前采用了式（3）所示的雙邊濾波和式（4）所示的沖擊濾波及梯度提取手段執(zhí)行預處理，很大程度上抑制了噪聲對圖像邊緣獲取的影響。因此，經過該短積分圖像的輔助所獲取的全局非一致的運動模糊PSF較為精確，主要表現(xiàn)在復原結果清晰可靠，無明顯圖像振鈴現(xiàn)象，具有良好的主觀視覺效果。

其他圖像的復原效果如圖8所示。從圖中可以看出，本文所述的圖像復原算法能夠利用長短積分時間圖像的信息獲得較好的全局非一致運動模糊PSF估計，進而實現(xiàn)清晰的圖像復原效果。

4.3 與其他圖像復原方法的對比

同樣基于該GOPRO數(shù)據(jù)庫，本文對比了基于優(yōu)化方法的L0 Sparse［11］方法，Dark Channel［14］方法和基于深度學習的Deep Multi-scale［19］和RNN+CNN［20］方法，客觀評價指標選取了圖像復原領域常用的峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似指數(shù)（Structural Similarity Index Measure，SSIM），指標評價結果如表2所示。圖像復原效果對比試驗結果如圖8所示，截取若干細節(jié)圖塊進行對比，如圖9所示。

上述數(shù)據(jù)及試驗結果表明，本文方法能夠有效抑制運動模糊，圖像紋理細節(jié)得到了明顯的改善且無明顯振鈴效果，客觀評價指標PSNR、SSIM較比原始降質圖像提升10%左右，整體性能指標優(yōu)于現(xiàn)有的非深度學習方法。對比表2中列舉的幾種圖像復原理論方法，本文方法在客觀指標評價及視覺細節(jié)的恢復上明顯優(yōu)于L0 Sparse方法；Dark Channel在客觀評價指標PSNR上與本文方法接近，但在SSIM指標上本文方法更優(yōu)。此外，該文所述方法在細節(jié)恢復上產生較多的振鈴效果，這是由于Dark Channel先驗在模糊復原優(yōu)化框架中，尤其在全局非一致的模糊圖像復原使用中并不十分理想，PSF估計并不準確，而這種振鈴的復原效果在PSNR評價指標中往往不能體現(xiàn)，而在SSIM指標中能夠有所體現(xiàn)；Deep Multi-scale法［19］在客觀評價指標及主觀復原效果與本文所述方法接近，但也丟失了一些細節(jié)信息。RNN+CNN法［20］在客觀評價指標及主觀視覺效果略優(yōu)于本文方法，但仔細觀察會發(fā)現(xiàn)，在局部區(qū)域沒有完全去除模糊效果。

這里需要指出的是：Deep Multi-scale法和RNN+CNN法屬于深度學習理論方法，即基于數(shù)據(jù)驅動型的圖像復原方法，在實際使用中往往需要執(zhí)行先期的數(shù)據(jù)預訓練才能夠部署使用，同時受到深度學習方法泛化能力的限制，往往不能在光照及其他場景環(huán)境發(fā)生變化時穩(wěn)定地實現(xiàn)各類場景的清晰化復原。

圖8 不同圖像復原方法的試驗對比Fig.8 Experimental comparison of different image restoration methods

圖9 不同圖像復原方法的試驗對比。第一列為長積分時間模糊圖像；第二列為短積分時間低信噪比圖像；第三列為L0稀疏表示的復原結果；第四列為暗通道法的復原結果；第五列為深度多尺度變換的復原結果；第六列為RNN與CNN的復原結果；第七列為本文復原結果；第八列為真值圖像Fig.9 Experimental comparison of different image restoration methods.The first column is a long integral time blur image；the second column is the image with short integration time and low SNR；The third column is the recovery result of L0 sparse;the fourth column is the recovery result of dark channel;the fifth column is the recovery result of deep multi-scale;the sixth column is the recovery result of RNN+CNN；the seventh column is the recovery result of this paper；and the eighth column is the true value image

表2 不同圖像復原方法的PSNR/SSIM指標對比Tab.2 Comparison of PSNR/SSIM indexes among different restoration methods

5 結 論

本文針對低照度條件下高速運動物體的攝影成像，提出一種基于計算成像的設計思路，在成像鏈路環(huán)節(jié)上將傳感器設計和圖像處理設計兩個環(huán)節(jié)聯(lián)合設計，提出一種基于長短組合曝光的計算成像方式及圖像復原算法。試驗結果表明，該計算成像方法能夠有效解決傳統(tǒng)成像方式下能量獲取和高速運動模糊之間的矛盾，所采集的圖像復原算法能夠有效抑制運動模糊，在圖像紋理細節(jié)上有明顯的改善且無明顯振鈴，客觀評價指標PSNR、SSIM較比原始降質圖像提升10%左右，整體性能指標優(yōu)于現(xiàn)有的非深度學習方法。該方法復原的圖像紋理清晰，具有良好的主觀視覺效果。

計算成像強調成像鏈路環(huán)節(jié)的全局優(yōu)化，本文在成像鏈路環(huán)節(jié)上選取了傳感器設計和圖像處理兩個環(huán)節(jié)展開聯(lián)合設計，并獲得了較好的復原結果。在光學設計中，孔徑光闌和軸外像差是一對矛盾體，但軸外像差校正同樣可以結合圖像復原處理［26，28］形成另一個思路的優(yōu)化設計。因此，后續(xù)工作是將光學設計環(huán)節(jié)的優(yōu)化融合進本計算成像鏈路框架中，以期進一步擴展低照度條件下高速攝影成像設備的動態(tài)范圍，實現(xiàn)光學設計、傳感器設計和圖像處理三者聯(lián)合的全局優(yōu)化。