李曉光，楊飛璠，卓 力

(北京工業(yè)大學(xué)信息學(xué)部，北京 100124)

動(dòng)態(tài)場景下的圖像去模糊技術(shù)一直是圖像處理領(lǐng)域的研究熱點(diǎn)，是一種由模糊圖像復(fù)原出包含豐富邊緣輪廓信息的清晰圖像的重要技術(shù)手段，其利用數(shù)字信號處理方法，在不改變硬件設(shè)備的前提下復(fù)原缺失的高頻信息，具有成本低、原有圖像采集設(shè)備仍然可用等優(yōu)點(diǎn).

高質(zhì)量的圖像已經(jīng)成為一種主流的需求.近年來，隨著手持式移動(dòng)設(shè)備的普及，模糊已經(jīng)成為一個(gè)普遍存在的問題.此外，大部分基于高質(zhì)量圖像的應(yīng)用，如醫(yī)學(xué)影像、刑偵、遙感等領(lǐng)域，往往需要對圖像進(jìn)行復(fù)原處理[1].這使得圖像去模糊技術(shù)受到越來越多的關(guān)注.模糊圖像不僅影響主觀感受，還會影響后續(xù)的智能化分析.動(dòng)態(tài)場景下的非均勻模糊圖像復(fù)原問題是一項(xiàng)極具挑戰(zhàn)性的低層計(jì)算機(jī)視覺問題，如何從模糊圖像中復(fù)原出清晰且包含細(xì)節(jié)信息的潛像是圖像去模糊技術(shù)亟待解決的關(guān)鍵問題.其面臨的困難主要表現(xiàn)在：

1)圖像模糊的成因復(fù)雜，如由相機(jī)抖動(dòng)、目標(biāo)運(yùn)動(dòng)引起的運(yùn)動(dòng)模糊，場景深度變化引起的散焦模糊，以及在拍攝遠(yuǎn)距離場景時(shí)大氣湍流引起的模糊等.

2)不同類型的模糊通常是動(dòng)態(tài)隨機(jī)耦合存在，一幅模糊圖像往往包含多種模糊類型.

3)模糊核的空間變化，由于受到復(fù)雜運(yùn)動(dòng)及其他因素的影響，不同空間位置的模糊程度和模糊類型往往不盡相同.

圖像去模糊技術(shù)在安防、刑偵、交通、金融等領(lǐng)域均具有良好的應(yīng)用價(jià)值，同時(shí)，對人工智能、圖像處理、信息安全等相關(guān)學(xué)科的發(fā)展也具有重要的推動(dòng)作用.因此，圖像去模糊技術(shù)研究具有重要的理論意義和應(yīng)用前景.

圖像去模糊技術(shù)有著悠久的研究歷史.20世紀(jì)70年代，開始有學(xué)者開展基于重建模型的模糊圖像復(fù)原技術(shù)研究，并取得了一定進(jìn)展.近年來，深度學(xué)習(xí)技術(shù)的出現(xiàn)為圖像去模糊技術(shù)提供了新的思路和解決方案.

本文從傳統(tǒng)方法和基于深度學(xué)習(xí)的圖像去模糊方法兩方面進(jìn)行綜述，并對不同圖像去模糊算法的特點(diǎn)進(jìn)行分析和討論.最后，對圖像去模糊算法潛在的發(fā)展方向進(jìn)行了展望.

1 傳統(tǒng)的圖像去模糊方法

圖像去模糊是圖像處理和計(jì)算機(jī)視覺領(lǐng)域的一個(gè)傳統(tǒng)的基礎(chǔ)問題，具有較長的研究歷史.傳統(tǒng)的圖像去模糊方法可以分為非盲去模糊方法和盲去模糊方法2類.下面將從這2個(gè)方面對傳統(tǒng)的圖像去模糊算法進(jìn)行闡述.

1.1 非盲去模糊方法

傳統(tǒng)的圖像去模糊方法需要建立圖像獲取過程的觀測模型，然后再通過求解觀測模型的逆問題實(shí)現(xiàn)圖像去模糊.觀測模型描述了在該成像系統(tǒng)下從清晰圖像獲得模糊圖像的過程.從數(shù)學(xué)角度可以將模糊過程表示為原始清晰圖像與點(diǎn)擴(kuò)散函數(shù)(或者模糊核)的卷積.常用的模糊模型為

IB=K*IS+N

(1)

式中：IB、IS和N分別代表模糊圖像、清晰圖像和噪聲；*代表卷積；K代表由局部模糊核組成的模糊核矩陣，每個(gè)局部模糊核作用于清晰圖像IS生成一個(gè)模糊像素.

早期的傳統(tǒng)去模糊工作[2-4]主要集中于非盲去模糊任務(wù)，非盲復(fù)原任務(wù)的定義是：在模糊核已知的情況下，利用所觀測到的降質(zhì)圖像復(fù)原出原始圖像.即假設(shè)模糊核K已知.經(jīng)典的算法如Lucy-Richardson算法[2]、維納濾波算法[3]，通過對降質(zhì)圖像進(jìn)行反卷積操作估計(jì)清晰的潛像.此后，大部分非盲去模糊方法[4-5]是在Lucy-Richardson算法[2]和維納濾波算法[3]基礎(chǔ)上進(jìn)行改進(jìn)，實(shí)現(xiàn)對模糊圖像的復(fù)原.由于實(shí)際情況下，圖像的模糊核往往是未知的，因此，非盲去模糊方法對于解決實(shí)際問題往往存在一定的限制.

1.2 盲去模糊方法

圖像盲復(fù)原任務(wù)的定義是：在模糊核未知的情況下，通過已知的模糊圖像復(fù)原出清晰的原始圖像.由于圖像的模糊核K在真實(shí)環(huán)境中往往未知，因此圖像盲復(fù)原方法有著更廣泛的應(yīng)用.如今，圖像盲復(fù)原問題已經(jīng)成為一個(gè)備受關(guān)注且有價(jià)值的基本研究課題，廣泛應(yīng)用于醫(yī)療圖像、視頻監(jiān)控等領(lǐng)域.傳統(tǒng)圖像盲復(fù)原方法需要估計(jì)模糊核和清晰圖像.這是一個(gè)嚴(yán)重的病態(tài)問題，因此傳統(tǒng)方法往往需要利用圖像的先驗(yàn)信息或?qū)δ：龀黾僭O(shè).

傳統(tǒng)的圖像盲復(fù)原方法主要分為2類：基于最大后驗(yàn)概率(maximum a posterior，MAP)的方法[6-15]和基于變分貝葉斯(variational Bayesian，VB)框架的方法[16-19].這2種方法的主要不同點(diǎn)在于：基于MAP的方法具有模型簡單、數(shù)值算法高效以及先驗(yàn)選擇靈活等優(yōu)點(diǎn).基于VB框架的方法通過將原始圖像與模糊核的聯(lián)合后驗(yàn)概率在圖像空間邊際化，然后求解模糊核的邊際分布，進(jìn)而實(shí)現(xiàn)求解圖像盲復(fù)原問題.這種策略在低維度空間便可以完成相關(guān)參數(shù)估計(jì)，但是，邊際分布的推斷卻較為困難.

Fergus等[16]提出了一項(xiàng)圖像盲復(fù)原任務(wù)的開創(chuàng)性工作.該方法利用自然的清晰圖像滿足重尾分布(heavy-tailed distribution)這一統(tǒng)計(jì)特性，在已知觀測模型下，最大化原始圖像和模糊核的聯(lián)合后驗(yàn)概率，得到模糊核以及復(fù)原圖像.

Whyte等[6]根據(jù)自然圖像具有邊緣稀疏特點(diǎn)，并結(jié)合超拉普拉斯先驗(yàn)對圖像進(jìn)行建模.Kotera等[8]引入了超拉普拉斯先驗(yàn)以及L0范數(shù)約束.但是這類方法采用的先驗(yàn)?zāi)Ｐ筒⑽闯浞直磉_(dá)自然圖像的邊緣稀疏性，不利于精確評估模糊核，一旦估計(jì)錯(cuò)誤往往導(dǎo)致不可取的結(jié)果，比如振鈴效應(yīng)等.

一些方法[16,20]通常假設(shè)模糊是空間不變的.文獻(xiàn)[20]采用機(jī)器學(xué)習(xí)算法解決由單個(gè)模糊核引起的全局模糊.Fergus等[16]提出了一種針對相機(jī)抖動(dòng)引起的全局模糊的去模糊方法.文獻(xiàn)[7-9]假設(shè)模糊核局部線性，并利用簡單的參數(shù)先驗(yàn)?zāi)Ｐ涂焖俟烙?jì)模糊核.方法[10-11]采用迭代策略，利用參數(shù)先驗(yàn)?zāi)Ｐ停谥鸫蔚刑嵘烙?jì)模糊核和復(fù)原圖像的準(zhǔn)確性，該類算法的迭代次數(shù)沒有較為明確的標(biāo)準(zhǔn)，且迭代求解過程的時(shí)間復(fù)雜度高，往往影響模糊圖像復(fù)原的速度.

綜上所述，傳統(tǒng)方法所采用的模糊模型通常以簡化的理想條件為前提假設(shè)，當(dāng)退化模型不足以描述真實(shí)數(shù)據(jù)，或者模型估計(jì)不佳時(shí)，去模糊效果可能并不理想.大部分盲去模糊方法[21-30]的研究主要集中于解決簡單的目標(biāo)運(yùn)動(dòng)、相機(jī)平移、旋轉(zhuǎn)等因素產(chǎn)生的模糊，而真實(shí)動(dòng)態(tài)場景的模糊圖像往往更加復(fù)雜[31].因此，傳統(tǒng)盲復(fù)原方法對解決由復(fù)雜因素引起的模糊仍存在局限性.

因此，尋找一種新的思路與方法提升圖像去模糊技術(shù)的性能是亟待解決的關(guān)鍵問題.

2 基于深度學(xué)習(xí)的圖像去模糊方法

近年來，得益于深度學(xué)習(xí)的迅猛發(fā)展，越來越多的學(xué)者開始將深度學(xué)習(xí)技術(shù)應(yīng)用于圖像去模糊任務(wù).深度學(xué)習(xí)技術(shù)通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)隱含在數(shù)據(jù)內(nèi)部的關(guān)系，從而使得學(xué)習(xí)得到的特征具有更強(qiáng)的表達(dá)和泛化能力.基于深度學(xué)習(xí)的圖像去模糊方法可以分為3個(gè)階段：基于學(xué)習(xí)的模糊核估計(jì)方法、基于端到端的圖像去模糊方法和基于動(dòng)態(tài)網(wǎng)絡(luò)的圖像去模糊方法.下面將按照這3個(gè)階段對現(xiàn)有基于深度學(xué)習(xí)的圖像去模糊算法進(jìn)行闡述.

2.1 基于學(xué)習(xí)的模糊核估計(jì)方法

基于學(xué)習(xí)的模糊核估計(jì)方法[32-36]主要采用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)估計(jì)未知的模糊核，提高盲復(fù)原中模糊核估計(jì)的準(zhǔn)確性，然后再利用傳統(tǒng)反卷積方法得到復(fù)原圖像.

Schuler等[35]提出了采用CNN的圖像盲去模糊方法.該方法將去模糊步驟分為特征提取、模糊核估計(jì)以及清晰潛像復(fù)原3個(gè)步驟，并采用由粗到精(coarse-to-fine)的方式迭代優(yōu)化模糊圖像.該方法[35]采用高斯模糊核與清晰圖像卷積的方式獲得訓(xùn)練數(shù)據(jù)，因此該模型只適用于解決特定類型的模糊，對非均勻模糊圖像的復(fù)原仍有一定的局限性.文獻(xiàn)[32-33]提出了一種利用CNN預(yù)測局部圖像塊(patch)模糊核的去模糊方法.首先，生成候選模糊核集合；然后，訓(xùn)練CNN分類器預(yù)測局部圖像塊的模糊核，并利用最大似然估計(jì)和模糊核平滑先驗(yàn)得到整幅非均勻模糊圖像的模糊核；最后，利用反卷積方法復(fù)原清晰圖像.Yan等[36]對模糊核進(jìn)行參數(shù)化，通過分類和回歸分析對模糊核進(jìn)行估計(jì).這些方法[32-33,35-36]遵循傳統(tǒng)方法框架，使用CNN代替?zhèn)鹘y(tǒng)方法來估計(jì)未知的模糊核.這類算法的圖像復(fù)原質(zhì)量取決于模糊核估計(jì)的準(zhǔn)確性，一旦核估計(jì)錯(cuò)誤往往導(dǎo)致復(fù)原結(jié)果不理想.

2.2 基于端到端的圖像去模糊方法

最近，越來越多的研究開始轉(zhuǎn)向基于端到端的圖像去模糊方法.這類方法不需要估計(jì)模糊核，減少了由核估計(jì)錯(cuò)誤帶來的誤差，通過利用CNN搭建端到端的網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)模糊圖像與清晰圖像之間的特征映射.

Nah等[37]提出了基于深度多尺度CNN的動(dòng)態(tài)場景去模糊方法，以端到端的方式復(fù)原清晰圖像.該方法首次提出了多尺度網(wǎng)絡(luò)結(jié)構(gòu)，以迭代的方式提取圖像的多尺度信息，逐步復(fù)原清晰圖像.該結(jié)構(gòu)保留了細(xì)尺度(fine-scale)下的細(xì)節(jié)信息以及粗尺度(coarse-scale)下長距離間的信息依賴性.此外，在損失函數(shù)設(shè)計(jì)方面，該方法提出了多尺度損失函數(shù)來訓(xùn)練網(wǎng)絡(luò)，有效地提高了網(wǎng)絡(luò)的收斂速度.該方法對非均勻模糊圖像的復(fù)原效果有較大的提高，由于該網(wǎng)絡(luò)在每個(gè)尺度上均使用獨(dú)立的參數(shù)，使得模型訓(xùn)練的時(shí)間復(fù)雜度較高.

針對方法[37]存在的問題，Tao等[38]提出了共享參數(shù)的尺度遞歸網(wǎng)絡(luò)模型.該方法采用跨尺度共享網(wǎng)絡(luò)權(quán)值的方式對模型進(jìn)行訓(xùn)練，顯著降低了模型的訓(xùn)練難度，增加了模型的穩(wěn)定性.此外，該網(wǎng)絡(luò)結(jié)構(gòu)中的遞歸模塊能夠有效捕捉多尺度信息，并跨尺度復(fù)原圖像.該方法有效減少了網(wǎng)絡(luò)的可訓(xùn)練參數(shù)數(shù)量，提高了模型的訓(xùn)練速度.但共享權(quán)重的方式可能會使網(wǎng)絡(luò)丟失多尺度信息，不利于圖像細(xì)節(jié)信息的復(fù)原.

文獻(xiàn)[39]充分考慮了獨(dú)立參數(shù)網(wǎng)絡(luò)[37]和參數(shù)共享方案[38]的優(yōu)勢和不足，提出了參數(shù)選擇性共享模型.由于圖像的模糊程度會隨著圖像尺度的減小而減小，為了保留不同尺度的差異性信息，該方法在特征提取部分設(shè)置了獨(dú)立的網(wǎng)絡(luò)參數(shù)，而在非線性轉(zhuǎn)換部分采用共享網(wǎng)絡(luò)參數(shù)的設(shè)計(jì)，在減少網(wǎng)絡(luò)規(guī)模的同時(shí)，也保留了圖像的多尺度信息.該方法在GoPro數(shù)據(jù)集[37]上進(jìn)行測試，取得了較好的主觀和客觀結(jié)果.

2014年，生成對抗網(wǎng)絡(luò)(generative adversarial network，GAN)[40]被提出之后，相繼在圖像重建、醫(yī)學(xué)影像處理等諸多領(lǐng)域得到了廣泛的應(yīng)用.該網(wǎng)絡(luò)由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)組成，2個(gè)網(wǎng)絡(luò)以對抗的方式進(jìn)行訓(xùn)練.GAN在圖像生成[41]和圖像補(bǔ)全[42]等領(lǐng)域都表現(xiàn)出了不錯(cuò)的效果.模糊圖像復(fù)原是不適定性問題，因此需要利用先驗(yàn)知識對圖像進(jìn)行額外的約束.文獻(xiàn)[43]提出了一種基于數(shù)據(jù)驅(qū)動(dòng)判別先驗(yàn)的盲圖像去模糊方法.該方法利用了這樣一個(gè)圖像先驗(yàn)：一幅好的圖像更偏向于清晰而非模糊圖像.因此，該方法設(shè)計(jì)了一個(gè)基于CNN的二元分類器對圖像質(zhì)量進(jìn)行判斷，優(yōu)化網(wǎng)絡(luò)模型，提高復(fù)原效果.DeblurGAN算法[44]將GAN網(wǎng)絡(luò)引入到圖像去模糊任務(wù)中，該方法利用成對數(shù)據(jù)集進(jìn)行訓(xùn)練，取得了不錯(cuò)的復(fù)原效果.實(shí)驗(yàn)結(jié)果表明，該方法復(fù)原的圖像細(xì)節(jié)信息更為豐富，顯著提高了主觀視覺質(zhì)量.但是，復(fù)原圖像中具體紋理結(jié)構(gòu)還是難以復(fù)原，尚有很大的提升空間.在DeblurGAN算法[44]的基礎(chǔ)上，該團(tuán)隊(duì)提出了去模糊效果更為先進(jìn)的DeblurGAN-v2算法[45].該方法將空間金字塔網(wǎng)絡(luò)作為核心模塊搭建生成器.為了找到性能和效率之間的平衡，可選擇不同量級的網(wǎng)絡(luò)作為空間金字塔的骨干網(wǎng)絡(luò)，如Inception-ResNet-v2[46]、MobileNet V2[47]網(wǎng)絡(luò).該方法還設(shè)計(jì)了雙判別器結(jié)構(gòu)分別在全局和局部尺度評估復(fù)原圖像.相比于DeblurGAN方法[44]，該方法將復(fù)原圖像的PSNR值提高了0.9 dB，取得了較好的性能.這些方法顯示出GAN在圖像去模糊任務(wù)中的有效性.

但是，這類方法采用相同的網(wǎng)絡(luò)權(quán)重復(fù)原模糊圖像，方法過分依賴于數(shù)據(jù)驅(qū)動(dòng)，且缺乏對非均勻模糊的自適應(yīng)性，容易造成復(fù)原圖像的平均化.此外，這類方法在設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)的過程中缺乏對模糊圖像自身模糊特性的利用，僅依靠獨(dú)立的網(wǎng)絡(luò)學(xué)習(xí)模糊和清晰圖像之間的映射，缺乏對非均勻模糊特征的處理機(jī)制.

2.3 基于動(dòng)態(tài)網(wǎng)絡(luò)的圖像去模糊方法

隨著深度學(xué)習(xí)技術(shù)在圖像去模糊領(lǐng)域的不斷深入，越來越多的工作開始考慮結(jié)合非均勻模糊圖像特性來設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu).

視覺注意力機(jī)制能夠定位圖像中的目標(biāo)區(qū)域并捕捉感興趣的區(qū)域特征，目前已經(jīng)成功應(yīng)用于識別和分類問題.針對非均勻模糊圖像在不同空間位置的模糊程度及模糊類型存在差異這一特點(diǎn)，文獻(xiàn)[48]將視覺注意力機(jī)制應(yīng)用于圖像去模糊任務(wù)中，提出了針對動(dòng)態(tài)場景去模糊任務(wù)的注意力模塊和可變形卷積模塊.注意力模塊可以自適應(yīng)地學(xué)習(xí)模糊的空間位置特征，可變性卷積模塊用來處理幾何變化的空間結(jié)構(gòu)特征.實(shí)驗(yàn)證明，將2個(gè)模塊聯(lián)合應(yīng)用于現(xiàn)有網(wǎng)絡(luò)框架中，可有效提高算法的復(fù)原性能.

文獻(xiàn)[49]從模糊圖像的前景和背景模糊特征存在差異這一角度出發(fā)，提出了一種人體感知注意力引導(dǎo)的去模糊網(wǎng)絡(luò).該方法構(gòu)建了2個(gè)解碼網(wǎng)絡(luò)分別用于提取前景中人的模糊以及背景模糊，解碼網(wǎng)絡(luò)融合兩分支模糊信息重建清晰圖像.該方法與其他采用注意力機(jī)制方法的最大區(qū)別是，采用具有人體位置標(biāo)簽的數(shù)據(jù)對注意力模塊進(jìn)行有監(jiān)督訓(xùn)練，引導(dǎo)注意力模塊更好地關(guān)注于前景中人的模糊信息.

文獻(xiàn)[50]提出了一種簡單而有效的對不同操作進(jìn)行選擇的注意力模塊.該網(wǎng)絡(luò)模塊可根據(jù)輸入圖像的不同，通過注意力機(jī)制有選擇性地并行執(zhí)行多個(gè)操作.該方法通過調(diào)節(jié)模塊的數(shù)量，疊加形成深度CNN網(wǎng)絡(luò)，并通過梯度下降法更新網(wǎng)絡(luò)權(quán)重進(jìn)行端到端的訓(xùn)練.該方法能夠根據(jù)不同輸入圖像降質(zhì)程度的差異動(dòng)態(tài)調(diào)節(jié)操作的權(quán)重，自適應(yīng)復(fù)原圖像.

文獻(xiàn)[51]提出了一種門控融合CNN模塊.首先，該方法將特征提取步驟分解為2個(gè)獨(dú)立的并行分支.然后，通過門控機(jī)制動(dòng)態(tài)融合雙分支特征，避免因直接疊加而導(dǎo)致的特征利用率不高的問題，使模型自適應(yīng)調(diào)整網(wǎng)絡(luò)權(quán)重，提高復(fù)原效果.

上述方法結(jié)合真實(shí)場景下模糊圖像的特點(diǎn)，利用動(dòng)態(tài)網(wǎng)絡(luò)提高模糊圖像的復(fù)原效果，為后續(xù)的工作提供了一種可行的思路.

綜上所述，基于學(xué)習(xí)的核估計(jì)方法提高了盲復(fù)原任務(wù)中核估計(jì)的準(zhǔn)確性，但是這類算法一旦核估計(jì)錯(cuò)誤，往往導(dǎo)致復(fù)原結(jié)果不理想.基于端到端網(wǎng)絡(luò)的方法減少了核估計(jì)錯(cuò)誤帶來的誤差，依靠網(wǎng)絡(luò)學(xué)習(xí)模糊圖像和清晰圖像之間的映射關(guān)系.這類方法缺乏對非均勻模糊特征的處理機(jī)制，容易造成復(fù)原圖像平均化.基于動(dòng)態(tài)網(wǎng)絡(luò)的方法結(jié)合模糊圖像非均勻特性設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)，自適應(yīng)復(fù)原圖像，為解決圖像復(fù)原問題提供了新的思路.表1總結(jié)了不同圖像去模糊方法的優(yōu)缺點(diǎn).

表1 不同方法對比Table 1 Comparison of different methods

3 圖像去模糊常用數(shù)據(jù)集

數(shù)據(jù)是推動(dòng)圖像去模糊發(fā)展的關(guān)鍵因素之一.近年來，隨著深度學(xué)習(xí)在圖像處理領(lǐng)域的快速發(fā)展，對大規(guī)模可用數(shù)據(jù)的需求不斷提高.本文將對圖像去模糊任務(wù)的常用數(shù)據(jù)進(jìn)行總結(jié)概述.表2為有代表性的圖像去模糊數(shù)據(jù)集.

表2 圖像去模糊常用數(shù)據(jù)集Table 2 Popular non-uniform deblurring datasets

早期的圖像去模糊方法[33,35,52]采用模糊核卷積清晰圖像的方式獲得模糊圖像.文獻(xiàn)[35]將模糊核與ImageNet數(shù)據(jù)集中清晰圖像卷積的方式得到訓(xùn)練數(shù)據(jù).文獻(xiàn)[52]提出了應(yīng)用于圖像盲去模糊算法評價(jià)的基準(zhǔn)數(shù)據(jù)集KM-48，該數(shù)據(jù)集包含由4幅圖像與12個(gè)6D軌跡卷積生成的48幅模糊圖像.該數(shù)據(jù)集成為評估均勻模糊圖像去模糊的標(biāo)準(zhǔn)數(shù)據(jù)集.Sun等[33]從PASCAL VOC 2010[53]數(shù)據(jù)集中隨機(jī)抽樣1 000幅圖像作為清晰圖像，利用與模糊核卷積的方式構(gòu)建模糊-清晰圖像對.這類數(shù)據(jù)集僅包含均勻模糊圖像，對于解決真實(shí)情況下的圖像去模糊任務(wù)仍存在一定差距.

針對上述方法僅考慮均勻模糊圖像，缺乏對真實(shí)環(huán)境中復(fù)雜模糊的考慮，Nah等[37]構(gòu)建了更接近于真實(shí)模糊圖像的GoPro數(shù)據(jù)集.該方法通過對高頻相機(jī)采集的多個(gè)連續(xù)幀取平均的方法生成動(dòng)態(tài)模糊圖像.該數(shù)據(jù)集共包含3 214對大小為720×1 280分辨率的模糊-清晰圖像.其中2 103對用于訓(xùn)練，1 111對用于測試.GoPro數(shù)據(jù)集包含多種場景，可以模擬復(fù)雜的相機(jī)抖動(dòng)和物體運(yùn)動(dòng)產(chǎn)生的非均勻模糊，已經(jīng)成為評價(jià)動(dòng)態(tài)場景去模糊方法的標(biāo)準(zhǔn)數(shù)據(jù)集.

但是，GoPro數(shù)據(jù)集[37]也存在一些缺陷，如一些圖像存在較為嚴(yán)重的噪聲、較大范圍的平滑區(qū)域等缺點(diǎn).針對其存在的問題，Gao等[39]在GoPro數(shù)據(jù)集的基礎(chǔ)上提出了數(shù)據(jù)量更大的數(shù)據(jù)集，包含5 290對模糊-清晰圖像.該數(shù)據(jù)集采用了3種策略來避免上述問題.首先，該數(shù)據(jù)集為白天拍攝，有效地減少了圖像噪聲；然后，對有足夠細(xì)節(jié)的場景進(jìn)行采樣，避免圖像中存在大面積的平滑區(qū)域；最后，該數(shù)據(jù)集在獲取過程中避免記錄高速運(yùn)行的車輛或物體，而出現(xiàn)沒有對應(yīng)的清晰幀的情況.該數(shù)據(jù)集的提出，補(bǔ)充了GoPro數(shù)據(jù)集存在的缺陷，對提高模型的魯棒性有一定作用.

GoPro數(shù)據(jù)集[37]和Gao等[39]提出的數(shù)據(jù)集更多關(guān)注于大范圍場景下的模糊圖像，忽略了實(shí)際更為常見的前景中物體的運(yùn)動(dòng)的情況.為了充分捕捉被動(dòng)的設(shè)備干擾造成的動(dòng)態(tài)模糊，Shen等[49]提出了HIDE數(shù)據(jù)集，該數(shù)據(jù)集共8 422對模糊-清晰圖像，包含大范圍和近距離場景的模糊圖像.

通過對數(shù)據(jù)集的總結(jié)分析可以看出，模糊數(shù)據(jù)集的規(guī)模逐漸擴(kuò)大，模糊類型更加復(fù)雜，模糊場景逐漸豐富.從使用模糊核卷積得到的均勻模糊數(shù)據(jù)集，逐漸發(fā)展為使用真實(shí)數(shù)據(jù)合成的更接近于實(shí)際模糊的數(shù)據(jù)集.隨著數(shù)據(jù)集更加接近于真實(shí)場景的模糊，對算法的適應(yīng)性和魯棒性也提出了更高的要求.如何從模糊情況更為復(fù)雜的場景中復(fù)原出清晰且包含細(xì)節(jié)信息的圖像是當(dāng)前研究亟待解決的關(guān)鍵問題.

4 典型方法實(shí)驗(yàn)結(jié)果比較與分析

4.1 客觀結(jié)果比較與分析

KM-48數(shù)據(jù)集[52]為評估均勻模糊圖像去模糊的標(biāo)準(zhǔn)數(shù)據(jù)集，表3為近年來多種方法在KM-48數(shù)據(jù)集[52]上測試的客觀結(jié)果.從表3可以看出，相比于估計(jì)模糊核函數(shù)的方法，基于深度學(xué)習(xí)的去模糊方法能更好地復(fù)原圖像.

表3 KM-48數(shù)據(jù)集[52]上不同算法的客觀結(jié)果Table 3 Comparison of methods on KM-48 dataset[52]

GoPro數(shù)據(jù)集[37]作為更接近于真實(shí)模糊圖像的數(shù)據(jù)集已經(jīng)成為評估基于深度學(xué)習(xí)的去模糊算法的標(biāo)準(zhǔn)數(shù)據(jù)集.表4為近年在GoPro數(shù)據(jù)集[37]上測試的客觀結(jié)果.從表中可以看出，圖像去模糊方法隨著網(wǎng)絡(luò)設(shè)計(jì)的不斷優(yōu)化，圖像去模糊算法的性能也在不斷提高.

表4 GoPro數(shù)據(jù)集[37]上不同算法的客觀結(jié)果Table 4 Comparison of methods on GoPro dataset[37]

4.2 主觀結(jié)果比較與分析

本研究在GoPro測試集[37]上對現(xiàn)有3種最新的動(dòng)態(tài)場景去模糊方法[37,44-45]進(jìn)行了對比實(shí)驗(yàn).這些方法包括：DeblurGAN[44]、DeblurGAN-v2[45]以及Gao等[39]提出的方法.DeblurGAN[44]將生成對抗網(wǎng)絡(luò)應(yīng)用于圖像去模糊任務(wù)，該方法能夠較好地復(fù)原圖像細(xì)節(jié).DeblurGAN-v2[45]能夠復(fù)原出包含豐富的邊緣輪廓信息.Gao等[39]提出的算法為動(dòng)態(tài)場景去模糊算法，該方法在GoPro數(shù)據(jù)集[37]上實(shí)現(xiàn)了較好的主觀結(jié)果.

圖1為對比實(shí)驗(yàn)的主觀結(jié)果，從實(shí)驗(yàn)結(jié)果可見，DeblurGAN[44]對模糊有一定的復(fù)原效果，但對于模糊程度較為嚴(yán)重的圖像效果有限.從第1幅圖像可以看出，DeblurGAN-v2[45]的結(jié)果可能會導(dǎo)致恢復(fù)圖像的局部運(yùn)動(dòng)模糊的平均化.算法[39]能夠較好地復(fù)原物體運(yùn)動(dòng)帶來的非均勻模糊，得到了邊緣較為清晰的復(fù)原圖像.但從第1幅圖像可以看出，當(dāng)區(qū)域放大時(shí)墻上的字依然存在模糊現(xiàn)象.

圖1 GoPro測試集的主觀結(jié)果Fig.1 Subjective results of the GoPro test images

從主觀結(jié)果可以看出，隨著網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的不斷優(yōu)化，算法對于動(dòng)態(tài)模糊圖像的復(fù)原能力不斷提高，但對于模糊程度嚴(yán)重的圖像效果依然有限，未來仍有較大的提升空間.

5 結(jié)論與展望

本文對基于傳統(tǒng)方法和深度學(xué)習(xí)方法的圖像去模糊技術(shù)進(jìn)行了綜述與分析，比較了不同算法的優(yōu)勢與不足.現(xiàn)有的圖像去模糊算法對于解決復(fù)雜環(huán)境下的模糊圖像復(fù)原問題效果依然有限，未能充分滿足實(shí)際應(yīng)用需求.為突破技術(shù)瓶頸，展望了圖像去模糊技術(shù)今后的發(fā)展方向，在以下問題中尚存在著機(jī)遇與挑戰(zhàn).

1)基于動(dòng)態(tài)網(wǎng)絡(luò)的非均勻模糊圖像復(fù)原技術(shù).基于數(shù)據(jù)驅(qū)動(dòng)的端到端的深度學(xué)習(xí)模型在模糊圖像復(fù)原平均性能上取得了質(zhì)量提升.但是，這類網(wǎng)絡(luò)缺乏對具體圖像模糊特征的挖掘.在網(wǎng)絡(luò)中通過引入動(dòng)態(tài)機(jī)制，如注意力機(jī)制，強(qiáng)化學(xué)習(xí)模型，引入分階段的訓(xùn)練方式等，使網(wǎng)絡(luò)具有針對不同降質(zhì)特征，進(jìn)行自適應(yīng)模糊特征感知和動(dòng)態(tài)復(fù)原的功能，是目前動(dòng)態(tài)場景模糊圖像復(fù)原的技術(shù)趨勢.

2)大規(guī)模的模糊圖像數(shù)據(jù)集.數(shù)據(jù)是模糊圖像復(fù)原研究中重要的工具之一.尤其是深度學(xué)習(xí)技術(shù)出現(xiàn)以后，在訓(xùn)練樣本數(shù)據(jù)量足夠多的情況下，通?？梢愿子讷@得較好的復(fù)原效果，提高算法的泛化性.提出規(guī)模更大、模糊場景更為豐富、更接近于真實(shí)模糊的數(shù)據(jù)集對于提高算法性能起著至關(guān)重要的作用，也是當(dāng)前研究亟待解決的關(guān)鍵問題.

3)多種降質(zhì)因素聯(lián)合重建方法.實(shí)際應(yīng)用中采集到的真實(shí)模糊圖像往往受到多種類型的降質(zhì)因素影響，不同降質(zhì)因素隨機(jī)耦合在一起.如何對多種降質(zhì)因素復(fù)雜耦合的特點(diǎn)進(jìn)行降質(zhì)特征提取，自適應(yīng)復(fù)原圖像，是需要進(jìn)一步研究的問題，具有重要的理論意義和應(yīng)用價(jià)值.

4)任務(wù)驅(qū)動(dòng)的模糊圖像復(fù)原技術(shù).在真實(shí)場景中的圖像去模糊因不存在高質(zhì)量圖像，難以對復(fù)原結(jié)果進(jìn)行客觀評價(jià).因此，針對特定任務(wù)的模糊圖像復(fù)原任務(wù)，如文本模糊復(fù)原任務(wù)、人臉模糊復(fù)原任務(wù)等，利用圖像質(zhì)量提升帶來的應(yīng)用算法性能的提升來評價(jià)復(fù)原圖像質(zhì)量，也是近年來的趨勢.

5)基于深度學(xué)習(xí)的模糊圖像復(fù)原主要依賴有監(jiān)督的數(shù)據(jù)驅(qū)動(dòng)，需要借助成對的清晰圖像和模糊圖像數(shù)據(jù)集.目前雖然模糊圖像的產(chǎn)生過程更加接近真實(shí)情況，但是，數(shù)據(jù)集中所涵蓋的模糊情況依然有限.這嚴(yán)重限制了深度復(fù)原網(wǎng)絡(luò)模型的泛化能力.如何借助半監(jiān)督或非監(jiān)督學(xué)習(xí)技術(shù)實(shí)現(xiàn)動(dòng)態(tài)場景的模糊圖像復(fù)原，是未來的重要研究方向.