張俊峰 羅立民 舒華忠 伍家松

(東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,南京210096)(東南大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)和信息集成教育部重點(diǎn)實(shí)驗(yàn)室,南京211189)(東南大學(xué)中法生物醫(yī)學(xué)信息研究中心,南京210096)

?

基于先驗(yàn)信息的全變分圖像復(fù)原算法

張俊峰 羅立民 舒華忠 伍家松

(東南大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,南京210096)(東南大學(xué)計(jì)算機(jī)網(wǎng)絡(luò)和信息集成教育部重點(diǎn)實(shí)驗(yàn)室,南京211189)(東南大學(xué)中法生物醫(yī)學(xué)信息研究中心,南京210096)

為了提高全變分模型的圖像復(fù)原效果,提出一種基于先驗(yàn)信息的全變分圖像復(fù)原算法.首先,采用能夠有效保護(hù)濾波后圖像結(jié)構(gòu)信息的非局部均值算法對模糊退化圖像進(jìn)行濾波以減少其中所含噪聲,獲取濾波后的先驗(yàn)圖像信息.然后,構(gòu)建基于該先驗(yàn)信息的全變分圖像復(fù)原模型,該模型不僅保留了全變分模型對復(fù)原圖像邊界信息的保護(hù)優(yōu)勢,也保留了非局部均值的結(jié)構(gòu)信息保護(hù)優(yōu)勢.最后,采用分裂 Bregman交替方向乘子迭代算法對所提模型進(jìn)行優(yōu)化,得到復(fù)原后的圖像.實(shí)驗(yàn)結(jié)果表明,無論從主觀視覺效果方面,還是從峰值信噪比與結(jié)構(gòu)相似性客觀量化指標(biāo)方面對所復(fù)原圖像進(jìn)行評價(jià), 與其他算法相比,所提算法均能取得較好的復(fù)原效果.

圖像復(fù)原; 先驗(yàn)信息; 全變分; 非局部均值; 分裂Bregman

獲取的數(shù)字圖像易遭遇模糊退化,因此,圖像復(fù)原是數(shù)字圖像處理領(lǐng)域中一個(gè)重要的研究方向[1].圖像復(fù)原的目的是依據(jù)退化圖像恢復(fù)出理想圖像.圖像復(fù)原模型通常由數(shù)據(jù)保真項(xiàng)與約束項(xiàng)構(gòu)成.根據(jù)約束項(xiàng)內(nèi)容的不同,圖像復(fù)原分為基于圖像塊約束的復(fù)原和基于像素約束的復(fù)原兩大類.基于圖像塊約束的復(fù)原方法又分為基于變換域的復(fù)原[2]、基于低秩的復(fù)原[3]和基于稀疏表示的復(fù)原[4].

基于像素約束的圖像復(fù)原主要由全變分(TV)模型不斷改進(jìn)演變而來[5-6].它分為基于加權(quán)TV的復(fù)原[7]、基于高階TV的復(fù)原[8]以及基于非局部TV的復(fù)原[9-10].與基于圖像塊約束的復(fù)原相比,它具有較好地保持圖像邊界和運(yùn)算量小等優(yōu)點(diǎn).

本文提出基于先驗(yàn)信息的TV圖像復(fù)原算法,它不僅保留了TV復(fù)原模型對圖像邊界保護(hù)的優(yōu)點(diǎn),又兼顧了非局部均值對結(jié)構(gòu)信息保護(hù)的優(yōu)點(diǎn),從而減少了復(fù)原圖像中的偽影.

1 圖像復(fù)原問題描述

圖像模糊退化是一個(gè)原圖像與模糊核卷積并被噪聲污染的過程,其數(shù)學(xué)模型為

f=h*u+n

(1)

式中,u為退化前圖像;h為模糊核; *為卷積算子;n為噪聲;f為退化后圖像.根據(jù)模糊核h的不同,圖像模糊分為高斯模糊、平滑模糊、散焦模糊以及運(yùn)動模糊等不同類型.

由式(1)可知,圖像復(fù)原問題就是已知模糊圖像f的情況下求解u的過程.由于噪聲n未知,因此圖像復(fù)原問題是一個(gè)不確定問題.

對于不確定問題的求解,常用的方法是充分利用所求圖像的先驗(yàn)信息構(gòu)建模型進(jìn)行求解.基于TV的復(fù)原算法充分利用了所要復(fù)原圖像的梯度稀疏信息.盡管TV模型可以很好地保護(hù)圖像邊界,然而所復(fù)原圖像易產(chǎn)生塊狀偽影,這是由模糊退化過程中所引入噪聲n引起的.

2 基于先驗(yàn)信息的TV復(fù)原算法

基于以上分析,為了提高TV模型的復(fù)原效果,需要首先對所要復(fù)原的圖像f進(jìn)行濾波預(yù)處理,消除其中所含有的噪聲.因此,提出的算法依賴于對模糊圖像進(jìn)行濾波所得的先驗(yàn)圖像.對于先驗(yàn)圖像的獲取,本文采用非局部均值濾波算法,該算法能夠很好地保護(hù)圖像的結(jié)構(gòu)信息.

2.1 先驗(yàn)圖像獲取

非局部均值的思想是把圖像中的一個(gè)像素表示為以其為中心的一個(gè)較大鄰域內(nèi)所有像素的加權(quán)平均.假設(shè)以像素i為中心,半徑為L的方形鄰域表示為Si,其中所有像素值表示為

f(Si)={f(si,1),f(si,2),…,f(si,q),…,f(si,K)}T

(2)

式中,K表示搜索域內(nèi)像素的總數(shù),且K=(2L+1)×(2L+1);q表示索引符號,1≤q≤K;si,q為以像素i為中心的鄰域Si內(nèi)的第q個(gè)像素；f(si,q)表示si,q的像素值.據(jù)式(2),非局部均值的表達(dá)式為

(3)

(4)

其中,C(i)為歸一化因子;t為尺度參數(shù);Ga表示標(biāo)準(zhǔn)差為a的高斯核,具體計(jì)算方法見文獻(xiàn)[9].

2.2 算法模型

根據(jù)式(3)所求的先驗(yàn)圖像(搜索域的大小為21×21像素,匹配窗的大小為3×3像素),結(jié)合TV復(fù)原模型[5],提出的基于先驗(yàn)信息的TV復(fù)原算法模型為

(5)

式中,λ1,λ2為準(zhǔn)則參數(shù);r為分裂參數(shù),連接保真項(xiàng)與先驗(yàn)項(xiàng). TV(u)的表達(dá)式為

(6)

3 算法優(yōu)化

對模型(5)采用分裂Bregman算法進(jìn)行優(yōu)化[11].首先將式(6)中TV(u)重新記為

(7)

則式(5)變?yōu)?/p>

(8)

λ2‖dx,dy‖2+‖r-NLM(f)‖2+

(9)

式中,λ3為正參數(shù). 利用Bregman分裂, 式(9)的優(yōu)化模型可表示為

λ2‖dx,dy‖2+‖r-NLM(f)‖2+

(10)

式中,bx,by為輔助變量.式 (10)的優(yōu)化分為4個(gè)子優(yōu)化問題進(jìn)行.

1) 當(dāng)r,dx,dy,bx,by已知時(shí),對u的子優(yōu)化可表示為

(11)

其最小化對應(yīng)的歐拉-拉格朗日方程表示為

(12)

對其進(jìn)行快速傅里葉變換(FFT),整理后再進(jìn)行反傅里葉變換(IFFT), 可得u的解析式:

(13)

2) 當(dāng)u,r,bx,by已知時(shí),對dx,dy的子優(yōu)化為

(14)

對其用軟閾值算法求解[12],結(jié)果為

(15)

(16)

其中

(17)

3) 當(dāng)u,r,dx,dy已知時(shí),bx,by更新為

(18)

(19)

4) 當(dāng)u,dx,dy,bx,by已知時(shí),r對應(yīng)的子優(yōu)化為

(20)

對式(20) 用軟閾值收縮算法求解,其結(jié)果為

r= sig(h*u-NLM(f))·

max(abs((h*u-NLM(f))),0)+NLM(f)

(21)

式中,sig為指示函數(shù);abs為絕對值函數(shù).

綜上所述,模型(5)的優(yōu)化過程見算法1,其中N為最大迭代次數(shù),ε為相對誤差閾值．

算法1 基于先驗(yàn)信息的TV復(fù)原算法

輸入:模糊退化圖像f.

輸出:復(fù)原圖像u.

設(shè)置:λ1,λ2,λ3.

初始化:k=0,f=0,r=0,dx=0,dy=0,bx=0,by=0.

1) 計(jì)算先驗(yàn)圖像NLM(f).

2) 分裂Bregman迭代

whilekε

利用式(13)、(15)、(16)更新u,dx,dy;

利用式(18)、(19)、 (21)更新bx,by,r;

k=k+1;

end

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)設(shè)置

為驗(yàn)證所提算法的性能,選擇Jetplane, Lake, Lenna, Cameraman四幅測試圖像進(jìn)行高斯、平滑、運(yùn)動以及散焦模糊下的復(fù)原實(shí)驗(yàn),模糊參數(shù)設(shè)置見表1.其中,高斯、平滑以及運(yùn)動模糊的設(shè)置參照文獻(xiàn)[13],散焦模糊參照文獻(xiàn)[14].

表1 各種圖像退化設(shè)置

4.2 實(shí)驗(yàn)結(jié)果

在主觀視覺效果評價(jià)方面,圖1給出了Cameraman圖像的復(fù)原結(jié)果.由圖可見,基于全變分所復(fù)原的圖像過于平滑,非局部均值變分算法的復(fù)原圖像中草坪部分引入了方法噪聲,而本文所提算法成功克服了這些弱點(diǎn).

在客觀度量方面,利用PSNR和SSIM指標(biāo)對本文算法的復(fù)原結(jié)果進(jìn)行了度量,并與TV[6]以及非局部TV(NLTV)算法復(fù)原圖像的度量結(jié)果進(jìn)行了對比[10].圖像的詳細(xì)復(fù)原情況見表2,可看出所提算法取得了較好的復(fù)原效果.

(a) 模糊圖像

(b) TV

(c) NLTV

(d) 本文算法

利用所提算法對不同參數(shù)的敏感性進(jìn)行了實(shí)驗(yàn)分析.λ1分別設(shè)置為1, 2, 3, 4;λ2與λ3分別設(shè)置為0.1,0.3, 0.5, 0.7.圖2給出了不同參數(shù)下所復(fù)原的圖像,表3給出了相應(yīng)的PSNR與SSIM.從表3中可看出,所提模型對參數(shù)λ2較為敏感,因此試驗(yàn)參數(shù)的調(diào)整主要關(guān)注λ2.

為了驗(yàn)證不同標(biāo)準(zhǔn)差噪聲下所提算法的復(fù)原效果,本文將標(biāo)準(zhǔn)差σ設(shè)為3,4,5,6,7,分別進(jìn)行了實(shí)驗(yàn).表4給出了復(fù)原圖像的PSNR和SSIM結(jié)果,可看出,隨著噪聲標(biāo)準(zhǔn)差的遞增,3種算法的復(fù)原效果均變差,但在標(biāo)準(zhǔn)差一定的情況下,所提算法仍然占優(yōu).

表2 復(fù)原圖像的PSNR與SSIM

(a)λ1=1

(b)λ1=2

(c)λ1=3

(d)λ1=4

(e)λ2=0.1

(f)λ2=0.3

(g)λ2=0.5

(h)λ2=0.7

(i)λ3=0.1

(j)λ3=0.3

(k)λ3=0.5

(l)λ3=0.7

圖2 不同參數(shù)下平滑模糊Cameraman圖像的復(fù)原結(jié)果

表3 不同參數(shù)下平滑模糊Cameraman復(fù)原圖像的PSNR與SSIM

表4 不同噪聲標(biāo)準(zhǔn)差下平滑模糊Cameraman復(fù)原圖像的PSNR與SSIM

σ34567PSNR文獻(xiàn)[6]33．0932．4031．8431．3931．00文獻(xiàn)[10]32．7131．9531．2930．8030．31本文算法34．2833．4932．8332．2031．79SSIM文獻(xiàn)[6]0．920．910．900．900．89文獻(xiàn)[10]0．900．910．880．870．86本文算法0．930．920．910．900．89

5 結(jié)語

本文提出了一種基于先驗(yàn)信息的TV圖像復(fù)原算法.首先,采用非局部均值算法對模糊退化圖像進(jìn)行濾波以減少其中所含噪聲,獲得濾波后的先驗(yàn)圖像.然后,根據(jù)此先驗(yàn)信息構(gòu)建基于先驗(yàn)信息的TV復(fù)原模型.最后,采用分裂Bregman迭代算法對所提模型進(jìn)行優(yōu)化,得到復(fù)原后的圖像.研究結(jié)果表明,與其他算法相比,該算法能取得較好的復(fù)原效果.

References)

[1]Sonka M, Hlavac V, Boyle R.Imageprocessing,analysis,andmachinevision[M]. 4th ed. Stanford, CA, USA: Cengage Learning, 2014:161-165.

[2]Averbuch A, Neittaanm?ki P, Zheludev V. Periodic spline-based frames for image restoration [J].InverseProblemsandImaging, 2015, 9(3): 661-707.

[3]Huang C, Ding X, Fang C, et al. Robust image restoration via adaptive low-rank approximation and joint kernel regression [J].IEEETransactionsonImageProcessing, 2014, 23(12): 5284-5297. DOI:10.1109/TIP.2014.2363734.

[4]Dong W, Zhang L, Shi G, et al. Nonlocally centralized sparse representation for image restoration [J].IEEETransactionsonImageProcessing, 2013, 22(4): 1620-1630. DOI:10.1109/TIP.2012.2235847.

[5]Rudin L I, Osher S, Fatemi E. Nonlinear total variation based noise removal algorithms [J].PhysicaD, 1992, 60(1): 259-268. DOI:10.1016/0167-2789(92)90242-f.

[6]Beck A, Teboulle M. Fast gradient-based algorithms for constrained total variation image denoising and deblurring problems [J].IEEETransactionsonImageProcessing, 2009, 18(11): 2419-2434. DOI:10.1109/TIP.2009.2028250.

[7]Liu X. Weighted total generalised variation scheme for image restoration [J].IETImageProcessing, 2016, 10(1): 80-88. DOI:10.1049/iet-ipr.2015.0013.

[8]Lü X G, Song Y Z, Wang S X, et al. Image restoration with a high-order total variation minimization method[J].AppliedMathematicalModelling, 2013, 37(16): 8210-8224. DOI:10.1016/j.apm.2013.03.028.

[9]Buades A, Coll B, Morel J M. A review of image denoising algorithms, with a new one [J].MultiscaleModeling&Simulation, 2005, 4(2): 490-530. DOI:10.1137/040616024.

[10]Lou Y, Zhang X, Osher S, et al. Image recovery via nonlocal operators [J].JournalofScientificComputing,2010, 42(2): 185-197. DOI:10.1007/s10915-009-9320-2.

[11]Chen H, Wang C, Song Y, et al. Split Bregmanized anisotropic total variation model for image deblurring [J].JournalofVisualCommunicationandImageRepresentation, 2015, 31: 282-293. DOI:10.1016/j.jvcir.2015.07.004.

[12]Chambolle A, De Vore R A, Lee N Y, et al. Nonlinear wavelet image processing: Variational problems, compression, and noise removal through wavelet shrinkage [J].IEEETransactionsonImageProcessing, 1998, 7(3): 319-335. DOI:10.1109/83.661182.

[13]Gonzalez R C, Woods R E, Eddins S L.DigitalimageprocessingusingMatlab[M]. Bergen County, NJ, USA: Pearson Education, 2004:141-193.

[14]Hansen P C, Nagy J G, O’Leary D P.Deblurringimages:Matrices,spectra,andfiltering[M]. Philadelphia, PA, USA: Society for Industrial and Applied Mathematics, 2006:21-29.

Total variation image restoration algorithm based on prior information

Zhang Junfeng Luo Limin Shu Huazhong Wu Jiasong

(School of Computer Science and Engineering, Southeast University, Nanjing 210096, China)(Key Laboratory of Computer Network and Information Integration of Ministry of Education, Southeast University, Nanjing 211189, China)(Centre de Recherche en Information Biomédicale Sino-Francais, Southeast University, Nanjing 210096, China)

In order to improve the performance of image restoration of the total variation (TV) model, an improved TV image restoration algorithm based on prior information is proposed. First, the nonlocal means (NLM) filtering algorithm, which can effectively protect the structural information of the filtered image, is employed to reduce the noise within the image to restore. Thus, the filtered prior image information is obtained. Then, an improved total variation restoration model based on the obtained prior information is established. The proposed model can not only maintain the TV model’ advantage of protecting the boundary information of restorated image, but also maintain the NLM model’ advantage of protecting the structure information. Finally, the proposed model is optimized by the split Bregman alternating direction multiplier iteration algorithm and the restored image is obtained. The experimental results show that compared with other algorithms, the proposed algorithm achieves better restoration effect in terms of the subjective visual effect and the objective quantitative indices such as peak signal to noise ratio (PSNR) and structural similarity (SSIM).

image restoration; prior information; total variation; nonlocal mean; split Bregman

10.3969/j.issn.1001-0505.2016.06.004

2016-04-05. 作者簡介: 張俊峰(1985—),男,博士生;羅立民(聯(lián)系人),男,博士,教授,博士生導(dǎo)師, luo.list@seu.edu.cn.

國家重點(diǎn)基礎(chǔ)研究發(fā)展計(jì)劃(973計(jì)劃)資助項(xiàng)目(2010CB732503)、國家自然科學(xué)基金資助項(xiàng)目(61201344).

張俊峰,羅立民,舒華忠,等.基于先驗(yàn)信息的全變分圖像復(fù)原算法[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2016,46(6):1132-1136.

10.3969/j.issn.1001-0505.2016.06.004.

TP391

A

1001-0505(2016)06-1132-05