翟 艷，潘振寬，魏偉波

(青島大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，山東 青島 266071)

1 引言

圖像修復(fù)又稱圖像修補(bǔ)、圖像補(bǔ)全、圖像插值，是圖像處理的最基本問(wèn)題之一[1]。變分方法是圖像處理、圖像分析的重要方法，可有效實(shí)現(xiàn)圖像修復(fù)、分割、重建等[2-4]。圖像修復(fù)是根據(jù)圖像中存在的信息恢復(fù)出破損圖像丟失的信息，其變分模型[5]通常借助預(yù)先定義的掩模函數(shù)標(biāo)記破損區(qū)域以構(gòu)造能量泛函，利用圖像擴(kuò)散機(jī)制[6]將已有的圖像信息擴(kuò)散到破損區(qū)域，能量泛函中的規(guī)則項(xiàng)決定著恢復(fù)后圖像的質(zhì)量[7-8]。

針對(duì)小破損非紋理圖像的修復(fù)問(wèn)題，Chan等[9]將經(jīng)典的總變差模型(TV， Total Variation)推廣為變分圖像修復(fù)模型，該模型繼承了TV模型的邊緣保持特點(diǎn)，但也使得恢復(fù)后的圖像呈現(xiàn)階梯效應(yīng)。自然的改進(jìn)方法是引入高階導(dǎo)數(shù)的變分模型，如Chan 等[10]提出的基于曲率驅(qū)動(dòng)擴(kuò)散(Curvature-Driven Diffusions，CDD)的高階變分模型，和基于歐拉彈性能(Euler’s Elastica，EE)的圖像修復(fù)變分模型[11-12]。Lysaker等[13]則提出了基于Bounded Hessian (BH)的二階變分模型可同時(shí)保持圖像邊緣與光滑特征，可用于圖像噪聲去除[14]及圖像修復(fù)[15]。作為對(duì)BH模型的拓展，Bredies、Kunisch和Pock[16]提出了總廣義變差變分模型(Total Generalized Variation，TGV)，進(jìn)一步提高了恢復(fù)圖像質(zhì)量，并應(yīng)用于大破損圖像的修復(fù)[17]。

TGV模型以Hessian矩陣為基礎(chǔ)，該矩陣是梯度的雅可比矩陣。本文擬將TGV模型的Hessian矩陣修改為單位法矢量的雅可比矩陣，使得圖像邊緣處擴(kuò)散系數(shù)接近零，從而達(dá)到圖像光滑與邊緣的同時(shí)保持的目的。為此，本文在分析BH模型和TGV模型[18]基礎(chǔ)上提出了基于單位法矢量雅可比的總廣義變差圖像修復(fù)模型(Total Generalized Variation Based on Jacobian of Normal，TGVJN)來(lái)提升大破損圖像的修復(fù)精度。模型采用的交替方向乘子法是求解具有可分結(jié)構(gòu)的凸優(yōu)化問(wèn)題的重要方法，近年來(lái)大量應(yīng)用在數(shù)據(jù)分析處理領(lǐng)域。通過(guò)引入多個(gè)輔助變量、拉格朗日乘子及懲罰參數(shù)設(shè)計(jì)相應(yīng)的交替方向乘子法(ADMM， Alternating Direction Method of Multipliers)實(shí)現(xiàn)模型快速求解。最后，對(duì)所提出模型進(jìn)行一系列數(shù)值實(shí)驗(yàn)來(lái)驗(yàn)證其圖像修復(fù)效果。

2 相關(guān)研究工作基礎(chǔ)

2.1 BH模型

BH模型利用圖像強(qiáng)度Hessian矩陣的Frobenius范數(shù)對(duì)圖像進(jìn)行去噪或修復(fù)處理。該模型的能量泛函可以寫(xiě)成如下形式

(1)

其中f代表輸入的圖像，u代表恢復(fù)后的圖像，α是懲罰參數(shù)，且必須滿足條件α>0。對(duì)于二維圖像，采用dx來(lái)代表dx1dx2，圖像強(qiáng)度u的Hessian矩陣為

?(?u)

(2)

2.2 TGV模型

總廣義變差模型的二階規(guī)則項(xiàng)形式為

(3)

(4)

總廣義變差模型可以推廣應(yīng)用于圖像修復(fù)等方面，該模型利用破損區(qū)域的邊緣信息沿梯度方向擴(kuò)散對(duì)破損區(qū)域內(nèi)部進(jìn)行修復(fù)[19]。二階TGV修復(fù)模型的能量泛函極值問(wèn)題為

(5)

?為梯度算子，α，β是懲罰參數(shù)。該能量泛函中的第二項(xiàng)和第三項(xiàng)分別作為一階和二階規(guī)范，這使得模型具有良好的邊緣保持特性和光滑性。

3 基于法矢量雅可比的總廣義變差模型-TGVJN

(6)

α，β是兩個(gè)懲罰參數(shù)，χD作為掩模函數(shù)用來(lái)標(biāo)記破損區(qū)域。圖像中破損區(qū)域D標(biāo)記為0，非破損區(qū)域Ω/D標(biāo)記為1 。考慮到高階模型的計(jì)算復(fù)雜性，采用交替方向乘子法來(lái)提高計(jì)算效率，下面引入一些輔助變量對(duì)其進(jìn)行求解

w=?u

(7)

(8)

q=ε(p)

(9)

v=p-n

(10)

為了避免計(jì)算中直接使用約束(8)帶來(lái)的復(fù)雜性，可將其松弛為如下格式

|w|-w·n≥0

(11)

通過(guò)引入拉格朗日乘子λ1，λ2，λ3，λ4和懲罰參數(shù)μ1，μ2，μ3，μ4，能量泛函可以寫(xiě)成増廣拉格朗日泛函形式

(12)

在此基礎(chǔ)上，通過(guò)設(shè)計(jì)交替方向乘子法來(lái)優(yōu)化迭代方案，并將原泛函分解為一系列的最小化子問(wèn)題。在每次循環(huán)迭代中，依次考慮變量u，p，w，n，q，v最小化問(wèn)題。各變量依次迭代結(jié)束之后，拉格朗日乘子會(huì)進(jìn)行更新

(13)

(14)

(15)

(16)

在交替求解變量的極小值過(guò)程中，變量u，p，n采用高斯-賽德?tīng)柕椒ㄇ蠼庾訂?wèn)題得到對(duì)應(yīng)的歐拉-拉格朗日方程，而w，v，q的子問(wèn)題具有相同的格式，可以通過(guò)廣義軟閾值公式直接得到計(jì)算結(jié)果。

通過(guò)求解u的子問(wèn)題，得到的歐拉-拉格朗日方程可以寫(xiě)成以下形式

(17)

計(jì)算變量w的子問(wèn)題，采用廣義軟閾值公式可以得到如下形式的解

(18)

通過(guò)變分方法可以求解得到關(guān)于變量p的歐拉-拉格朗日方程

(19)

變量v，q可以分別通過(guò)廣義軟閾值公式計(jì)算得到，結(jié)果如下所示

(20)

(21)

由于變量n還需要滿足約束|n|≤1，所以在得到歐拉-拉格朗日方程之后要對(duì)其進(jìn)行一次投影來(lái)提高精確度

(22)

本文算法求解步驟如下：

輸入：原始破損圖像f

輸出：修復(fù)圖像u

1)初始化，將變量u，p，w，n，q，v值設(shè)為0，拉格朗日乘子λ1，λ2，λ3，λ4值設(shè)置為0，懲罰參數(shù)α，β，μ1，μ2，μ3，μ4>0。

2)在每步迭代中交替計(jì)算變量并更新拉格朗日乘子。

3)迭代直至滿足收斂條件，得到u。

其算法流程圖如圖1所示。

圖1 算法流程圖

4 實(shí)驗(yàn)結(jié)果與分析

本文所有實(shí)驗(yàn)在PC(Intel Core i5-6500 CPU @3.20GHz，4.00GB內(nèi)存)上完成，編程環(huán)境為 MATLAB R2016a。為了驗(yàn)證提出模型的有效性，下面將給出經(jīng)典BH模型與TGV模型及本文改進(jìn)的TGVJN模型的去噪及破損圖像修復(fù)的實(shí)驗(yàn)對(duì)比，三種模型都采用交替方向乘子法設(shè)計(jì)實(shí)現(xiàn)。利用峰值信噪比(PSNR)、結(jié)構(gòu)相似性指數(shù)(SSIM)和均方根誤差(RMSE)三個(gè)參數(shù)對(duì)去噪和修復(fù)模型進(jìn)行了客觀的比較，其中PSNR和SSIM越高表明處理后的圖像越接近原始圖像，RMSE則相反。拐角、邊緣保持及對(duì)比度等特性在下方實(shí)驗(yàn)中給出了詳細(xì)展示。

在實(shí)驗(yàn)分析之前，先給出本文模型的主要參數(shù)取值范圍。α，β是模型參數(shù)，范圍約在：1-1000。其中α作為懲罰參數(shù)將當(dāng)前項(xiàng)值近似為0，β約束模型中的規(guī)則項(xiàng)，控制圖像擴(kuò)散強(qiáng)度。μ1，μ2，μ3，μ4是算法設(shè)計(jì)中引入的懲罰參數(shù)，一般情況下需要設(shè)置較大的值，但實(shí)驗(yàn)分析后發(fā)現(xiàn)將其設(shè)置的過(guò)大容易弱化模型中其它項(xiàng)的影響。故在此模型設(shè)置懲罰參數(shù)μ1：1-100，μ2=1，μ3=1，μ4=0.1。

4.1 去噪實(shí)驗(yàn)結(jié)果與分析

圖2直觀地展示了各個(gè)模型保持分段常值圖像的邊緣效果。(a)是加入了0.01方差的高斯噪聲圖像，(d)，(f)和(h)是各模型去噪結(jié)果同原圖的誤差圖。理想狀態(tài)下誤差圖中不應(yīng)該包含任何圖像信息，這組實(shí)驗(yàn)直觀展示了模型對(duì)圖像對(duì)比度的保留能力。與其它兩個(gè)模型相比，BH模型的去噪效果并不理想，且邊緣模糊。(d)圖條形邊界處存在的豎線證明BH模型在去噪過(guò)程中會(huì)丟失一些邊緣信息。(e)和(g)直觀說(shuō)明TGV模型和本文提出的TGVJN模型都能夠有效的去除噪聲且平滑效果顯著，(f)和(h)的誤差分析說(shuō)明本文提出的TGVJN模型的誤差圖包含了較少的邊緣信息和圖像結(jié)構(gòu)信息，驗(yàn)證了TGVJN模型在邊緣保持方面更具有優(yōu)勢(shì)。

圖3給出了圖像的中間部分切線圖和能量收斂圖，該實(shí)驗(yàn)中添加0.005的高斯噪聲。BH模型的去噪結(jié)果切線與原圖切線整體貼合度較低且不平滑，TGV模型的去噪結(jié)果切線在跳變處平滑了拐角，側(cè)面印證了該模型存在的邊緣模糊現(xiàn)象。而本文提出的TGVJN模型去噪結(jié)果切線在跳變處保持了拐角與原圖切線擬合較好。本實(shí)驗(yàn)將能量誤差設(shè)定為0.001，能量收斂圖展示了各模型的收斂速度。其中BH模型的收斂速度最慢，TGVJN模型比TGV模型收斂速度略快。表1比較了在圖2 (b)中加入不同噪聲方差后各模型去噪結(jié)果的參數(shù)。

圖3 去噪結(jié)果中間切線及能量圖

表1 去噪實(shí)驗(yàn)客觀參數(shù)比較

4.2 大尺度破損修復(fù)實(shí)驗(yàn)結(jié)果與分析

圖4(a)破損區(qū)域?qū)挾葹?0像素點(diǎn)，分別用三種模型對(duì)其進(jìn)行修復(fù)。BH模型不能完全修復(fù)好這樣的大尺度破損，在圖5 (a)局部放大圖中破損區(qū)域中心與周圍存在明顯誤差。TGV與TGVJN模型在非邊界區(qū)域修復(fù)效果顯著，但從圖5中可以看出TGV模型在邊界處的模糊區(qū)域較大，本文提出的TGVJN模型雖然不能完全復(fù)原出邊界線但大大縮減了模糊區(qū)域。

圖4 Bar圖像修復(fù)結(jié)果對(duì)比

圖5 圖4 (b)-(d)的部分放大圖

圖6(a)破損區(qū)域?qū)挾葹?0像素點(diǎn)，分別用三種模型對(duì)其修復(fù)處理，再將各模型結(jié)果圖與原圖做差得出誤差圖。BH模型在橢圓的破損邊界處產(chǎn)生了明顯的模糊區(qū)域，而TGV和TGVJN模型更好的修復(fù)出了橢圓邊界。直觀視覺(jué)上難以區(qū)分出哪個(gè)修復(fù)結(jié)果更加精確，但(d)，(f)誤差圖說(shuō)明TGVJN模型修復(fù)結(jié)果誤差較小，更加貼合原圖。

圖6 Circle修復(fù)結(jié)果和誤差對(duì)比

4.3 小尺度破損修復(fù)實(shí)驗(yàn)結(jié)果與分析

圖7(a)中添加了大面積的文字水印，該實(shí)驗(yàn)比較了三種模型對(duì)小尺度但大面積破損圖像的修復(fù)能力。其中TGVJN模型表現(xiàn)最好，BH和TGV模型都不能完全修復(fù)破損區(qū)域，BH模型甚至出現(xiàn)了破損區(qū)域圖像強(qiáng)度增強(qiáng)的問(wèn)題。

圖7 Turtle修復(fù)結(jié)果對(duì)比

圖8(a)破損交叉處丟失信息較多， BH模型沒(méi)有完全修復(fù)破損區(qū)域，圖8(b)中出現(xiàn)了斑點(diǎn)，且在帽沿等邊緣處邊界不清晰，有模糊現(xiàn)象。在圖9局部放大圖中，TGV模型在頭發(fā)等一些局部破損處不能修復(fù)完整，但BH模型和TGVJN模型包含的規(guī)則項(xiàng)具有增強(qiáng)線性結(jié)構(gòu)的特性，在這方面優(yōu)勢(shì)明顯?？傮w來(lái)說(shuō)，TGVJN模型展現(xiàn)了更好的修復(fù)效果。最后表2中列出了三種模型修復(fù)實(shí)驗(yàn)的客觀評(píng)價(jià)參數(shù)。

圖8 Lena修復(fù)結(jié)果對(duì)比

圖9 圖8 (b)-(d)的部分放大圖

表2 修復(fù)實(shí)驗(yàn)客觀參數(shù)比較

5 結(jié)束語(yǔ)

為了復(fù)原更多的圖像信息，提高圖像修復(fù)的精度，本文提出了基于法矢量雅可比的總廣義變差模型，并設(shè)計(jì)了相應(yīng)的ADMM算法。通過(guò)對(duì)噪聲圖像設(shè)計(jì)去噪實(shí)驗(yàn)，對(duì)不同尺度破損圖像進(jìn)行修復(fù)實(shí)驗(yàn)，來(lái)對(duì)比本文提出的模型與之前的模型的去噪和修復(fù)效果及客觀參數(shù)。去噪實(shí)驗(yàn)結(jié)果表明，本文提出的模型具有提升圖像對(duì)比度、保持邊緣清晰的性質(zhì)。在修復(fù)實(shí)驗(yàn)中，相比于BH和TGV模型，本文模型能夠更好地修復(fù)大尺度破損區(qū)域，同時(shí)可以兼顧圖像中的線性結(jié)構(gòu)和邊界信息，減小邊界模糊區(qū)域，提升了修復(fù)的精確度。本文模型采用ADMM方法求解，涉及到的參數(shù)較多，可以采用更加快速的求解算法來(lái)提升計(jì)算效率。今后可以將本文的模型應(yīng)用于彩色圖像修復(fù)和3維重建等方面的研究。