唐 艷,展華偉,唐組閣,楊 丹
(西華師范大學(xué) 計(jì)算機(jī)學(xué)院,四川 南充 637009)
隨著計(jì)算機(jī)技術(shù)的高速發(fā)展,信息數(shù)字化的要求也越來(lái)越高.圖像中通常包含大量信息,對(duì)圖像進(jìn)行數(shù)字化處理愈發(fā)重要,然而,在圖像的存儲(chǔ)和傳輸過(guò)程中,部分信息丟失或缺損會(huì)造成一定的形勢(shì)誤判和經(jīng)濟(jì)損失.因此,在圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域,利用圖像修復(fù)技術(shù)修復(fù)破損圖像是一項(xiàng)重要的研究?jī)?nèi)容.其原理是根據(jù)完整區(qū)域信息恢復(fù)破損區(qū)域,以達(dá)到不易被察覺(jué)的修復(fù)或破損痕跡的目的[1],維持原圖整體的和諧統(tǒng)一.在圖像輪廓修復(fù)、文物保護(hù)、目標(biāo)移除、影視制作等方面有著重要應(yīng)用價(jià)值.
圖像修復(fù)算法可分為基于擴(kuò)散的方法和基于紋理的方法兩大類(lèi).基于擴(kuò)散的修復(fù)算法主要有PDE模型[2-3]和TV模型[4-5],這類(lèi)方法對(duì)小面積紋理區(qū)域的修復(fù)能夠取得良好的效果.但在復(fù)雜紋理或大尺度破損區(qū)域的圖像修復(fù)中,基于紋理的修復(fù)算法效果顯得更好,其中Criminisi等人2004年提出的Criminisi圖像修復(fù)算法[6],兼顧紋理過(guò)渡自然和結(jié)構(gòu)連貫,成為極具代表性的研究方向.不過(guò),Criminisi算法在破損區(qū)域過(guò)大時(shí),也存在較明顯的塊效應(yīng)、修復(fù)效率不夠高等情況,對(duì)此,學(xué)者們提出了不同的改進(jìn)方法,文獻(xiàn)[7-10]中,對(duì)Criminisi 算法中優(yōu)先權(quán)計(jì)算方式、置信項(xiàng)和數(shù)據(jù)項(xiàng)等方面進(jìn)行了改進(jìn).文獻(xiàn)[11]所提方法將優(yōu)先權(quán)相乘改為相加,并引入等照度線(xiàn)的曲率,提高了優(yōu)先權(quán)的可靠性.文獻(xiàn)[12]通過(guò)拉普拉斯算子度量圖像的平滑性,緩解了圖像修復(fù)中的邊緣模糊問(wèn)題.文獻(xiàn)[13]所提方法在設(shè)置優(yōu)先順序過(guò)程中引入調(diào)節(jié)因子,以提升紋理細(xì)節(jié)敏感度.文獻(xiàn)[14]所提方法在置信項(xiàng)更新公式中引入高斯函數(shù),緩解了錯(cuò)誤匹配問(wèn)題.同時(shí),為了達(dá)到快速修復(fù)圖像的目的,一些智能算法[15-16]也被應(yīng)用到圖像修復(fù)中.
本文對(duì)經(jīng)典Criminisi算法存在的不足進(jìn)行了改進(jìn),首先在針對(duì)優(yōu)先權(quán)的改進(jìn)中加入等照度曲線(xiàn)以提高優(yōu)先權(quán)的可靠性,并針對(duì)置信項(xiàng)加入調(diào)整因子;然后基于智能算法的快速搜索和魯棒性特征,利用改進(jìn)的新型智能算法天牛須搜索算法進(jìn)行最佳匹配塊的搜索,改善了原算法全局搜索中的錯(cuò)誤匹配的問(wèn)題,實(shí)驗(yàn)證明,改進(jìn)后的BAS-CRI算法提高了修復(fù)結(jié)果的峰值信噪比(PSNR值),搜索效率高且避免陷入局部最優(yōu),改進(jìn)是有價(jià)值的.
圖1 Criminisi算法原理
Criminisi算法是基于樣本塊的修復(fù)算法,修復(fù)步驟包含優(yōu)先權(quán)計(jì)算、最佳匹配塊搜索、置信度更新三步,即通過(guò)計(jì)算缺損區(qū)域像素點(diǎn)構(gòu)成的待修復(fù)塊的優(yōu)先級(jí)逐步進(jìn)行圖像修復(fù),兼顧了圖像修復(fù)過(guò)程中的紋理和結(jié)構(gòu)要求.如圖1,假設(shè)其為待修復(fù)圖,Criminisi算法修復(fù)原理如圖1,其中:Ω表示待修補(bǔ)區(qū)域, Φ表示源區(qū)域,?Ω表示待修復(fù)區(qū)域邊緣,P(p)是邊界?Ω上任意一點(diǎn),Ψp表示以p為中心的待修復(fù)像素塊,Ip⊥代表等照度線(xiàn)方向.
修復(fù)步驟如下:
A.優(yōu)先權(quán)P(p)計(jì)算:
P(p)=C(p)?D(p)
(1)
其中:C(p)為置信項(xiàng),表示待修補(bǔ)塊中已知像素點(diǎn)數(shù);D(p)為數(shù)據(jù)項(xiàng),表示結(jié)構(gòu)信息.|ψp|代表ψp的面積;α代表歸一化因子,通常取α=255.
B.最佳匹配塊搜索
(2)
(3)
C.置信項(xiàng)更新
隨著修復(fù)過(guò)程的進(jìn)行,待修復(fù)目標(biāo)塊ψp中的未知像素點(diǎn)被ψq中的已知像素點(diǎn)的信息所填充,待修復(fù)塊的置信項(xiàng)值更新為ψq置信項(xiàng)值,其更新公式如下所示:
C(p′)=C(p)
(4)
依據(jù)式(1)、(2)、(3)、(4)計(jì)算方法,重復(fù)以上三個(gè)步驟,直至破損區(qū)域像素點(diǎn)為空,修復(fù)完成.
1.2.1 天牛須算法原理
天牛須搜索算法(Beetle Antennae Search Algorithm,BAS)是2017年由Jiang提出的一種新型智能優(yōu)化算法,源于對(duì)天牛覓食行為的模擬.BAS算法參數(shù)少、易于實(shí)現(xiàn),計(jì)算簡(jiǎn)單、通用,具有較強(qiáng)的魯棒性.當(dāng)天牛覓食時(shí),會(huì)利用左右兩須根據(jù)周?chē)澄餁馕稘舛瓤焖俅_定下一步移動(dòng)方向.
1.2.2 天牛須算法系統(tǒng)建模
首先,假設(shè)在一個(gè)n維空間中(BAS搜索可以在任意維空間進(jìn)行),有左須坐標(biāo)xl,右須坐標(biāo)xr,質(zhì)心坐標(biāo)x0,兩須距離d0,天牛步長(zhǎng)s.下一時(shí)刻天牛朝向隨機(jī),定義隨機(jī)向量dir=R(n,1)為右須指向左須的向量,經(jīng)歸一化處理:dir=dir/norm(dir),歸一化函數(shù)為normal.由此推出:
xl-xr=d0*dir;xl=x0+d0*dir/2;xr=x0-d0*dir/2
假設(shè)待優(yōu)化函數(shù)為f(x),可令兩須的適應(yīng)度值為:
fleft=f(xl);fright=f(xr)
其次,通過(guò)比較適應(yīng)度值大小,逐步尋找f(x)的最小值:
A.若fleft B.若fleft>fright,天牛向右行進(jìn)一個(gè)步長(zhǎng):x0=x0-s*normal(xl-xr); 采用符號(hào)函數(shù)統(tǒng)一寫(xiě)成: xnew=x0-s*dir*sign(fleft-fright) (5) 此外,尋優(yōu)過(guò)程中,步長(zhǎng)可改變,本文設(shè)定:s=eta*s,其中eta∈[0,1],為默認(rèn)步長(zhǎng)因子,通??扇?eta=0.95. 1.2.3 天牛須算法優(yōu)化 雖然天牛須算法在全局尋優(yōu)、運(yùn)算量和實(shí)現(xiàn)簡(jiǎn)單方面具有優(yōu)勢(shì).但其全局搜索能力強(qiáng)弱和收斂速度受步長(zhǎng)影響較大,因此本文引入隨機(jī)調(diào)整因子調(diào)節(jié)天牛須步長(zhǎng),提高算法收斂性能,改進(jìn)后的步長(zhǎng)調(diào)節(jié)機(jī)制如下: (6) μ為隨機(jī)調(diào)整因子,μ∈[0,1],fi代表經(jīng)過(guò)i次迭代后的適應(yīng)度值,fm是歷史最優(yōu)適應(yīng)度值.若fi≤fm,表明目前尋優(yōu)性能良好,步長(zhǎng)因子取默認(rèn)值;反之,減小步長(zhǎng)因子以加快收斂速度.改進(jìn)后的步長(zhǎng)s=e*s,通過(guò)調(diào)節(jié)步長(zhǎng)因子,使適應(yīng)度值逐漸趨于穩(wěn)定,能更有效地提高算法收斂效果. 針對(duì)Criminisi算法中,隨著修復(fù)過(guò)程的進(jìn)行,置信項(xiàng)趨近于零導(dǎo)致的優(yōu)先權(quán)計(jì)算錯(cuò)誤、修復(fù)順序錯(cuò)亂的問(wèn)題和修復(fù)效率低的問(wèn)題,本文提出一種基于改進(jìn)天牛須算法的BAS-CRI圖像修復(fù)算法.首先在計(jì)算優(yōu)先權(quán)的過(guò)程中,引入調(diào)整因子ω對(duì)置信項(xiàng)進(jìn)行平滑處理,并引入等照度曲線(xiàn)K(p)描繪局部特征.然后,利用改進(jìn)的天牛須算法搜索源區(qū)域最佳匹配塊,以提高修復(fù)效率. 為解決優(yōu)先權(quán)計(jì)算時(shí)置信項(xiàng)速度變化過(guò)快導(dǎo)致的修復(fù)錯(cuò)亂問(wèn)題,改進(jìn)的優(yōu)先權(quán)計(jì)算方法如下: P(p)=(ω+(1-ω)?C(p))?D(p)+1/K(p) (7) 其中:ω為動(dòng)態(tài)調(diào)整因子,用于置信度曲線(xiàn)平滑操作,保證了置信度取值的范圍在ω~1之間,本文中選取ω=0.7. 由于Criminisi算法在全局搜索最佳匹配塊過(guò)程中會(huì)發(fā)生因目標(biāo)數(shù)過(guò)多而隨機(jī)選取的情況,耗時(shí)多且準(zhǔn)確率不高,本文利用天牛須算法進(jìn)行最佳匹配塊搜索,能夠較快確定目標(biāo)區(qū)域,提高效率且具有更強(qiáng)的魯棒性. 將式(2)的匹配規(guī)則作為天牛須算法的適應(yīng)度函數(shù),并按照改進(jìn)后的步長(zhǎng)調(diào)整因子對(duì)位置進(jìn)行更新,提高匹配塊搜索效率. A.確定待修復(fù)區(qū)域及邊界. B.根據(jù)式(7)對(duì)待修復(fù)塊優(yōu)先權(quán)進(jìn)行計(jì)算,并修復(fù)具有最大優(yōu)先權(quán)的待修復(fù)塊. C.采用改進(jìn)的天牛須算法對(duì)最佳匹配塊進(jìn)行搜索與填充. D.更新置信項(xiàng) E.重復(fù)步驟B、C、D,直到修復(fù)完成. 本文通過(guò)仿真實(shí)驗(yàn)進(jìn)行了實(shí)驗(yàn)分析與驗(yàn)證,仿真實(shí)驗(yàn)包含了實(shí)驗(yàn)平臺(tái)和實(shí)驗(yàn)環(huán)境,具體描述為表1. 表1 實(shí)驗(yàn)環(huán)境 實(shí)驗(yàn)結(jié)果與分析通過(guò)對(duì)經(jīng)典圖像修復(fù)測(cè)試圖片破損標(biāo)記與修復(fù)進(jìn)行修復(fù)效果測(cè)試,采用峰值信噪比(PSNR值)作為修復(fù)效果評(píng)價(jià)標(biāo)準(zhǔn),對(duì)比不同算法比較修復(fù)結(jié)果,其中PSNR值與修復(fù)效果呈正相關(guān). 如圖1、圖2為本文對(duì)選取的測(cè)試圖片從視覺(jué)角度評(píng)價(jià),并對(duì)比傳統(tǒng)Criminisi算法,文獻(xiàn)[13]、文獻(xiàn)[14]實(shí)驗(yàn)結(jié)果,從主觀(guān)方面驗(yàn)證改進(jìn)效果. 圖2 Hua修復(fù)效果 圖3 Boat修復(fù)效果 圖片Hua和 Boat像素均為200×200,在圖1中,從對(duì)Hua圖像的修復(fù)效果來(lái)看Criminisi算法和文獻(xiàn)[13]、文獻(xiàn)[14]結(jié)構(gòu)不夠連續(xù),出現(xiàn)了一定的錯(cuò)誤信息累積,視覺(jué)效果不夠好,本文算法相對(duì)其他算法更加清晰,邊緣信息修復(fù)得與原圖更加吻合,保留了更多的圖像細(xì)節(jié).圖2中對(duì) Boat圖像小船的消除效果來(lái)看,相較于其他算法,本文所提算法觀(guān)感更加自然,結(jié)構(gòu)修復(fù)更好. 為了更好地對(duì)圖片修復(fù)效果進(jìn)行驗(yàn)證,采用了PSNR值進(jìn)行量化評(píng)價(jià),實(shí)驗(yàn)結(jié)果(見(jiàn)表2、圖4)表明,對(duì)于圖片Hua和Lena的修復(fù)中,本文算法均較其他算法PSNR值更大,證明本文修復(fù)效果更好. 表2 PSNR值對(duì)比 圖4 PSNR值對(duì)比 通過(guò)對(duì)上述不同算法的修復(fù)結(jié)果比較,本文算法在主觀(guān)和客觀(guān)評(píng)價(jià)上都取得了較好的效果,驗(yàn)證了本文所提算法在Criminisi圖像修復(fù)中的有效性. 經(jīng)典Criminisi算法中,優(yōu)先權(quán)計(jì)算時(shí)采取置信項(xiàng)與數(shù)據(jù)項(xiàng)直接相乘的方式,但隨著修復(fù)進(jìn)行,置信項(xiàng)急速下降并趨于零,導(dǎo)致優(yōu)先權(quán)計(jì)算錯(cuò)誤,修復(fù)順序出錯(cuò),從而影響修復(fù)效果.此外,原始算法中最佳匹配塊搜索隨機(jī)性大,搜索效率較低.針對(duì)以上問(wèn)題,本文提出的BAS-CRI算法加入置信項(xiàng)調(diào)整因子和等照度曲線(xiàn)以重新定義優(yōu)先權(quán),利用天牛須算法改進(jìn)最佳匹配塊搜索方式的改進(jìn)算法.所提算法中,首先,在優(yōu)先權(quán)計(jì)算中,加入等照度曲線(xiàn)可以提高優(yōu)先權(quán)的可靠性,置信項(xiàng)調(diào)整因子用于平滑置信項(xiàng),提高優(yōu)先權(quán)計(jì)算的可靠性.其次,在最佳匹配塊搜索階段,引入天牛須搜索算法,考慮到天牛須搜索算法易陷入局部最優(yōu)的問(wèn)題,對(duì)天牛須算法進(jìn)行優(yōu)化,引入隨機(jī)調(diào)整因子自適應(yīng)的調(diào)整天牛須步長(zhǎng),從而提高搜索效率和魯棒性. 針對(duì)本文所做改進(jìn),選取圖像修復(fù)經(jīng)典圖片進(jìn)行修復(fù)效果測(cè)試,并根據(jù)主觀(guān)視覺(jué)評(píng)價(jià)和峰值信噪比(PSNR值)量化評(píng)價(jià),驗(yàn)證了BAS-CRI算法的有效性,本文所提BAS-CRI圖像修復(fù)算法較其他方法能取得更好的修復(fù)效果,證明本研究是有價(jià)值的.2 BAS-CRI算法原理
2.1 優(yōu)先權(quán)的改進(jìn)
2.2 搜索匹配塊的改進(jìn)
2.3 BAS-CRI算法修復(fù)步驟
3 實(shí)驗(yàn)結(jié)果與分析
3.1 圖像修復(fù)效果的視覺(jué)評(píng)價(jià)
3.2 圖像修復(fù)效果的PSNR評(píng)價(jià)
4 結(jié)論