張 巖，吳 斌，朱玉穎

（西南科技大學(xué) 信息工程學(xué)院，四川 綿陽 621010）

0 引言

現(xiàn)代生活中，圖像已然成為不可或缺的生活元素，而數(shù)字圖像更是滲透到生活中的方方面面，如數(shù)碼相機、數(shù)字電視等等。但是，圖像的傳播過程中未免會發(fā)生數(shù)據(jù)丟失[1]，影響圖像顯示效果，因此，各類數(shù)字圖像修補算法也不斷涌現(xiàn)。歸納各類算法，可發(fā)現(xiàn)圖像修補過程往往是首先確定掩碼區(qū)，而后結(jié)合其在圖像中的位置，利用修補算法完成對圖像的修補。但是，多數(shù)算法只是將掩碼區(qū)統(tǒng)一歸類，統(tǒng)一處理，而這也不可避免地造成修補過程效率降低。實際上，多數(shù)小掩碼區(qū)域的修補并不需要復(fù)雜修補算法，利用簡單便捷的結(jié)構(gòu)修補便可實現(xiàn)，而大掩碼區(qū)的修補可以利用紋理修補等較為復(fù)雜的算法來實現(xiàn)。此外，迭代次數(shù)上，小掩碼區(qū)可以少一些，大掩碼區(qū)則可以多一些。這樣，通過掩碼區(qū)將復(fù)雜與便捷算法相結(jié)合，既可提高效率，也可改善修補結(jié)果。

當然，手工也可以劃分大小掩碼區(qū)，但是如有大量圖像需要修補，而其大小掩碼區(qū)仍然利用手工確定，那勢必會影響修補效率，而這也與圖像修補領(lǐng)域掩碼區(qū)的自動確定的發(fā)展方向相違背。因此，自動快捷的大小掩碼區(qū)確定算法具有研究價值。

1 數(shù)字圖像修補技術(shù)簡介

圖像修補技術(shù)發(fā)展已較為成熟，形成了一定的理論基礎(chǔ)，并應(yīng)用到生活中的多個方面，就目前取得的研究成果來看，圖像修補技術(shù)可分為兩個研究方向：結(jié)構(gòu)修補和紋理合成。其中，結(jié)構(gòu)修補利用圖像周邊信息，完成對圖像缺失信息的修補，這與早期社會通過觀察受損圖像四周紋理與色彩信息，利用潤色的方法完成修補的原理類似，如圖1所示。

圖1 結(jié)構(gòu)修補原理圖

圖1中，I為待修補圖像，Ω為修補區(qū)，δΩ為其邊界，經(jīng)典算法中，Bertalmio等人稱其為等照度線（Isophtoes），E為可利用的圖像修補區(qū)域，箭頭指向梯度方向。修補過程用數(shù)學(xué)語言描述為

因此，修補過程就是不斷更新Int(i,j)的過程。在結(jié)構(gòu)修補領(lǐng)域，對Int(i,j)的更新方法有多種，如M.Bertalmio，G.Sapiro，V.Caselles一同提出的偏微分方程BSCB模型[2]，以及T.Chan和J.Shen提出的更便捷的全變分Total Variational[3]（簡稱TV）與曲率驅(qū)動擴散（CDD）模型[4]等，均產(chǎn)生很好的效果。此外，在這些經(jīng)典算法的基礎(chǔ)上，又延伸出了多種算法，如Masnou和Morel，Chan，Kang和Shen提出并研究的彈性函數(shù)圖像修補模型[5]，Esedoglu和Shen為圖像修補提出的Mumford-Shah-Euler圖像模型[6]等。

而后，Bertalmio等人又由起初像素（微觀）層面，擴展到了樣本塊（宏觀）的研究，即從結(jié)構(gòu)層面擴展到紋理方向，開辟了紋理修補的方向。并且隨著研究的深入，也提出了多種算法，如基于區(qū)域紋理合成的圖像修補算法[7]，以及基于樣本塊的圖像修補算法[8]等。此外，現(xiàn)在流行的小波分析[9]、BP-神經(jīng)網(wǎng)絡(luò)[10]等高端技術(shù)也滲入這個行列中，開辟了圖像修補研究的新方向。下面主要介紹兩種文中利用的算法——TV模型與Manuel M.Oliveira提出的快速修補算法。

2 應(yīng)用算法簡介

2.1 TV模型

Rudin，Osher，F(xiàn)atemi 3人觀測到帶噪圖像整體變分明顯比無噪圖像大，便將整體變分方法引入圖像處理領(lǐng)域[11]，而Chan和Shen受到Rudin的啟發(fā)，提出了兩種圖像修補算法，其中之一便是TV模型。該模型利用等照度線擴散方向的不同來進行圖像的修補，有很好的效果，數(shù)學(xué)語言表述為其中

式中：λ發(fā)揮了一個重要的尺度參數(shù)作用，通過調(diào)節(jié)λ，能夠在恢復(fù)結(jié)果中獲得期望的不同尺度的圖像信息。通過Euler-Lagrange方程求解上式，得到更新量Int(i,j)，在經(jīng)過迭代獲得最終結(jié)果，需要指出的是，該模型為二階偏微分方程，因此修補效率有所提高，而且在去噪和小區(qū)域的修補中效果明顯，但是在連接破損邊緣上，還存在一定問題[12]。

2.2 快速修補算法

該算法由Manuel M.Oliveira等人提出，其前提在于修補區(qū)域要滿足局部小，以及人類視覺可以容忍在一定區(qū)域內(nèi)的模糊，只要該區(qū)域未涉及到高對比度的邊緣[13]。在此基礎(chǔ)上，算法從像素入手，對于要修補的像素點，利用擴散核卷積該像素四周的像素，從而得到該點的值，之后進行迭代，直至達到滿意的效果。更進一步說，算法就是利用n×n模板，從掩碼區(qū)邊界開始，對其周圍進行卷積，并不斷深入，直至整個掩碼區(qū)全部被處理，然后再迭代多次，得到最終圖像，用數(shù)學(xué)語言描述為

Ω為掩碼區(qū)，即修補區(qū)域，I（i，j）為掩碼區(qū)的像素值，C（i，j）為預(yù)設(shè)模板中的值，這里利用3×3模板，見圖2。該算法與濾波器原理類似，掩碼區(qū)為噪聲成分，修補過程就是利用濾波器來去除這些成分的過程，并且同時還添加上了平滑、均值等效果，令修補區(qū)周圍的信息得以延伸，從而達到修補的目的。

圖2 模板C取值

3 劃分大小掩碼區(qū)

在處理掩碼區(qū)前，需要了解關(guān)于連續(xù)性的問題。這里的連續(xù)性，指連續(xù)的亮點數(shù)量（二值化后圖像中，值為1的區(qū)域為掩碼區(qū)，即亮點區(qū)域），通過其與給定閾值的比較，得到其連續(xù)性強弱關(guān)系，即大于閾值則為強，小于閾值則為弱。對于要處理的掩碼區(qū)，圖像二值化后，觀察得到的圖像，不難發(fā)現(xiàn)大掩碼區(qū)連續(xù)性強，小掩碼區(qū)連續(xù)性弱。由此，得到掩碼區(qū)劃分流程：

1）給定一個閾值，將原圖二值化，得到掩碼區(qū)mask（亮區(qū)域）。

2）分配一片與原圖大小相同的區(qū)域maskB，將其初始化為0（黑點），用來存儲大掩碼區(qū)。

3）搜索掩碼區(qū)mask亮點所在的行r和列c，并將其存儲起來。再建立兩個新數(shù)組x（n）和y（n），且初始化x（1）=r（1），y（1）=c（1），以及累加器n=0。

4）按列（行）搜索下一個掩碼區(qū)數(shù)據(jù)，如果r（i）-1=r（i-1），說明掩碼區(qū)兩個亮點相連，將數(shù)據(jù)保存x（i）=r（i），y（i）=c（i），并累加n=n+1，一直到此列（行）搜索完畢。之后，再判斷連續(xù)性強弱關(guān)系，即n與閾值的大小關(guān)系，大于閾值則將存儲maskB的數(shù)組x和y的相應(yīng)像素位置標記為1（亮點）。

5）按照上面的步驟直至整幅圖像掃描完畢，至此大掩碼區(qū)全部確定。然后將mask中對應(yīng)于大掩碼所在的行列標注為0（黑點），并將其保存到masks，至此完成劃分，得到大、小掩碼區(qū)maskB與masks。效果如圖3所示。

圖3 掩碼處理效果

但是，上面的算法仍然存在問題，如圖4所示，原因在于部分掩碼區(qū)按行（列）搜索時，連續(xù)性強，可是按列（行）搜索時，連續(xù)性則變?nèi)?。為了解決這個問題，可以將得到的maskB旋轉(zhuǎn)90°，再按照步驟4）～5）運算，并將結(jié)果倒轉(zhuǎn)90°，便可得到最終結(jié)果，如圖5所示。

圖4 算法存在問題示意

圖5 改進后的效果

4 實驗對比

采用Matlab7.0仿真，計算機配置為AMD雙核4000+，2 Gbyte內(nèi)存。由圖6與表1可以看出，為達到一個較好的效果，TV算法的迭代次數(shù)要多一些，而快速圖像修補算法則較少，且效果也有所提高，但仍然存在瑕疵，而利用改進算法進行修補，同TV和未劃分前的修補圖相比，修補效率與修補效果都有了改善。

圖6 最終效果

表1 實驗結(jié)果

5 總結(jié)

本文算法的提出，主要在于為修補速率與修補效果的改善方向提出了一種新思路，且當一幅圖片為灰度圖或紋理不復(fù)雜的矢量圖時，將會更快更好地達到要求。但是，由于它是圖像修補領(lǐng)域中的新概念，仍然存在不足之處，如處理合并在一起的大小掩碼區(qū)和部分不規(guī)則掩碼區(qū)時，效果不明顯，影響修補結(jié)果，因此仍有待完善。

[1]張利平，張紅英，吳斌.基于多種邊緣檢測的視頻劃痕檢測技術(shù)[J].電視技術(shù)，2010，34（1）：85-87.

[2]BERTALMIO M，SAPIRO G，CASELLES V，et al.Image inpainting[C]//AKELEY K.Proc.ACM Conf.Comp.Graphics（SIGGRAPH2000）.New Orleans，LA：ACM Press，2000：417-424.

[3]CHAN T F，SHEN J H.Mathematical models for local nontexture inpaintings[J].SIAM J.Appl.Math.，2001，62（3）：1019-1043.

[4]CHAN T F，SHEN J.Non-texture inpainting by curvature driven diffusion（CDD）[J].Journal of Visual Communication and Image Representation，2001，12（4）：436-449.

[5]CHAN T F，CHAN TF，KANG S H，SHEN J.Eider’s elastica and curvature based inpaintings[J].SIAM J.Appl.Math.，2002，63（2）：564-592.

[6]ESEDOGLU S，SHEN J.Digital inpainting based on the Mumford-Shah-Euler image model[J].Euro.J.Appl.Math.，2002，13（4）：353-370.

[7]付紹春，樓順天.基于區(qū)域紋理合成的圖像修補算法[J].電子與信息學(xué)報，2009，31（6）：1319-1321.

[8]雷鳴，王春東，薛彥兵，等.一種新的樣本塊圖像修補方法[J].光電子激光，2009，20（5）：677-679.

[9]孫曉麗.偏微分方程和小波在圖像修復(fù)與特征提取中的應(yīng)用[D].西安：西安電子科技大學(xué)，2008.

[10]李宇鵬，王秋梅，孫紅勝，等.基于RBF-BP神經(jīng)網(wǎng)絡(luò)的圖像修補[J].燕山大學(xué)學(xué)報，2007，31（6）：471-475.

[11]RUDIN L，OSHER S，F(xiàn)ATERNI E.Nonlinear total variation based noise removal algorithms[J].Physica D，1992，60（1-4）：259-261.

[12]莊紅林，施國興，范菁，等.基于輪廓-紋理分解的圖像修補技術(shù)研究[J].昆明理工大學(xué)學(xué)報，2008，33（3）：58.

[13]OLIVEIRA M M，BOWEN B，MCKENNA R，et al.Fast digital image inpainting[C]//Proc.The International Association of Sicence and Technology for Development Conference on Visualization，Imaging and Image Processing.Marbella，Spain:[s.n.]，2001：261-266.