李 尊，吳 謹，劉 勁

?

數(shù)學形態(tài)學在Criminisi圖像修復算法中的應用

李 尊，吳 謹，劉 勁

（武漢科技大學 信息科學與工程學院，湖北 武漢 430081）

Criminisi圖像修復算法的修復步驟由待修復區(qū)域的標記、優(yōu)先權的計算、最佳匹配塊搜索與填充和更新置信度4部分組成。其中待修復區(qū)域的標記是進行Criminisi圖像修復算法的基礎，因此合理的標記待修復區(qū)域是提高Criminisi圖像修復算法修復效果的有效路徑。引入數(shù)學形態(tài)學對待修復圖像進行處理，即利用腐蝕與膨脹組合，對待修復區(qū)域邊緣進行處理，進而進行Criminisi圖像修復算法操作。實驗結果表明經(jīng)數(shù)學形態(tài)學處理后的標記可以降低錯誤信息的累積，大大提升了圖像修復的質(zhì)量，具有較高的實用價值。

數(shù)學形態(tài)學；Criminisi算法；圖像預處理

0 引言

圖像修復[1]是指對受到損害導致信息不完整的圖像進行重建或者去除圖像中多余的目標。其實質(zhì)是用待修復圖像中存在的信息來恢復缺失的信息，使圖像修復整體效果滿足人的視覺需求。

針對大區(qū)域信息缺失的圖像，通常采用基于圖像分解的修復技術[2]和基于塊的紋理合成技術[3]，其中Criminisi圖像修復算法[4]是基于塊的紋理合成技術的代表。Criminisi圖像修復算法是由Criminisi等人于2004年提出的，其過程是修復區(qū)域標記、優(yōu)先權計算、最佳匹配塊搜索與填充、更新置信度。

近10年來，Criminisi圖像修復算法的改進主要是針對優(yōu)先權和最佳匹配塊搜索。文獻[5]將優(yōu)先權改進為加權形式，并引入增加平均值補償和懲罰項，減輕圖像修復效果人為痕跡的問題；文獻[6]引入曲率到優(yōu)先權，并將算式改成各項加權和，使得匹配模塊更加準確且增強了圖像結構的連續(xù)性；文獻[7]根據(jù)修復區(qū)域邊緣的復雜性，動態(tài)的選擇搜索區(qū)域，降低了時間成本，且一定程度上改善了修復質(zhì)量。

針對Criminisi圖像修復算法第一步即修復區(qū)域標記進行研究，優(yōu)先權計算和最佳匹配塊搜索與填充是在修復區(qū)域標記基礎上進行的，因此第一步做好，是后續(xù)工作的基礎。

本文將數(shù)學形態(tài)學[8-9]應用到待修復區(qū)域預先標記處理中，并在不同的改進的Criminisi圖像修復算法中進行實驗。對比實驗效果，可以得出通過數(shù)學形態(tài)學對待修復區(qū)域邊緣增強，圖像的效果有較大的提升。

1 Criminisi圖像修復算法

1.1 待修復區(qū)域的標記

待修復區(qū)域的標記是用與待修復區(qū)域形狀相似的，面積盡可能小的，顏色特定的圖形標記出來。本文是將數(shù)學形態(tài)學應用到預先標記的待修復圖像中。

1.2 優(yōu)先權的計算

假設待修復圖像如圖1所示。

圖1 符號說明圖

圖1中：表示的區(qū)域是完好區(qū)域，即未標記的區(qū)域；表示的區(qū)域是破損區(qū)域，即標記的區(qū)域；表示待修復區(qū)域的邊界。

Criminisi算法優(yōu)先權共有置信度()和數(shù)據(jù)項()兩項所決定。其中置信度()表示的是以為中心的待修補塊中原圖的信息所占的比重；數(shù)據(jù)項()表示的是邊界在處的梯度法向量n與完好區(qū)域中邊緣梯度向量?I⊥的乘積。本文修補塊的大小默認3×3。

Criminisi算法提出的點優(yōu)先權計算如式(1)所示，()、()如式(2)、(3)所示：

priority()＝()×() (1)

式中：是歸一化算子，在灰度圖中我們?nèi)?i>為255。

置信度()的數(shù)值越大優(yōu)先權越高，表示含有的原圖區(qū)域的信息多，應給予優(yōu)先修補；數(shù)據(jù)項()數(shù)值越大優(yōu)先權越高，表示進化表面線性結構強度高，應給予優(yōu)先修補。

1.3 最佳匹配塊的搜索與填充

通過優(yōu)先權的計算，確定最大優(yōu)先權待修補塊后，在完好區(qū)域進行最佳匹配塊的搜索與填充。其匹配原則如下式所示：

表示待修補塊與完好區(qū)域中樣本塊的已知像素的灰度差的平方和最小時，即為最佳匹配塊。

1.4 更新置信度

通過最佳匹配塊的搜索與填充，使得待修補塊變成完好區(qū)域中的樣本塊，置信度也會相應的更新，成為接下來修復工作的依據(jù)。

Criminisi算法通過不斷重復上述3個步驟，直至待修復區(qū)域被填充完畢，則修復完成。

2 數(shù)學形態(tài)學

數(shù)學形態(tài)學是法國巴黎礦業(yè)學院博士生賽拉和導師馬瑟榮于1964年共同提出的，是建立在嚴格的數(shù)學基礎理論上并和實際聯(lián)系廣泛的學科。20世紀80年代，數(shù)學形態(tài)學的發(fā)展已趨于成熟，廣泛應用于模式識別，圖像處理和計算機視覺等方面。

數(shù)學形態(tài)學以集合概念為基礎，膨脹、腐蝕、開啟和閉合是其最基本的算子。用4種形態(tài)學的基本算子及其組合對圖像進行進行形狀和結構分析，可用于特征提取、形狀識別、邊緣檢測和圖像修復等方面。

本文用到數(shù)學形態(tài)中最基本的運算形態(tài)膨脹與腐蝕[10]，其定義如下式所示：

?＝{|$∈,∈:＝＋} (5)

Q＝{x|"b∈B,$∈:＝－} (6)

上述式子是應用于二值圖像的形態(tài)腐蝕與膨脹。其中表示一副圖像；表示結構元素，其尺寸要遠遠地小于且形式是多種多樣的，如：圓、菱形、有相線段等。本文選取的結構元素是：圓。

形態(tài)腐蝕與膨脹對圖像處理有如下效果：

1）形態(tài)膨脹：線條變粗，孔隙消失，起到擴展圖像的作用。

2）形態(tài)腐蝕：線條變細，孔隙擴大，起到收縮圖像的作用。

本文在圖像預先標記的基礎上，采用形態(tài)腐蝕與膨脹的基本組合形式，對待修復圖像進行處理,即先膨脹后腐蝕。

＝?Q(7)

式中：、都為結構元素，形式為圓且滿足5≥r≥r≥0。通過數(shù)學形態(tài)學的處理，待修復區(qū)域的邊緣得以增強，提高邊緣定位的準確性。但尺寸不宜過大，因為過大的尺寸會造成邊緣的擴展。

3 實驗仿真結果與分析

3.1 待修復的圖像預處理

本文針對于圖像修復中目標移除情況，在修復區(qū)域的預先標記的基礎上，利用數(shù)學形態(tài)學對待修復圖像待修復區(qū)域邊界進行處理，增強Criminisi圖像修復算法的修復效果。本文采用的結構元素、均為圓形。處理效果如圖2、圖3、圖4所示。

圖2、圖3、圖4中：(a)是原圖；(b)是(a)初始標記圖，即未經(jīng)過數(shù)字形態(tài)學處理的圖像；(c)是經(jīng)過數(shù)字形態(tài)學處理后的圖像，其中圖2中r＝r＝1，圖3中r＝1，r＝1，圖4中r＝3，r＝0。

初始標記圖(b)與數(shù)字形態(tài)學處理的圖(c)進行對比，僅憑人的肉眼相差不大，但在后續(xù)的Criminisi圖像修復算法中，有舉足輕重的作用。

3.2 基于數(shù)學形態(tài)學的Criminisi算法對比實驗

本文實驗仿真平臺是MATLAB7.0和VC＋＋6.0，仿真結果如圖5～圖10所示。

圖2 蝴蝶的預處理圖像

圖3 垃圾桶的預處理圖像

圖4 人物的預處理圖像

圖5 圖2中(b)基礎上修復后圖像

圖6 圖2中(c)基礎上修復后圖像

圖7 圖3中(b)基礎上修復后圖像

圖8 圖3中(c)基礎上修復后圖像

圖9圖4中(b)基礎上修復后圖像

圖10圖4中(c)基礎上修復后圖像

實驗1目的是移除蝴蝶，處理難點是蝴蝶與花相交處結構和紋理信息的復雜。

實驗2目的是移除垃圾桶，處理難點是垃圾桶后背景信息的復雜。

實驗3目的是移除背景人群，處理難點是臺階和墻壁的相交處結構和紋理信息的復雜。

圖5、圖7、圖9是在預先標記基礎上進行的圖像修復；圖6、圖8、圖10是在數(shù)學形態(tài)學處理的基礎上進行的圖像修復。

圖5、圖6、圖7、圖8、圖9、圖10中(a)表示Criminisi算法修復的圖像結果，(b)表示文獻[5]的修復圖像結果，(c)表示文獻[6]的修復圖像結果，(d)表示文獻[7]的修復圖像結果。

由實驗結果對比得出：

1）通過圖5和圖6，圖7和圖8，圖9和圖10對比得出，數(shù)學形態(tài)學的引入可以大大的減少錯誤信息的累積，增強了修復效果，滿足人的視覺需求。

2）圖5、圖6、圖7、圖8、圖9、圖10中(a)、(b)、(c)和(b)對比得出，數(shù)學形態(tài)學的引入對不同側重點的Criminisi算法都有積極的作用，提高了修復質(zhì)量，增強了圖像的整體性。

通過腐蝕與膨脹靈活組合，修復區(qū)域的邊緣結構信息得到增強，邊緣定位的精確度提高，進而修復順序的可靠性也加大，提高了修復效果，滿足人的視覺需要。

4 結束語

通過實驗結果對比可以得出，數(shù)學形態(tài)學在Criminisi圖像修復算法中具有舉足輕重的地位，通過數(shù)學形態(tài)學處理待修復區(qū)域的標記能起到了增強修復效果的作用。今后需要研究如何智能的選取合理標記的待修復圖像，降低修復圖像的時間成本及動態(tài)的標記待修復圖像。

[1] Bertalmio M, Sapiro G, Caselles V, et al. Image inpainting[C]//,,, 2000: 417-424.

[2] 林云莉, 趙俊紅, 朱學峰, 等. 基于圖像分解的圖像修復技術[J]. 計算機工程, 2010, 36(10): 187-192.

Lin Y L, Zhao J H, Zhu X F, et al. Image Inpainting Technology Based on Image Decomposition[J]., 2010, 36(10): 187-192．

[3] 朱文浩, 魏寶剛. 基于樣本的紋理合成[J]. 中國圖像圖形學報, 2008, 13(11): 2063-2069．

Zhu W H, Wei B G. The Technology of Sampled-based Texture Synthesis[J]. Journal of Image and Graphics, 2008, 13(11): 2063-2069.

[4] Criminisi A, Perez P, Toyama K. Region filling and object removal by exemplar based inpainting[J]., 2004, 13(9): 1200-1212．

[5] 楊筱平, 王書文. 基于優(yōu)先權改進算法的敦煌壁畫的復雜區(qū)域修復[J]. 計算機輔助設計與圖形學報, 2011, 23(2): 284-289．

Yang X P, Wang S W. Dunhuang Mural lnpainting in Intricate Disrepaired Region Based on Improvement of Priority Algorithm[J]., 2011, 23(2): 284-289.

[6] 常晨, 尹立新, 方寶龍. 一種改進的Criminisi圖像修復算法[J]. 計算機應用與軟件, 2012, 29(9): 238-267.

Chang C, Yin L X, Fang B L. An Improved Criminisi Algorithm for Image Inpainting[J]., 2012, 29(9): 238-267．

[7] 姚建亮, 彭宏京. 一種改進的基于樣圖的圖像修復法[J]. 電子科技, 2010, 23(1): 100-103.

Yao J L, Peng H J. An Improved exemplar-based method for Image Inpainting[J]., 2010, 23(1): 100-103.

[8] 任獲榮. 數(shù)學形態(tài)學及其應用[D]. 西安: 西安電子科技大學, 2004.

Reng H R. Mathematical morphology and Its application[D]. Xi’an: Xi’an university of electronic science and technology, 2004.

[9] 戴青云, 余英林. 數(shù)學形態(tài)學在圖像處理中的應用進展[J]. 控制理論與應用, 2001, 18(4): 478-482.

Dai Q Y, Yu Y L. The Advances of Mathematical Morphology in Image Processing[J]., 2001, 18(4): 478-482．

[10] 吳集林. 論數(shù)字圖像的膨脹與腐[J]. 廣東廣播電視大學學報, 2007, 16(1): 105-107.

Wu J L. Digital Image Dilation and Erosion[J]., 2007, 16(1): 105-107.

The Application of Mathematical Morphology in the Criminisi Algorithm of Image Inpainting

LI Zun，WU Jin，LIU Jin

(438001,)

Criminisi algorithm consists of four steps which are marked area. The priority, the best sample patch and updating the degree of confidence, marked area is the basis of Criminisi algorithm, so it is a effective way to improve the effect of Criminisi algorithm. In order to obtain the reasonable marked area, this paper used mathematical morphology in edge, which is corrosion and inflation, and then used Criminisi algorithm of image inpainting. The experiment shows that the marked by mathematical morphology can reduce the accumulation of error messages and improves the quality of the image restoration greatly which has high practical value.

mathematical morphology，Criminisi algorithm，image pre-processing

TP391.41

A

1001-8891(2015)07-0574-05

2015-03-21；

2015-05-20。

李尊（1988-），女，河南省新鄉(xiāng)，碩士研究生，從事圖像修復研究工作。E-mail：895310276@qq.com。