任小康，鄧琳凱

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,甘肅 蘭州 730070)

基于顏色聚類分割及改進(jìn)的FMM算法的壁畫修復(fù)*

任小康，鄧琳凱

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,甘肅 蘭州 730070)

近年來，由于受各種環(huán)境及人為因素的影響，壁畫在一定程度上受到了破壞。為了使人們欣賞到原作的風(fēng)貌，并對其進(jìn)行研究和開發(fā)，還原壁畫的原有樣貌，提出了一種針對褪色及劃痕的壁畫修復(fù)算法。該算法在Lαβ空間的基礎(chǔ)上，首次提出使用顏色聚類及掩模算法對受損壁畫的破損區(qū)域進(jìn)行分割提取，然后針對FMM算法中傳輸方向并沒有完全覆蓋要修復(fù)的區(qū)域的缺陷，提出了利用梯度直方圖的一些特性對其傳輸方向進(jìn)行優(yōu)化。實(shí)驗(yàn)表明，該算法對于破損的壁畫修復(fù)有很好的效果。

壁畫修復(fù)；Lαβ色彩空間；顏色聚類；掩模算法；FMM算法；梯度直方圖

1 引言

敦煌壁畫是我國的珍貴歷史文化遺產(chǎn)之一，敦煌壁畫藝術(shù)是中國古典藝術(shù)文明中的杰出代表。然而，由于自然風(fēng)化的破壞以及重大自然災(zāi)害的威脅，壁畫已經(jīng)在一定程度上受到了損害。因此，為了給壁畫的修復(fù)過程提供一種虛擬的模型，提出了一種基于顏色聚類分割及改進(jìn)的FMM算法[1]的壁畫修復(fù)算法。

現(xiàn)有大部分?jǐn)?shù)字圖像修復(fù)方法的主要思想為:首先手工選定待修復(fù)區(qū)域;然后利用其周圍已知信息沿邊界向內(nèi)進(jìn)行推進(jìn)。雖然傳統(tǒng)的圖像處理技術(shù)提出了很多經(jīng)典的圖像復(fù)原方法，但是這些方法用在壁畫虛擬修復(fù)領(lǐng)域有一定的局限性。本文針對破損的壁畫，首先將RGB[2]圖像轉(zhuǎn)換到Lαβ[3]空間，根據(jù)Lαβ色彩空間進(jìn)行顏色聚類[4,5]，從而進(jìn)行簡單的分割；然后根據(jù)掩模算法[6,7]進(jìn)行進(jìn)一步的分割處理；最后提取出要修復(fù)的區(qū)域，根據(jù)提取的區(qū)域,在FMM算法[8]的基礎(chǔ)上，利用改進(jìn)的傳輸方向?qū)D像進(jìn)行修復(fù)。

2 圖像分割技術(shù)

2.1 Lαβ色彩空間

顏色特征是圖像分割中應(yīng)用最為廣泛的視覺特征,在本文的彩色圖像分割算法中,采用了Lαβ色彩模式。Lαβ色彩模式中L表示照度(Luminance), α表示從深綠(低灰度值)到灰(中亮度值)，再到亮彩紅色(高亮度值), β表示從紫藍(lán)色(低亮度值)到灰色(中亮度值)，再到焦黃色(高亮度值)。在Lαβ模式下,圖像的亮度信息和色彩信息被分開保存,調(diào)整顏色通道時(shí)亮度通道將保持不變。這樣L通道可以看作是一影像的灰度版,其中保存了圖像的細(xì)節(jié)信息,因此利用L通道容易區(qū)分自然圖像中的明暗細(xì)節(jié)。此外,Lαβ模式既不依賴光線，又不依賴顏色，彌補(bǔ)了RGB和CMYK兩種色彩模式的不足。

2.2 基于顏色聚類分割

通過分析發(fā)現(xiàn)，壁畫的色彩比較豐富，因此先對壁畫色彩進(jìn)行分類，然后提取待修復(fù)區(qū)域所在的顏色分區(qū)。在此使用的方法是，首先為每種顏色的樣本選擇一個(gè)很小的樣本區(qū)域，然后計(jì)算每個(gè)樣本區(qū)域中這種顏色的平均值，通過計(jì)算每個(gè)像素點(diǎn)和這幾種顏色平均值的距離，求出該像素點(diǎn)的顏色(幾個(gè)距離中最小距離對應(yīng)的像素顏色)。例如，如果像素點(diǎn)距離紅色平均值的歐氏距離最小，那么該像素點(diǎn)就為紅色。由此看出，顏色距離度量決定了分割區(qū)域所具有的性質(zhì)和分割結(jié)果的好壞。

(1)歐幾里得距離。

它是最常見的衡量兩種顏色接近程度的度量方法，尤其用于圖像骨架的提取。但是，它將圖像不同屬性之間的差別等同看待，所以適用于邊緣清晰的破損圖像，其歐氏距離可用公式(1)求出:

(1)

(2)馬哈蘭諾比斯距離度量。

馬哈蘭諾比斯距離度量不受量綱的影響，兩點(diǎn)之間的馬氏距離與原始數(shù)據(jù)的測量單位無關(guān)，且是平移不變的，還可以排除變量之間的相關(guān)性的干擾，但是它夸大了變化微小的變量的作用，所以適用于破損區(qū)域狹小的圖像，可以減少干擾。對于一個(gè)均值為μ=(μ1,μ2,…,μp)T、協(xié)方差矩陣為∑的多變量矢量x=(x1,x2,…,xp)T，其馬氏距離可用公式(2)求出:

(2)

其中,協(xié)方差矩陣∑可用下式計(jì)算得出:

(3)

基于Lαβ空間的顏色聚類分割的基本步驟如下：

步驟1讀取圖像并選取合適的樣本區(qū)域；

步驟2轉(zhuǎn)換色彩空間；

步驟3計(jì)算每個(gè)樣本區(qū)域中這幾種顏色的平均值；

步驟4根據(jù)不同情況分別用上面兩種距離公式計(jì)算每個(gè)像素點(diǎn)和這幾種顏色平均值的距離；

步驟5根據(jù)樣本區(qū)域的顏色對圖像進(jìn)行分割。

破損的壁畫在基于Lαβ空間的顏色聚類分割后會(huì)生成幾種不同顏色的圖像，此時(shí)，再根據(jù)破損區(qū)域所在的顏色分區(qū)選擇需要的圖像進(jìn)行灰度處理，然后使用掩模算法對圖像進(jìn)行進(jìn)一步的分割，步驟如下：

步驟1設(shè)灰度差的閾值為零，用上述方法進(jìn)行區(qū)域擴(kuò)張，合并灰度相同的像素；

步驟2求出所有鄰接區(qū)域之間的平均灰度差，并合并具有最小灰度差的鄰接區(qū)域；

步驟3設(shè)定終止準(zhǔn)則，通過反復(fù)進(jìn)行步驟2中的操作將區(qū)域依次合并，直到終止準(zhǔn)則滿足為止。

3 圖像修復(fù)技術(shù)

現(xiàn)在的圖像修復(fù)算法一般都是在Telea的快速行進(jìn)修復(fù)算法，即在FMM算法基礎(chǔ)上進(jìn)行的修改，即對權(quán)重函數(shù)的修改。然而，經(jīng)過實(shí)驗(yàn)發(fā)現(xiàn)，改進(jìn)的權(quán)重函數(shù)雖然能夠更好地保持邊緣信息,但是當(dāng)半徑較大時(shí)，傳輸方向并不能夠保證圖像邊緣處的連續(xù)性，對此本文提出了一種改進(jìn)的傳輸方向。

3.1 一般的圖像修復(fù)算法

如1圖所示，Ω是圖像中待修復(fù)的區(qū)域，?Ω是待修復(fù)區(qū)域的邊界，P是該邊界上的任意一點(diǎn)，在點(diǎn)p周圍的圖像已知區(qū)域內(nèi)部，選擇一個(gè)以ε為尺度的鄰域Bε(p)。那么，p的像素值可以由鄰域Bε(p)內(nèi)部的像素值來近似計(jì)算得到。當(dāng)尺度參數(shù)ε足夠小的時(shí)候，給定點(diǎn)q的像素值I(q)以及q的梯度值I(q)，那么點(diǎn)p的一階估計(jì)Iq(p)=I(q)+I(q)(p-q) ，點(diǎn)p的像素值可以由公式(4)計(jì)算得到：

(4)

Figure 1 Fast marching repair algorithm圖1 快速行進(jìn)修復(fù)算法

加權(quán)函數(shù)w(p,q)在修復(fù)過程中起到關(guān)鍵作用,它依賴于p、q兩點(diǎn)的相似度。計(jì)算p、q兩點(diǎn)的相似度要利用兩點(diǎn)的鄰域信息。p點(diǎn)的鄰域信息與q點(diǎn)的鄰域信息的平均偏差越小，p、q兩點(diǎn)的相似度就越大，反之，相似度就越小。p與q的相似度越高，q點(diǎn)的權(quán)值也就越大。

通用的權(quán)重函數(shù)計(jì)算公式為：

(5)

其中,μ是一個(gè)小于1的正常數(shù)，表示擴(kuò)散強(qiáng)度；c為歸一化的結(jié)構(gòu)張量Jσ,ρ的特征值λ對應(yīng)的特征向量，c⊥(p)表示p點(diǎn)等照度線方向。

要修復(fù)整個(gè)Ω，需要迭代地把方程(5)應(yīng)用到?Ω上的所有離散點(diǎn)，并不斷增加離初始邊界?Ω的距離，沿著等照度線c⊥(p)對待修復(fù)區(qū)域進(jìn)行圖像信息傳遞，向Ω內(nèi)部推進(jìn)其邊界，直到所有的區(qū)域被修復(fù)。

為了保持圖像邊緣處的邊界連續(xù)性，圖像修復(fù)應(yīng)當(dāng)沿著圖像的等照度線方向盡量光滑地?cái)U(kuò)散到待修復(fù)區(qū)域的內(nèi)部像素中。相對梯度向量，結(jié)構(gòu)張量對于提取圖像的局部方向信息比較有效。結(jié)構(gòu)張量計(jì)算方法為：

(6)

其中,Kρ是一個(gè)標(biāo)準(zhǔn)差ρ≥0的高斯核，LΩ(x)表示Ω(x)的指標(biāo)函數(shù)，σ表示平滑的尺度參數(shù)，μ為擴(kuò)散強(qiáng)度。

(7)

當(dāng)λ1=λ2時(shí)為圖像的平滑區(qū)域，μ值較?。划?dāng)λ1、λ2差異較大時(shí)，μ值較大。這樣，當(dāng)q點(diǎn)位于邊緣信息比較豐富的區(qū)域，并在p點(diǎn)的一致性方向上，就能取得較大的權(quán)重。

3.2 改進(jìn)的傳輸方向

利用破損區(qū)域鄰域像素的梯度及方向分布的特性，可以得到梯度模值和方向如下：

(8)

其中，尺度L為p點(diǎn)所在的尺度。

一幅二維圖像的尺度空間定義為：

(9)

其中,G(x,y,σ)是尺度可變高斯函數(shù)；符號*表示卷積；(x，y)代表圖像中p像素點(diǎn)的位置；σ是尺度空間因子，值越小表示圖像被平滑得越少，相應(yīng)的尺度也就越小。

在以p點(diǎn)為中心的鄰域窗口內(nèi)采樣，并用直方圖統(tǒng)計(jì)鄰域像素的梯度方向。在計(jì)算方向直方圖時(shí)，使用參數(shù)σ對方向直方圖進(jìn)行加權(quán)，圖2a中用圓形表示，中心處的顏色較重，表示權(quán)值最大，邊緣處顏色淺，表示權(quán)值小。如圖2b所示，該示例為了簡化給出了8方向的方向直方圖計(jì)算結(jié)果，實(shí)際原文中采用36方向的直方圖。

Figure 2 Histogram圖2 直方圖

方向直方圖的峰值代表了該特征點(diǎn)處鄰域梯度的方向，以直方圖中最大值作為p點(diǎn)傳輸?shù)闹鞣较?。為了增?qiáng)匹配的魯棒性，只保留峰值大于主方向峰值80%的方向作為傳輸?shù)妮o方向。

3.3 改進(jìn)的修復(fù)算法

步驟1用前面的分割算法將圖像的破損區(qū)域標(biāo)記出來；

步驟2用一般的圖像修復(fù)算法(公式(4))對圖像破損區(qū)域的像素值進(jìn)行計(jì)算，其中權(quán)重函數(shù)的計(jì)算方法如公式(5)所示；

步驟3用公式(8)得到的直方圖中的最大值作為一致性方向向Ω內(nèi)部推進(jìn)其邊界，直到所有的區(qū)域都被修復(fù)。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)的具體分析

這里列舉了Lαβ空間色彩分割的一個(gè)例子，例子中對圖像進(jìn)行了三種顏色劃分，圖3a、圖3b和圖3c分別代表三種不同的顏色聚類結(jié)果。由圖3中可以看出，圖3a包含了破損區(qū)域，針對此圖進(jìn)行灰度變換，如圖4a所示；然后再根據(jù)所得的灰度圖像用區(qū)域生長法進(jìn)行進(jìn)一步的分割，圖4b顯示的是改進(jìn)的掩模算法分割圖像，從中可以看出改進(jìn)的算法達(dá)到了較好的分割效果。

Figure 3 Color clustering segmentation圖3 顏色聚類分割

Figure 4 Further divided圖4 進(jìn)一步分割

根據(jù)分割好的圖像，將要修復(fù)的區(qū)域提取出來，然后根據(jù)改進(jìn)的快速圖像修復(fù)算法進(jìn)行圖像修復(fù)，如圖5所示。圖5a是原圖，圖5b是快速圖像結(jié)果，圖5c是改進(jìn)的圖像修復(fù)結(jié)果。從圖5和表1中可以看出，改進(jìn)的圖像修復(fù)算法在修復(fù)時(shí)間及修復(fù)區(qū)域上較之前都有一定的改進(jìn)。

Figure 5 Image repair圖5 圖像修復(fù)

算法迭代次數(shù)修復(fù)時(shí)間/s修復(fù)像素文獻(xiàn)[8]算法1000076880本文算法884431214

4.2 其他圖像的實(shí)驗(yàn)結(jié)果及分析

圖6～圖8是算法應(yīng)用到其他壁畫上的結(jié)果。首先使用顏色聚類和改進(jìn)的生長區(qū)域算法進(jìn)行分割，提取需要修復(fù)的區(qū)域，再使用改進(jìn)的快速修復(fù)算法對壁畫進(jìn)行修復(fù)。

Figure 6 Mural inpainting example 1圖6 壁畫的修復(fù)例子1

Figure 7 Mural inpainting example 2圖7 壁畫的修復(fù)例子2

Figure 8 Mural inpainting example 3圖8 壁畫的修復(fù)例子3

5 結(jié)束語

基于Lαβ空間的顏色聚類及掩模算法分割和改進(jìn)的圖像修復(fù)算法對于破損的壁畫有較好的修復(fù)效果，因?yàn)橐环鼗捅诋媹D像中實(shí)際所使用的顏色一般都小于256色，使用顏色聚類可以快速找到需要修補(bǔ)的區(qū)域；然后將圖像灰度化，根據(jù)掩模算法進(jìn)一步提取受損區(qū)域，得到需要修復(fù)的部分；最

后使用改進(jìn)的FMM算法根據(jù)鄰近區(qū)域的完好區(qū)域由外向內(nèi)逐層推進(jìn)進(jìn)行修復(fù)。實(shí)驗(yàn)結(jié)果表明，該算法達(dá)到了較好的修復(fù)效果。

[1] Telea A. An image inpainting technique based on the fast marching method[J]．Journal of Graphics Tools,2004,9(1)：25-36.

[2] Ong S H,Yea N C,Lee K H, et al.Segmentation of color images using a two-stage self-organizing network[J].Image and Vision Computing,2002,20(4):279-289.

[3] Wyszecki G,Stiles W S.Color science:Concepts and methods, quantitative data and formulae[M]. 2nd Edition.New York:John Wiley & Sons,1982.

[4] Wang Zhi-min,Soh Y C, Song Qiang, et al. Adaptive spatial information-theoretic clustering for image segmentation[J]. Pattern Recognition, 2009,42(9):2029-2044.

[5] Carevic D,Caelli T.Region-based coding of color images using Karhunen-Loeve transform[J].Graphics Models and Image Processing,1997,59(1):27-28.

[6] Sobieranski A C, Abdala D D, Comunello E,et al. Learning a color distance metric for region-based image Segmentation[J].Pattern Recognition Letters,2009,30(16):1496-1506.

[7] Park J G,Lee C.Skull stripping based on region growing for magnetic resonance brain images[J].NeuroImage,2009,47(4):1394-1407.

[8] Bornemann F, Marz T. Fast image inpainting based on coherence transport[J].Journal of Mathematical Imaging and Vision, 2007,28(3):259-278.

RENXiao-kang,born in 1963,professor,his research interest includes multimedia information processing.

鄧琳凱(1989-),女，河南輝縣人，碩士生，研究方向?yàn)閳D像處理技術(shù)。E-mail:997953605@qq.com

DENGLin-kai,born in 1989,MS candidate,her research interest includes image processing technology.

MuralsinpaintingbasedoncolorclusteringimagesegmentationandtheimprovedFMMalgorithm

REN Xiao-kang,DENG Lin-kai

(College of Computer Science and Engineering,Northwest Normal University,Lanzhou 730070,China)

In recent years, due to the various environmental and artificial factors, murals are destroyed to some extent. In order to make people appreciate the original style and features of murals, carry on the research and development of these cultural resources, and restore the original frescoes appearance, the paper proposes a murals fade and scratch repair algorithm. Based on Lαβ color space, for the first time, this algorithm proposes to use the color clustering and masking algorithm to segment and extract the damaged mural regions. Besides, according to the drawback that the transmission direction of the FMM algorithm does not fully cover the to-be-repaired regions, we propose to use some features of gradient histogram to optimize the transmission direction. Experiments prove that the algorithm has good effect on repairing damaged murals.

mural inpainting;Lαβ color space;color clustering;masking algorithm;FMM;gradient histogram

2012-07-21;

：2012-12-05

1007-130X(2014)02-0298-05

TP391.4

：A

10.3969/j.issn.1007-130X.2014.02.018

任小康(1963-),男，甘肅蘭州人，教授，研究方向?yàn)槎嗝襟w信息處理。E-mail:renxk@nwnu.edu.cn

通信地址：730070 甘肅省蘭州市安寧東路967號西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院Address:College of Computer Science and Engineering,Northwest Normal University,967 Anning Rd East,Lanzhou 730070,Gansu,P.R.China