陳 永，陶美風(fēng)

（1.蘭州交通大學(xué)電子與信息工程學(xué)院；2.甘肅省人工智能與圖形圖像處理工程研究中心，甘肅蘭州 730070）

0 引言

敦煌莫高窟是我國乃至世界藝術(shù)殿堂的瑰寶，是融建筑、雕塑、壁畫為一體的綜合性藝術(shù)，其內(nèi)容豐富，被譽為“世界上最大的美術(shù)史畫廊”。其中，敦煌壁畫更是世界古代文明的縮影。但經(jīng)千年歷史洗滌，許多壁畫存在脫落、起甲、褪色、裂痕等病害［1］。為使敦煌壁畫文化走向世界，更好地保護壁畫對文化發(fā)展與傳播起著決定性作用。傳統(tǒng)壁畫保護手段存在不可逆的缺點，且保護人員較缺乏，嚴重制約了敦煌壁畫保護事業(yè)發(fā)展、阻礙了甘肅文化戰(zhàn)略落地。因此，如何利用數(shù)字化修復(fù)技術(shù)實現(xiàn)對敦煌壁畫藝術(shù)的保護具有深遠意義，這也是目前計算機視覺和圖像處理熱點問題之一［2］。

圖像修復(fù)（Image Inpainting）指借助于破損圖像中的已知先驗信息，通過建立破損圖像修復(fù)模型，對破損區(qū)域進行匹配、復(fù)制、擴散等操作，從而完成重構(gòu)修復(fù)。常用的圖像修復(fù)方法分為4 種：基于偏微分方程的圖像修復(fù)方法、基于紋理合成的圖像修復(fù)方法、基于稀疏表示的圖像修復(fù)方法與基于深度學(xué)習(xí)的圖像修復(fù)方法。

1 基于偏微分方程的圖像修復(fù)方法

基于偏微分方程的圖像修復(fù)方法基于Bertalmio 等［3］提出的BSCB 模型，該模型將待修復(fù)區(qū)域邊緣像素沿等照度線方向擴散完成修復(fù)。文獻［4］提出了全變分（Total Varia?tion，TV）圖像修復(fù)模型，該方法通過對歐拉-拉格朗日偏微分方程求解，迭代傳播信息，完成圖像修復(fù)。BSCB 模型與TV 模型在修復(fù)破損區(qū)域邊緣曲率變化較大的圖像時，修復(fù)結(jié)果中易出現(xiàn)視覺連通性較差的問題。為了解決該問題，文獻［5］提出曲率驅(qū)動擴散（Curvature-Driven Diffusion，CDD）模型，通過引入曲率控制信息擴散強度，克服了TV 修復(fù)視覺不連通的缺點；文獻［6］針對敦煌壁畫裂紋形狀多樣及不規(guī)則的特性，通過改進CDD 算法擴散項，并引入自適應(yīng)控制策略，最后利用光滑函數(shù)進行角點擴散以實現(xiàn)修復(fù)；文獻［7］在CDD 模型的基礎(chǔ)上，采用不同的曲率選擇適應(yīng)系數(shù)以控制修復(fù)模型的選擇，修復(fù)結(jié)果和速率均優(yōu)于CDD 模型；文獻［8］提出一種基于可變Laplace 算子的非標準高階偏微分方程進行圖像去噪和修復(fù)?；谄⒎址匠痰膱D像修復(fù)方法在較小破損壁畫圖像修復(fù)時，能夠降低圖像噪聲和銳化邊緣信息，但是對于圖像缺失面積較大的情況，修復(fù)效果比較模糊，圖像邊緣特征較差。

1.1 CDD 算法原理

TV 模型通過對偏微分方程求解，不斷循環(huán)像素傳播過程以完成修復(fù)，但TV 模型修復(fù)結(jié)果存在不滿足視覺連通性的問題，如圖1 所示。當待修復(fù)區(qū)域尺寸大于圖像先驗信息尺寸時，如圖1（a）中的l>w時，TV 模型修復(fù)結(jié)果如圖1（b）所示，可發(fā)現(xiàn)未能完成擴散修復(fù)，不能滿足人類視覺連通性要求，而符合視覺連通性修復(fù)結(jié)果如圖1（c）所示。CDD 曲率驅(qū)動擴散模型在TV 模型基礎(chǔ)上進行了改進，當圖像擴散達到圖1（b）時，CDD 模型通過引入曲率進一步增強擴散強度，直至保持連通性原則。

Fig.1 Connectivity principle圖1 連通性原則

CDD 曲率驅(qū)動擴散算法定義為：

其中，C為破損區(qū)域，E為C的邊緣已知信息，?為梯度計算符，λ為拉格朗日算子。??為擴散項，將擴散系數(shù)記為w=，|?v|為梯度模值，可表示為：|?v|=，b為正提升參數(shù)。g(|h|)為曲率，v為破損圖像像素值，v0為修復(fù)后的像素值。g(|h|)=|h|，h的計算方法為：

1.2 CDD 算法實驗結(jié)果及分析

以敦煌壁畫第322 窟“樹下說法圖”截取的局部壁畫為例，采用不同粗細的劃痕破損壁畫圖像進行實驗，如圖2 所示。圖2（a）為掩膜圖像，圖2（b）為修復(fù)結(jié)果，從圖2 可以發(fā)現(xiàn)，對于較細的劃痕，CDD 算法通過像素擴散，得到了較好的結(jié)果，如第一列圖像的修復(fù)結(jié)果；隨著劃痕的不斷加粗，破損區(qū)域的完好信息大部分缺失，CDD 算法無法完成擴散，修復(fù)后會存在修復(fù)不徹底的問題，如第三列圖像修復(fù)結(jié)果的矩形框中存在明顯的修復(fù)痕跡。

Fig.2 Repair results of CDD algorithm圖2 CDD 算法修復(fù)結(jié)果

2 基于紋理合成的圖像修復(fù)算法

基于紋理合成的圖像修復(fù)方法指通過在圖像完好的區(qū)域中，根據(jù)樣本相似度匹配準則，在圖像完好區(qū)域選擇破損圖像塊的最佳匹配塊，經(jīng)過復(fù)制填充完成破損圖像塊修復(fù)。該類圖像修復(fù)方法中代表算法為Criminisi 算法［9］。后續(xù)多位學(xué)者對其進行了改進。文獻［10］采用D-S 證據(jù)理論數(shù)據(jù)融合方法對敦煌壁畫色變和人為污染破損進行了修復(fù)研究；文獻［11］利用圖像紋理特征和邊緣特征引入差別因子以改進優(yōu)先權(quán)函數(shù)，并對不良匹配區(qū)域進行定位分解修復(fù)；文獻［12］提出了一種新的置信度函數(shù)，并將Census變換匹配準則與SSD 變換準則相結(jié)合，增強了圖像修復(fù)魯棒性；文獻［13］針對Criminisi 算法置信度項會迅速衰減至0 和填充次序不穩(wěn)定等問題，提出一種結(jié)合梯度特征與色彩不一致的圖像修復(fù)算法，使修復(fù)后的圖像滿足人眼視覺要求；文獻［14］在優(yōu)先權(quán)計算時，引入分散度項，改進了圖像塊修復(fù)順序，并將協(xié)方差因子引入相似度計算，減少了圖像塊誤匹配率；文獻［15］提出了一種將局部特征與邊緣紋理分辨相結(jié)合的分段修復(fù)算法，采用樣本和信息熵相似度結(jié)合的方式確定最佳匹配塊集合，并通過基于信息熵自適應(yīng)修復(fù)模板克服了Criminisi 算法錯誤填充問題；文獻［16］通過引入結(jié)構(gòu)張量，利用其特征值定義數(shù)據(jù)項，改進圖像填充順序，同時利用結(jié)構(gòu)張量平均相關(guān)性自適應(yīng)選擇樣本塊大小，對開化寺壁畫進行了修復(fù)實驗；文獻［17］引入信息熵度量圖像塊復(fù)雜度，改進優(yōu)先權(quán)函數(shù)，并利用顏色特征和塊間協(xié)方差結(jié)合的方式確定匹配塊集合，抑制了Criminisi 算法錯誤填充問題；文獻［18］采用P-Laplace 算子重新定義數(shù)據(jù)項，引入動態(tài)閾值序冠相似性檢測算法進行匹配塊搜索，并利用布谷鳥尋優(yōu)算法確定最佳匹配塊，克服了Criminisi 算法在壁畫修復(fù)時易出現(xiàn)錯誤填充和修復(fù)效率較低的問題?；诩y理合成的圖像修復(fù)算法對較大面積的破損壁畫圖像及延伸紋理方面有較好的修復(fù)效果，但很難獲取圖像全局結(jié)構(gòu)與圖像語義信息。

2.1 Criminisi 算法原理

Criminisi 算法是通過計算優(yōu)先權(quán)，選擇優(yōu)先權(quán)最大的圖像塊作為待修復(fù)塊，依據(jù)平方差和（Sum of Squared Dif?ference，SSD）相似度函數(shù)從圖像的完好區(qū)域中選取最佳匹配塊，并復(fù)制填充，不斷迭代完成圖像修復(fù)。該算法具體實現(xiàn)如下：

如圖3 所示，在破損區(qū)域Ω的邊界δΩ上尋找一點p，選取以p為中心、大小為n×n的圖像塊ψp，通過優(yōu)先權(quán)函數(shù)式（3）計算所有ψp的優(yōu)先權(quán)確定圖像塊修復(fù)順序。

其中，C(p)為置信度項，表示破損區(qū)域中完好信息占總體信息百分比。D(p) 為數(shù)據(jù)項，表示有效信息可信度。C(p)與D(p)定義分別為：

式（4）中，ψp是以p點為中心的破損塊，φ為完好區(qū)域，C(q)表示含有效信息像素數(shù)，|Ψp|為選取的圖像塊中的像素總數(shù)。式（5）中，為p點的等照度矢量，np為邊緣δΩ上點p的單位法向量，α為歸一化因子，一般取α=255。

Fig.3 Principle of Criminisi algorithm圖3 Criminisi 算法原理

在確定優(yōu)先待修補塊ψp后，通過SSD 相似度函數(shù)在完好區(qū)域中尋找與待修復(fù)塊ψp最相似的塊ψq，用ψq代替ψp完成一次填充。SSD 相似度計算函數(shù)定義為：

其中，d(ψp,ψq) 表示塊ψp與塊ψq對應(yīng)像素點間RGB 三通道歐氏距離平方和。

在找到最佳匹配塊后，將匹配塊復(fù)制填充到待修復(fù)塊，更新置信度項，迭代以上步驟，直至修復(fù)完成。

2.2 實驗結(jié)果與分析

選取敦煌壁畫第201 窟“觀無量壽經(jīng)變之大勢至”局部壁畫和第158 窟“天請問經(jīng)變之菩薩二身”局部壁畫進行Criminisi 算法修復(fù)實驗，如圖4 所示，圖4（a）為原始壁畫圖像，圖4（b）為掩膜圖像，圖4（c）為修復(fù)結(jié)果。從圖中可以發(fā)現(xiàn)，Criminisi 算法通過塊匹配可完成對較大破損區(qū)域的修復(fù)，修復(fù)結(jié)果符合人眼視覺感受，如第一行圖像修復(fù)結(jié)果；但因為Criminisi 算法對圖像結(jié)構(gòu)信息考慮不足，會出現(xiàn)塊匹配錯誤問題，如第二行圖像矩形框中的修復(fù)結(jié)果出現(xiàn)了結(jié)構(gòu)傳播錯誤問題。

Fig.4 Repair results of Criminisi algorithm圖4 Criminisi 算法修復(fù)結(jié)果

3 基于稀疏表示的圖像修復(fù)算法

稀疏表示是將信號通過字典中極少量的原子進行重構(gòu)。Olshausen 等［19］將稀疏表示引入到圖像處理領(lǐng)域，指出自然圖像在某種變換域下具有稀疏性?；谙∈璞硎镜膱D像修復(fù)方法是在眾多不定解中，尋求滿足稀疏度要求的特殊解的最優(yōu)線性組合。稀疏表示可分為兩個關(guān)鍵步驟：稀疏系數(shù)求解和字典學(xué)習(xí)與更新［20］。稀疏系數(shù)求解有MP（Matching Pursuit，匹配追蹤）算法［21］、OMP（Orthogonal Matching Pursuit，正交匹配追蹤）算法［22］等。字典學(xué)習(xí)按照字典構(gòu)成和訓(xùn)練方式分為固定基字典和學(xué)習(xí)型字典。其中，固定基字典主要有DCT 字典［23］、曲線波［24］等；學(xué)習(xí)型字典主要算法有MOD 算法［25］、K-SVD 算法［26］等。

眾多學(xué)者對稀疏表示圖像修復(fù)進行了改進，文獻［27］針對圖像字典自適應(yīng)性差的問題，提出一種基于特征分類學(xué)習(xí)的結(jié)構(gòu)稀疏傳播圖像修復(fù)方法；文獻［28］提出將圖像塊與組稀疏聯(lián)合稀疏表示的修復(fù)方法；文獻［29］利用顏色與方向信息結(jié)合衡量樣本塊間相似度，并利用多個匹配塊在構(gòu)造顏色和方向空間內(nèi)的鄰域一致性約束下重構(gòu)了目標塊；文獻［30］提出一種基于多尺度金字塔圖像修復(fù)方法，將局部圖像塊統(tǒng)計信息與幾何特征采用稀疏表示的方法完成圖像修復(fù)；文獻［31］通過線描的方式補全缺失的結(jié)構(gòu)信息，并通過先紋理后結(jié)構(gòu)的修復(fù)策略完成圖像重構(gòu)；文獻［32］通過建立兩個輪廓之間的相似變換模型估計待修復(fù)物體輪廓信息，并利用修復(fù)優(yōu)先級和搜索區(qū)域劃分進行紋理區(qū)域的修復(fù)；文獻［33］引入組稀疏表示概念，提出以歐式距離作為分組準則，取得了較好的修復(fù)效果；文獻［34］提出自適應(yīng)圖像組的稀疏正則化圖像復(fù)原方法，通過自適應(yīng)調(diào)整迭代次數(shù)，完成圖像修復(fù)?；谙∈璞硎镜膱D像修復(fù)算法，通過不斷更新字典和稀疏系數(shù)對缺失信息進行修復(fù)，對于壁畫裂紋、劃痕等有較好的修復(fù)效果，但是無法完成大面積破損壁畫圖像修復(fù)，存在修復(fù)模糊、平滑等問題。

3.1 組稀疏表示基本原理

相似組構(gòu)造過程如圖5 所示，首先將原始圖像H劃分為k個n ×n大小的圖像塊Hk∈，并將劃分后的圖像塊按先行后列的順序排列，記錄各圖像塊索引；接著在提取樣本塊的M×M鄰域中，計算樣本塊與匹配塊歐式距離，并選取距離最小的a個匹配塊組成集合，將排成矩陣形式，得到相似組。圖像塊p和q的歐式距離計算如式（7）所示。

其中，W、W′分別表示圖像塊p、q中對應(yīng)位置的像素點。

Fig.5 Similar group construction process圖5 相似組構(gòu)造流程

經(jīng)過上述過程，每個相似組由相同數(shù)量且具有相似特性的圖像塊構(gòu)成。為了使相似組可以通過字典得到更好的表示，先采用雙線性插值對相似結(jié)構(gòu)組進行估計，得到一個初始值，之后進行SVD 奇異值分解，如式（8）所示。

組內(nèi)字典學(xué)習(xí)對于每一個組都是自適應(yīng)的，且只需進行一次奇異值分解，收斂速度加快。相似結(jié)構(gòu)組相對應(yīng)的自適應(yīng)字典為：

其中，β為常數(shù)，采用分裂伯格曼迭代優(yōu)化算法對式（11）進行求解，得到稀疏系數(shù)。最后將每個相似組字典和系數(shù)代入式（12）中，即可得重構(gòu)修復(fù)后的圖像H。

3.2 組稀疏表示實驗結(jié)果與分析

選取敦煌壁畫第158 窟“天請問經(jīng)變之菩薩一身”局部壁畫、第25 窟“觀無量壽經(jīng)變之九品行生”局部壁畫、第159窟“普賢變之普賢菩薩”局部壁畫進行組稀疏表示修復(fù)實驗，實驗結(jié)果如圖6 所示，圖6（a）為原始壁畫，圖6（b）為掩膜圖像，圖6（c）為修復(fù)結(jié)果。從修復(fù)結(jié)果可以看出，組稀疏對于較細劃痕破損具有較魯棒的修復(fù)效果，如第一行圖像修復(fù)結(jié)果所示；但由于修復(fù)時利用字典原子與系數(shù)線性組合，因此，當較大區(qū)域破損時，修復(fù)結(jié)果中會出現(xiàn)局部模糊現(xiàn)象，如第二、三行圖像矩形框中修復(fù)結(jié)果所示。

Fig.6 Group sparse representation repair results圖6 組稀疏表示修復(fù)結(jié)果

4 基于深度學(xué)習(xí)的圖像修復(fù)算法

傳統(tǒng)圖像修復(fù)方法大多基于圖像先驗信息進行缺失像素恢復(fù)，然而在大面積圖像破損時，由于圖像先驗信息不足，傳統(tǒng)圖像修復(fù)算法無法正確完成修復(fù)。文獻［35］根據(jù)博弈論中的零和博弈理論提出一種新型神經(jīng)網(wǎng)絡(luò)模型，稱為生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）；文獻［36］生成器采用由粗到精的級聯(lián)式模型，判別器采用局部與全局特征相融合的雙重判別式模型，損失函數(shù)采用最小化重構(gòu)損失與對抗網(wǎng)絡(luò)損失相結(jié)合的方式，對人臉進行修復(fù)實驗。深度學(xué)習(xí)壁畫圖像修復(fù)在圖像全局結(jié)構(gòu)和語義方面具有優(yōu)勢，但在學(xué)習(xí)模型泛化能力及收斂性方面還存在一定問題。

4.1 生成對抗網(wǎng)絡(luò)GAN 基本原理

生成對抗網(wǎng)絡(luò)GAN 由生成器模型G與判別器模型D兩個部分組成，網(wǎng)絡(luò)結(jié)構(gòu)如圖7 所示。生成器G學(xué)習(xí)訓(xùn)練集數(shù)據(jù)概率分布，然后生成新數(shù)據(jù)，判別器D判斷生成數(shù)據(jù)真實性。其中，z表示噪聲，X表示真實數(shù)據(jù)，G(z)表示生成數(shù)據(jù)，GAN_loss為損失函數(shù)。

Fig.7 The basic model structure of GAN圖7 GAN 基本模型結(jié)構(gòu)

GAN 目標函數(shù)可描述為：

其中，D代表判別器，G代表生成器，x為在真實數(shù)據(jù)分布Pdata（x）的采樣，E［.］為計算的期望值，Pz（z）為原始噪聲分布，z為噪聲輸入數(shù)據(jù)，GAN 的訓(xùn)練目標是讓判別器能夠更準確地判別真實數(shù)據(jù)和生成器生成數(shù)據(jù)，并讓生成器生成的數(shù)據(jù)與真實數(shù)據(jù)更為接近。判別器D和生成器G采用交替訓(xùn)練的方式，直至網(wǎng)絡(luò)收斂。

4.2 生成對抗網(wǎng)絡(luò)GAN 實驗結(jié)果與分析

選取敦煌壁畫第25 窟“北壁彌勒經(jīng)變中·彌勒二會”局部壁畫和第25 窟“文殊變”局部壁畫進行深度學(xué)習(xí)修復(fù)實驗，實驗結(jié)果如圖8 所示，圖8（a）為原始壁畫，圖8（b）為掩膜圖像，圖8（c）為修復(fù)結(jié)果。從修復(fù)結(jié)果可以看出，深度學(xué)習(xí)通過對數(shù)據(jù)集的不斷訓(xùn)練，可以完成較大區(qū)域的破損修復(fù)，但對復(fù)雜結(jié)構(gòu)的圖像修復(fù)還需進一步優(yōu)化。

Fig.8 Deep learning repair results圖8 深度學(xué)習(xí)修復(fù)結(jié)果

5 結(jié)語

敦煌壁畫作為世界文化遺產(chǎn)，具有較高的歷史和藝術(shù)價值，但長期面臨著自然和人為的嚴重損毀，如何有效地保護和傳承敦煌文化遺產(chǎn)備受關(guān)注。數(shù)字化修復(fù)技術(shù)為古代壁畫修復(fù)提供了全新的方法和視角，同時數(shù)字化修復(fù)技術(shù)使現(xiàn)代科學(xué)與古代文化交融碰撞，促進信息科學(xué)與文物科學(xué)交叉研究，形成新的學(xué)科研究方向。傳統(tǒng)壁畫圖像修復(fù)方法利用破損壁畫圖像的完好區(qū)域信息，完成破損區(qū)域估計，各類修復(fù)算法均有應(yīng)用局限性，僅適用于特定的修復(fù)對象，如在面對前后景難于區(qū)分、模糊以及大面積脫落的敦煌壁畫圖像修復(fù)時效果不佳。為了更好地對敦煌壁畫進行數(shù)字化修復(fù)保護，未來可從壁畫紋理、結(jié)構(gòu)、顏色等特征出發(fā)，充分利用壁畫多維知識屬性進行數(shù)字化修復(fù)。此外，采用深度學(xué)習(xí)結(jié)合壁畫圖像語義、歷史、文化、宗教等因素，廣泛吸納物理、化學(xué)、計算機、人工智能、認知心理學(xué)等領(lǐng)域相關(guān)技術(shù)進行修復(fù)，是未來研究主要方向。