關(guān)鍵詞：圖像修復(fù);數(shù)字文物遺產(chǎn);高頻分量;三維模型

中圖分類號：TP391 文獻(xiàn)標(biāo)志碼：A

0 引言（Introduction）

在文化遺產(chǎn)保護(hù)領(lǐng)域，虛擬修復(fù)技術(shù)發(fā)揮著重要的作用，它提供了一種數(shù)字化、高效且非侵入性的手段，用于保存和保護(hù)古代建筑、藝術(shù)品和其他文物[1]。河姆渡文化是中國南方重要的新石器時(shí)代文化之一，陶器作為河姆渡文化的主要載體，虛擬修復(fù)陶器文物對于了解當(dāng)時(shí)的社會(huì)風(fēng)俗、經(jīng)濟(jì)文化及生活方式至關(guān)重要[2]。本文提出了一種針對陶器模型紋理貼圖的圖像修復(fù)方法。早期圖像修復(fù)算法大致可以分為3類[3]，即基于擴(kuò)散的修復(fù)算法、基于塊匹配的修復(fù)算法及基于稀疏表示的修復(fù)算法[4]。隨著深度學(xué)習(xí)的廣泛應(yīng)用與快速發(fā)展，近年來有研究提出了一些基于生成對抗網(wǎng)絡(luò)[5-6]的圖像修復(fù)算法。但是，陶器數(shù)據(jù)集存在訓(xùn)練數(shù)據(jù)規(guī)模不足、待修復(fù)區(qū)域面積大及模型訓(xùn)練困難等問題，上述算法修復(fù)效果較差。

本文結(jié)合陶器模型的特點(diǎn)，提出了一種特殊的圖像修復(fù)算法，分別針對顏色和紋理兩個(gè)關(guān)鍵特征設(shè)置了不同的模塊，提高修復(fù)效果。同時(shí)，充分利用了紋理貼圖本身提供的信息，解決由于訓(xùn)練數(shù)據(jù)有限而出現(xiàn)的修復(fù)效果差的問題。在構(gòu)建的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)的結(jié)果表明，本文所提出的修復(fù)模型在這一任務(wù)上相較于目前先進(jìn)的修復(fù)算法，具有更高的修復(fù)質(zhì)量。

1 數(shù)據(jù)集構(gòu)建（Dataset construction）

陶器作為人類最早掌握的新材料，是博物館里的重要藏品，河姆渡文化遺址出土的陶片數(shù)量較多，考古學(xué)家需要先對其進(jìn)行清洗，再將所有陶器碎片按其出土位置、類別、顏色、紋理等信息分類后挑選出匹配度較高的碎片進(jìn)行拼接。為了提升文物的穩(wěn)定性和完整性，對殘損嚴(yán)重的陶器文物進(jìn)行補(bǔ)配工作。對殘缺部位進(jìn)行牙科石膏補(bǔ)配時(shí)，遵循左右對稱、上下對稱、中心對稱的原則，是確保修復(fù)效果自然、協(xié)調(diào)的關(guān)鍵步驟。

待石膏硬化后，用手術(shù)刀、砂紙等打磨塑形，使得補(bǔ)配區(qū)域具有與陶器本身相似、連續(xù)且自然的紋理圖案。目前，學(xué)術(shù)界關(guān)于模型紋理貼圖的修復(fù)工作的研究很少，并且缺乏公認(rèn)的陶器標(biāo)準(zhǔn)數(shù)據(jù)集，因此本文構(gòu)建了一個(gè)陶器模型表面紋理貼圖數(shù)據(jù)集，并基于此數(shù)據(jù)集開展實(shí)驗(yàn)。

1.1 三維建模

對河姆渡遺址實(shí)地出土的且經(jīng)過考古學(xué)家修復(fù)之后的陶器模型進(jìn)行拍攝，采集拍攝角度不同的陶器照片，把這些照片導(dǎo)入Reality Capture建模軟件中，得到具體的模型及其紋理貼圖。用Blender軟件對紋理貼圖進(jìn)行重新映射，將原本雜亂、無序的紋理貼圖變得更加整齊、直觀且利于后續(xù)的處理，紋理貼圖重映射過程如圖1所示。

1.2 紋理貼圖裁剪

陶器模型紋理貼圖的特殊性在于其具有較高的分辨率，缺失區(qū)域面積占比較高，并且存在大面積的連續(xù)待修復(fù)區(qū)域。現(xiàn)有的圖像修復(fù)模型和主流顯卡的顯存無法處理如此高分辨率的圖像，因此本文采用劃分切片的數(shù)據(jù)處理算法，將大尺寸的紋理貼圖裁剪為合適大小的切片圖像。切片的尺寸均為256×256像素，采用人工方式對完整區(qū)域與待修復(fù)區(qū)域進(jìn)行區(qū)分，選用紋理貼圖中信息完整的區(qū)域構(gòu)造訓(xùn)練集，用于網(wǎng)絡(luò)模型的訓(xùn)練，其余部分則作為測試集，用于驗(yàn)證模型結(jié)果。

2 算法結(jié)構(gòu)（Algorithm structure）

本文研究受人工修復(fù)過程的啟發(fā)，首先充分利用了模型紋理貼圖提供的信息，輸入部分除了常規(guī)的待修復(fù)圖像數(shù)據(jù)與對應(yīng)的掩碼，還加入了圖像的高頻分量數(shù)據(jù)，即表示圖像內(nèi)鄰近像素值變化程度的數(shù)據(jù)。這一部分?jǐn)?shù)據(jù)可以反映圖像的紋理特征，幫助模型在生成過程中得到更多的紋理信息，提升生成質(zhì)量。其次將圖像的顏色矩陣作為監(jiān)督信息，通過對比生成前后的顏色矩陣，促使生成結(jié)果在顏色上更加統(tǒng)一。修復(fù)模型網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.1 圖像高頻分量

圖像的高頻分量是指圖像中變化較為頻繁、頻率較高的部分，通常表現(xiàn)為圖像中的細(xì)節(jié)和邊緣，圖像的高頻分量對于邊緣檢測和紋理分析等任務(wù)非常重要。在陶器實(shí)體修復(fù)的過程中，考古學(xué)家會(huì)根據(jù)周圍完整的陶片對填補(bǔ)區(qū)域進(jìn)行打磨，使陶器整體具有相似且統(tǒng)一的紋理形狀。據(jù)此，假定原始圖像的紋理細(xì)節(jié)，也就是其高頻分量可以作為一個(gè)特殊條件，輔助網(wǎng)絡(luò)模型的訓(xùn)練，提升修復(fù)結(jié)果的質(zhì)量。

本文利用傅里葉變換提取輸入圖像的高頻分量，傅里葉變換是一種將時(shí)域（時(shí)序）信號轉(zhuǎn)換為頻域（頻率）信號的數(shù)學(xué)工具，它可以將信號分解為一系列正弦波和余弦波的組合，傅里葉變換可以將圖像分解為不同的頻率成分，其中就包括一些高頻成分。圖像數(shù)據(jù)高頻分量可視化結(jié)構(gòu)如圖3所示。

其次，從視覺效果上對模型的應(yīng)用能力進(jìn)行定性評估，對比結(jié)果如圖4所示。

從視覺效果上看，CA算法與PConv算法這一類的深度學(xué)習(xí)方法在訓(xùn)練集規(guī)模不足的情況下展現(xiàn)的修復(fù)能力都較弱，存在顏色一成不變、紋理細(xì)節(jié)不夠清晰等問題。相比之下，本文算法在顏色方面，與周圍區(qū)域融合得更加自然，并且在一定程度上復(fù)原了考古學(xué)家對其進(jìn)行物理修復(fù)時(shí)填充的紋理信息，增強(qiáng)了結(jié)果的多樣性。Criminisi算法作為傳統(tǒng)的圖像修復(fù)算法，通過復(fù)制樣本塊的方式對缺失區(qū)域進(jìn)行填充，可以獲得更好的細(xì)節(jié)紋理，但在結(jié)構(gòu)上與現(xiàn)實(shí)不符，同時(shí)在面臨圖像出現(xiàn)大面積缺失的情況下，需要消耗大量的時(shí)間。綜合考慮不同算法在陶器紋理貼圖數(shù)據(jù)集上的定性和定量實(shí)驗(yàn)結(jié)果，本文算法在訓(xùn)練數(shù)據(jù)不足且存在大面積缺失的陶器紋理貼圖上的修復(fù)效果要優(yōu)于其余3種對比的修復(fù)算法。

5 結(jié)論（Conclusion）

為了使河姆渡遺址出土的陶器模型盡可能地還原歷史文物的原貌，本文提出了一種基于條件修復(fù)的紋理貼圖修復(fù)算法。該算法充分利用了輸入圖像中的信息，將高頻分量和顏色特征作為修復(fù)的條件，從而引導(dǎo)生成最終的修復(fù)結(jié)果。在此過程中，借助考古學(xué)家在對陶器進(jìn)行物理修復(fù)時(shí)提供的紋理信息，即使在訓(xùn)練數(shù)據(jù)有限的情況下，也成功地展現(xiàn)了出色的修復(fù)效果。這一方法解決了大面積修復(fù)的難題，同時(shí)克服了神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練中的重要難點(diǎn)。與傳統(tǒng)圖像修復(fù)手段相比，該算法有效地填補(bǔ)了陶器模型中的缺損區(qū)域，為保護(hù)和傳承河姆渡文化做出了重要貢獻(xiàn)。

作者簡介：

李天杰（1999-），男，碩士生。研究領(lǐng)域：人工智能，深度學(xué)習(xí)。

于欣（1977-），男，博士，教授。研究領(lǐng)域：分布參數(shù)系統(tǒng)控制與計(jì)算，信息處理與優(yōu)化技術(shù)。

宋振英（1999-），男，碩士生。研究領(lǐng)域：人工智能，知識圖譜。

許立波（1976-），男，博士，講師。研究領(lǐng)域：機(jī)器學(xué)習(xí)，數(shù)據(jù)挖掘，可拓學(xué)。本文通信作者。

萬星（2000-），女，碩士生。研究領(lǐng)域：人工智能，深度學(xué)習(xí)。