王 樂，任小甲

(山西農(nóng)業(yè)大學(xué)信息學(xué)院，山西 晉中 030800)

1 引言

中國有著豐富的傳統(tǒng)文化遺產(chǎn)和出土文物，非物質(zhì)文化遺產(chǎn)的傳承和保護(hù)力度不斷加大。一些經(jīng)濟(jì)文化發(fā)達(dá)地區(qū)已采用最先進(jìn)的數(shù)字化管理方法對這些非物質(zhì)文化遺產(chǎn)資源進(jìn)行保護(hù)。山西省被譽(yù)為“中華文明的搖籃”，文化遺產(chǎn)十分豐富，尤其是漆藝，但數(shù)字保護(hù)工作仍處于探索階段。漆器數(shù)字化的發(fā)展方向是在表面細(xì)節(jié)重構(gòu)的基礎(chǔ)上，發(fā)展虛擬現(xiàn)實結(jié)合、全景顯示等技術(shù)，從生產(chǎn)方式和成品效果上更好地表現(xiàn)漆器工藝，以便于人們隨時隨地了解山西漆藝的文化背景和制作工藝，使其成為一種獨特的非物質(zhì)文化遺產(chǎn)傳承和保護(hù)方式。

細(xì)節(jié)重建不僅可以為保存完好的文物細(xì)化重構(gòu)提供技術(shù)支持，也是修復(fù)受損文物表面紋理的關(guān)鍵環(huán)節(jié)。為了提高虛擬重建的效果，一些學(xué)者在后續(xù)的研究中提出了具體的改進(jìn)措施。文獻(xiàn)[1]提出一種優(yōu)化的迭代反投影超分辨率重構(gòu)方案。將迭代反投影和限制對比度自適應(yīng)直方圖均衡方法相結(jié)合重建高分辨率圖像，增強(qiáng)重建后的紋理信息，同時使用灰度信息和梯度特征的能量優(yōu)化模型對重建后的圖像做進(jìn)一步優(yōu)化處理，但是最終結(jié)果不利于多媒體數(shù)據(jù)庫建立和漆器細(xì)節(jié)重構(gòu)的虛擬展示。文獻(xiàn)[2]提出結(jié)合光照補(bǔ)償?shù)膱D像細(xì)節(jié)重構(gòu)方法。根據(jù)光照方向與光強(qiáng)的參數(shù)估計，選取高光區(qū)域并進(jìn)行均勻光照處理，以激光點變化路徑修正均值漂移算法的漂移部分，構(gòu)建改進(jìn)的均值漂移中心描述子，對圖像噪聲與空洞進(jìn)行修復(fù)，實現(xiàn)物體表面細(xì)節(jié)重構(gòu)，但是細(xì)節(jié)表達(dá)方式存在二義性。文獻(xiàn)[3]基于AR技術(shù)對激光圖像進(jìn)行重建，利用分塊顏色的特征提取方法對激光圖像的特征進(jìn)行提取，將提取的激光圖像特征利用在激光圖像的識別中，對圖像的特征進(jìn)行匹配，并利用激光圖像的適應(yīng)度函數(shù)降低了激光圖像重建產(chǎn)生誤差，卻不涉及細(xì)節(jié)重構(gòu)。

充分利用AR技術(shù)的特點，再現(xiàn)漆器的造型和生產(chǎn)過程。細(xì)節(jié)重建是利用計算機(jī)圖形學(xué)技術(shù)，通過對原始物體的獲取和映射，在計算機(jī)模型的表面上實現(xiàn)對原始物體細(xì)節(jié)的重構(gòu)。為此，利用AR技術(shù)實現(xiàn)漆器表面構(gòu)造細(xì)節(jié)虛擬重建。AR與細(xì)部重構(gòu)相結(jié)合，可以保持不同類型漆器表面細(xì)節(jié)的完整性，更好地再現(xiàn)文物肌理重建的過程，有效保護(hù)地方文化資源，促進(jìn)山西文化軟實力和地方經(jīng)濟(jì)建設(shè)。

2 AR系統(tǒng)基本結(jié)構(gòu)與關(guān)鍵技術(shù)分析

2.1 組成結(jié)構(gòu)

AR系統(tǒng)基本結(jié)構(gòu)如圖1所示。主要包含真實場景獲取、虛擬目標(biāo)數(shù)據(jù)庫、圖像變換和渲染以及顯示設(shè)備等模塊。

圖1 AR系統(tǒng)基本組成結(jié)構(gòu)示意圖

首先，系統(tǒng)需要采集真實物體的圖像，獲取虛擬物體的配準(zhǔn)信息，包括將虛擬物體轉(zhuǎn)換為真實場景所需的位置和姿態(tài)信息。計算機(jī)將這些信息組合起來，實現(xiàn)虛擬目標(biāo)的坐標(biāo)變換和繪制，然后將其與真實目標(biāo)圖像疊加，達(dá)到虛、實結(jié)合的目的。最后，使用顯示裝置向用戶提供虛擬與真實相結(jié)合的詳細(xì)重建圖像[4]。

2.2 AR實現(xiàn)的核心技術(shù)

在AR系統(tǒng)的運(yùn)行過程中，通常需要經(jīng)過以下幾個過程：該系統(tǒng)利用攝像機(jī)獲取真實目標(biāo)圖像，對真實圖像進(jìn)行分析處理，通過不同坐標(biāo)系之間的轉(zhuǎn)換計算得到攝像機(jī)外部參數(shù)數(shù)據(jù)，確定攝像機(jī)在真實場景中的位置和姿態(tài)信息，從而真實地呈現(xiàn)虛擬內(nèi)容信息時間，通過虛實融合，將其疊加在實際場景中，并通過顯示設(shè)備輸出。

結(jié)合AR系統(tǒng)的結(jié)構(gòu)，AR具有虛擬現(xiàn)實結(jié)合、實時交互和三維跟蹤配準(zhǔn)三大特點[5]。真實感增強(qiáng)的最終目的是使虛擬信息和真實場景信息實時疊加，并將二者準(zhǔn)確地融合在一起。在這個過程中，三維跟蹤配準(zhǔn)是系統(tǒng)中的一個重要步驟，即在系統(tǒng)的工作過程中，需要檢測和識別真實環(huán)境中目標(biāo)的特征，并根據(jù)實際環(huán)境圖像確定三維空間中真實物體的攝像機(jī)坐標(biāo)，從而實現(xiàn)了虛擬物體在實際場景中的精確定位。三維跟蹤注冊流程如圖2所示。

圖2 AR三維跟蹤注冊流程示意圖

3 基于AR的漆器表面構(gòu)造細(xì)節(jié)虛擬重建

3.1 漆器表面構(gòu)造細(xì)節(jié)采集

漆面紋理的紋理獲取是細(xì)節(jié)重構(gòu)的第一步，也是重構(gòu)工作的重要組成部分。細(xì)節(jié)信息采集的真實性和完整性直接影響最終重建質(zhì)量。因此，有必要設(shè)置采集裝置，確定采集條件。

3.1.1 細(xì)節(jié)采集裝置設(shè)計

圖3 回轉(zhuǎn)臺示意圖

在采集過程中，首先搭建一個轉(zhuǎn)臺[6]，將漆器放在中間的固定工作臺上，將攝像機(jī)放在轉(zhuǎn)臺上。設(shè)定旋轉(zhuǎn)角度、轉(zhuǎn)彎半徑、離地距離和拍攝角度，并根據(jù)實際需要進(jìn)行調(diào)整。此外，建立了與靜止工作臺相關(guān)的模型坐標(biāo)系。在圖像采集時，需要從不同角度進(jìn)行拍攝，通過不斷調(diào)節(jié)回轉(zhuǎn)臺與靜止臺相對高度實現(xiàn)相機(jī)繞Z軸的旋轉(zhuǎn)，完成細(xì)節(jié)采集點的空間布置。同時必須清楚相機(jī)內(nèi)部參數(shù)與外部參數(shù)，確定照片與模型之間位置關(guān)系。

需要注意的是，漆器是相對于相機(jī)的位置。在采集過程中，相機(jī)可以移動，漆器靜止，相機(jī)不動，漆器在動。如果采用后一種方法采集，工作臺需要有兩個自由度來旋轉(zhuǎn)坐標(biāo)軸，并且必須增加固定和夾緊裝置。

3.1.2 采集誤差對細(xì)節(jié)重建的影響

成像誤差對被拍攝物體平面造成的影響如圖4所示，針對實體表面點p根據(jù)投影原理在照片平面中最佳成像點是p′，由于各類因素影響形成的成像誤差使實際成像點落在p″。假設(shè)Δ=|p′p″|，則因為誤差Δ導(dǎo)致細(xì)節(jié)重建誤差表示為Δ1=|pp1|。

圖4 成像誤差對紋理重建影響示意圖

由此可知，紋理重建誤差不容忽視，可對采集點進(jìn)行準(zhǔn)確分配控制紋理采集誤差，達(dá)到理想重建效果。

3.2 細(xì)節(jié)圖像預(yù)處理

利用圖像掃描儀等設(shè)備采集細(xì)節(jié)圖像時，因為多重原因?qū)е聢D像中包括不同種類噪聲與畸變。去除影響圖像畫質(zhì)的因素，使圖像中有用的信息更易于提取，是圖像預(yù)處理的關(guān)鍵目標(biāo)。本文從以下幾個方面提高了圖像采集的質(zhì)量。

1)對比度增強(qiáng)

對比度是屏幕上最亮和最暗點之間的亮度對比。如果圖像對比度差，其內(nèi)容就很難識別。本文采用直方圖變換的方法來增強(qiáng)對比度。

本次設(shè)計方法是使變換后的圖像整體灰度分布，各灰度級的直方圖高度相同。圖像的灰度分布有稠密和稀疏兩部分。將稀疏區(qū)域拉長，使整體對比度得到壓縮。

2)圖像銳化

在圖像采集系統(tǒng)中，由于聚焦不好和信號頻帶狹窄，不可避免地會造成目標(biāo)輪廓模糊。圖像模糊的原因是高頻空間分量較弱，這種影響主要存在于灰度變化較大的邊緣部分。因此，為了提高模糊度，必須增強(qiáng)高頻分量。本文采用空間處理的方法對圖像進(jìn)行銳化處理[7-8]。

在空域處理過程中利用拉普拉斯算子對高頻區(qū)域增強(qiáng)濾波，其表達(dá)式為

g(i，j)=f(i，j)-?2f(i，j)

(1)

式中，輸入圖像f(i，j)的二次微分拉普拉斯算子表示為

?2f(i，j)=f(i+1，j)+f(i-1，j)+f(i，j+1)

(2)

這種方法較為直觀，計算量較小，可實現(xiàn)圖像銳化處理。

3)平滑與噪聲去除

本文采用移動平均法消除噪聲。這種方法是從同一角度對多幅圖像進(jìn)行平均得到一幅圖像。去除一幅圖像中的噪聲時，可將輸入圖像中某點鄰域值k的平均灰度當(dāng)做輸出圖像點(i，j)的值，以此降低圖像中噪聲導(dǎo)致的灰度偏差。

利用n×n的正方形鄰域時刻得到

(3)

式中，[n/2]代表低于n/2的最高整數(shù)，并將n設(shè)置為奇數(shù)。

圖5 平均濾波示意圖

在使用上述方法時，需要注意的是，如果將平均灰度值的鄰域設(shè)置得更大，或者重復(fù)操作，圖像會變得模糊，質(zhì)量會降低。因此，這是一個3×3小面積的使用。為了進(jìn)一步抑制模糊現(xiàn)象，矩陣的中心權(quán)可以高于周圍的權(quán)重。

3.3 細(xì)節(jié)虛擬重建實現(xiàn)

為了實現(xiàn)表面結(jié)構(gòu)細(xì)節(jié)從圖像到計算機(jī)模型的映射，需要建立圖像點與漆器表面點之間的對應(yīng)關(guān)系，本文利用幾何變換矩陣得到了相應(yīng)的關(guān)系式[9-10]。

1)坐標(biāo)系的旋轉(zhuǎn)和平移變換

整個細(xì)節(jié)采集過程相當(dāng)于相機(jī)坐標(biāo)系圍繞漆器模型坐標(biāo)系旋轉(zhuǎn)，從不同角度采集表面細(xì)節(jié)。該過程可以通過旋轉(zhuǎn)和平移模型坐標(biāo)系中的點來實現(xiàn)。在細(xì)節(jié)采集過程中，相機(jī)針對于目標(biāo)存在一個繞Y軸的順時針旋轉(zhuǎn)角θ，即相機(jī)保持不動，而目標(biāo)朝著反方向旋轉(zhuǎn)θ角，則變換矩陣表示為

(4)

根據(jù)上述原理，假設(shè)令R2表示相機(jī)圍繞X軸旋轉(zhuǎn)的矩陣，則總矩陣表示為

R=R1×R2

(5)

相機(jī)針對目標(biāo)的移動同樣也看做目標(biāo)對相機(jī)做反向運(yùn)動，平移變換矩陣如下：

(6)

式中，(Xc，Yc，Zc)表示相機(jī)鏡頭在模型坐標(biāo)系中的坐標(biāo)位置。經(jīng)過旋轉(zhuǎn)與平移矩陣實現(xiàn)點從模型坐標(biāo)系到相機(jī)坐標(biāo)系的位置變換，變換公式如下

(x，y，z，1)=(X，Y，Z，1)×R×T

(7)

式中，(x，y，z，1)與(X，Y，Z，1)分別表示相機(jī)與模型坐標(biāo)系的齊次坐標(biāo)點。

2)投影變換

在分析坐標(biāo)系的旋轉(zhuǎn)和平移后，結(jié)合相機(jī)成像幾何關(guān)系圖，將o作為相機(jī)光心，點o與x，y，z軸構(gòu)成的坐標(biāo)系為相機(jī)坐標(biāo)系，uo1v屬于圖像坐標(biāo)系。x軸、y軸分別和u軸、v軸相互平行，z軸為相機(jī)光心線，與圖像平面垂直。光心線和照片平面交點o1是照片坐標(biāo)系原點，通常處于圖像中心位置。因此可以得出

u=fx/z

(8)

v=fy/z

(9)

式中，f表示相機(jī)焦距，z屬于相機(jī)坐標(biāo)點p的深度坐標(biāo)值。因此，p點相機(jī)坐標(biāo)和照片坐標(biāo)的投影關(guān)系能夠描述為

w(u，v，1)=(x，y，z，1)×F

(10)

由式(9)與式(10)可以得出模型坐標(biāo)點與照片坐標(biāo)點投影變換公式：

w(u，v，1)=(X，Y，Z，1)×R×T×F

(11)

由于其它網(wǎng)格模型的映射情況和三角網(wǎng)格基本相同，因此，本文只考慮漆器模型為三角網(wǎng)格的情況。假設(shè)在面片i的全部紋理采集圖像中，只有圖像j與j+1中含有面片i的細(xì)節(jié)信息，此面片在圖像j與j+1中分別與三角形1、2區(qū)域的紋理值相對。向量Ni表示面片i的外法向量；Aj與Aj+1分別代表與圖像j和j+1平面相互垂直的向量，和兩個圖像細(xì)節(jié)采集方向相同。在選擇利用哪張圖像的紋理映射該面片時，必須分析向量Ni與Aj、Aj+1之間夾角，將夾角較小向量對應(yīng)方向采集的紋理用作對該面片映射。

經(jīng)過上述映射流程，可實現(xiàn)漆器模型表面任意一個三角面片的紋理均來自采集的最佳細(xì)節(jié)圖像，確保整個表面構(gòu)造細(xì)節(jié)中間的真實性，實現(xiàn)面片間紋理連續(xù)性，提高重建效果。

4 仿真數(shù)據(jù)分析與研究

為驗證基于AR的漆器表面結(jié)構(gòu)細(xì)節(jié)虛擬重建效果，選取一只漆器盤子進(jìn)行仿真對比實驗。對這只盤子的形狀與表面紋理進(jìn)行觀察，可以看出，盤子的水平截面比較勻稱，存在恒定曲率；表面紋理分布較為集中且分布角度較小。所以結(jié)合細(xì)節(jié)采集原則，在紋理圖案中心處設(shè)置一個采集點1，在與采集點1相對的回轉(zhuǎn)軸旋轉(zhuǎn)60°、120°、240°三個位置分別設(shè)置采集點2、3和4，這樣即可實現(xiàn)全面的表面細(xì)節(jié)采集工作。同時測量該盤子尺寸，利用計算機(jī)建立模型。

圖6 盤子表面紋理采集

從實驗對比圖7中可以看出：利用本文方法得到的漆器表面結(jié)構(gòu)細(xì)節(jié)重建效果最佳，與樣本圖像沒有差別。文獻(xiàn)[1]、文獻(xiàn)[2]和文獻(xiàn)[3]方法展示出來的重建效果都存在邊緣模糊現(xiàn)象，這是因為所提方法在采集圖像后，對圖像進(jìn)行預(yù)處理，去除噪聲，增強(qiáng)對比度，充分利用AR技術(shù)特點再現(xiàn)了漆器表面細(xì)節(jié)重構(gòu)工藝。

圖7 不同方法重建效果圖

因為漆器圖像受到光照強(qiáng)度、相機(jī)位置等因素影響，會出現(xiàn)不同變形量。針對任意一個細(xì)小片面，細(xì)節(jié)值不只由一張圖像的對應(yīng)點獲得，而是與多張圖像紋理值相互對應(yīng)，不同方法的紋理采集方向表示相機(jī)坐標(biāo)系的位置變換程度，不同方法的片面紋理采集方向示意圖如圖8所示。

圖8 面片紋理采集方向

圖8中，為降低面片映射的紋理變形程度，選取和其法向量夾角最小角度的圖像進(jìn)行映射，因此其可以精準(zhǔn)定位到文理區(qū)域，相比其它文獻(xiàn)方法，具有較強(qiáng)的魯棒性。

針對漆器而言，其法向量夾角即最小的細(xì)節(jié)采集方向，因此，對比不同方法重構(gòu)后相機(jī)針對于目標(biāo)的向量夾角，對比結(jié)果如圖9所示。

圖9 面片最佳紋理效果獲取

如圖9所示，相比于其它文獻(xiàn)方法，對于紋理映射誤差問題，可以利用AR系統(tǒng)的可編輯性，對映射參數(shù)調(diào)整使映射的紋理縮放和平移，與目標(biāo)的向量夾角一直保持在54-72°之間，與實際向量夾角擬合度為89%，補(bǔ)償重建誤差。

5 結(jié)論

1)利用AR技術(shù)對漆器表面細(xì)節(jié)重建進(jìn)行分析與探索，與目標(biāo)的向量夾角一直保持在54-72°之間，獲得理想重建效果。

2)定位相機(jī)通過虛擬再現(xiàn)，與實際向量夾角擬合度為89%，便于相關(guān)工作者了解漆器制作工藝，有利于對傳統(tǒng)文化遺產(chǎn)的保護(hù)與傳承。

3)在接下來研究中，可在現(xiàn)有工作基礎(chǔ)上，建立人-機(jī)操作界面，將細(xì)節(jié)采集的有關(guān)數(shù)據(jù)作為信息輸入，在模型上自動實現(xiàn)細(xì)節(jié)重建工作，將其當(dāng)作最后信息輸出，省去中間復(fù)雜環(huán)節(jié)。通過數(shù)字化展示平臺擴(kuò)大山西漆藝的社會影響力，創(chuàng)造一定非遺價值與品牌。