岳琪峰++黃睿++馮偉++張龍

內(nèi)容提要：為探明造成室外文物及遺址發(fā)生病害變化的原因，給文物的預(yù)防性保護提供可靠的量化依據(jù)，本文提出基于圖像分析的適合室外賦存環(huán)境下的文物本體病害演變監(jiān)測方法。通過對頤和園賅春園清可軒和流云閣室外文物兩年連續(xù)的監(jiān)測實例，驗證了本文所提出的監(jiān)測方法可以有效解決室外文物本體病害演變監(jiān)測中的相機位姿和光照的差異校正問題，達到了精確量化度量室外文物本體病害演變的目的。

關(guān)鍵詞：圖像分析；預(yù)防性保護；相機重定位；光照一致化

中圖分類號：K854.3 文獻標識碼：A 文章編號：1000-4106（2017）04-0130-07

Outdoor Heritage Deterioration Monitoring：

Method and Practice

YUE Qifeng1，2 HUANG Rui1，2 FENG Wei1，2

ZHANG Long3，4 CONG Yipeng5 SUN Jizhou1，2

（1. School of Computer Science and Technology， Tianjin University， Tianjin 300350； 2. Key Research Center for Surface Monitoring and Analysis of Relics（SMARC）， State Administration of Cultural Heritage， Tianjin University， Tianjin 300350； 3. School of Architecture， Tianjin University， Tianjin 300350； 4. Key Scientific Research Base of Building Surveying and Mapping of Cultural Relics， State Administration of Cultural Heritage， Tianjin University， Tianjin 300350； 5. Beijing Summer Palace Administration， Beijing 100091）

Abstract： This paper proposes an image analysis based method to monitor the evolution of cultural relic deterioration in outdoor environments， which helps to explain the changes in deterioration and thus provide reliable quantified evidence for preventative heritage protection. Specifically， we first propose a visual navigation camera re-localization method based on image analysis， which solves the problem of positioning and re-localization of monitoring equipment. We then present an illumination correction method based on image intrinsic decomposition and reconstruction to eliminate the negative influence of illumination caused by outdoor cultural relic imaging within complex illumination conditions. The results of monitoring the stone-sculpted relics of Qingkexuan and Liuyunge in the Summer Palace show that the proposed method can effectively eliminate the differences in camera position and illumination during the monitoring of deteriorating outdoor cultural relics and thus obtain precision quantified evaluation of the changes in deterioration.

Keywords： image analysis； preventative protection； camera re-localization； intrinsic image decomposition

一 引 言

近年來，隨著人類文化事業(yè)的快速發(fā)展，文化遺產(chǎn)保護工作也逐漸受到了國家和廣大人民的重視。目前針對重要文物進行館藏或者就地保護的方案已經(jīng)逐漸成為文物工作者的共識，但對于類似于頤和園賅春園清可軒和流云閣這樣的室外文物本體還沒有建立起較好的保護方案。室外文物本體長期暴露在陽光和空氣中，無法像室內(nèi)文物那樣受到較好的保護。在漫長的荒蕪中，室外文物本體長期經(jīng)受著多種外界因素的影響，如風沙侵蝕、雨水滲入、溫濕度變化、環(huán)境中的微生物以及人類活動等，出現(xiàn)了風化、皸裂、褪色、霉變等病害。這些病害對文物本體產(chǎn)生了嚴重的破壞[2，3]。因此，對室外文物進行定期監(jiān)測以觀察文物本體病害演變，分析其成因，并從根本上預(yù)防病害，成為了亟須解決的課題。

目前，一些文物保護工作者采用測量學(xué)中的全站儀來監(jiān)測文物本體的病害變化[4]。全站儀是一種可以精確度量空間兩點間直線距離的測量儀器，廣泛應(yīng)用于地上大型建筑和地下隧道施工等精密工程測量和監(jiān)測領(lǐng)域。其精度在短距離（0-15km）內(nèi)可以達到毫米級[5]。但對于大部分室外的文物遺址，精度過高使結(jié)果中變化部分過多，造成文物保護工作者無法精確定位關(guān)鍵的病害變化區(qū)域，無形中增加了大量的分析辨別工作；對于風化、氧化等，只表現(xiàn)在文物本體顏色變化而沒有距離變化的病害，該儀器無法起到監(jiān)測作用。采用全站儀的方法并不適用于文物的病害變化監(jiān)測。另外，在城市級別的變化監(jiān)測中，基于圖像分析的方法日漸成熟。主要的硬件包括相機、汽車和直升機等[6-9]。這類技術(shù)的對象針對于城市中的建筑、公共設(shè)施等。精度相對于文物本體的變化來說比較低，其目的是了解分析城市的建設(shè)，如震后重建，所以無法將這種方法利用到文物保護中。

隨著科技的快速發(fā)展，越來越多的計算機相關(guān)技術(shù)被文物保護工作者用于文物保護的相關(guān)工作中，例如，數(shù)字近景測量、三維掃描測量等[10]。為了更精確地找到病害變化的位置及趨勢，部分文物保護工作者采用定期定點近景拍攝的方法，對室外場景進行圖像采集并對比分析，但結(jié)果既不精確，也不穩(wěn)定。最主要由兩方面的原因造成：第一，相機不能精確地恢復(fù)上一次拍攝的空間位置及拍攝姿態(tài)，使得兩次拍攝得到的圖像在拍攝范圍和角度上存在較大差異，從而無法對兩次拍攝的圖像進行精確的對比分析；第二，每次拍攝圖像時室外環(huán)境光存在不同程度的差異，致使成像效果不同，所拍圖像無法直接用于監(jiān)測分析。

為了對室外文物進行監(jiān)測，并保證監(jiān)測結(jié)果的精確性和穩(wěn)定性，本文提出了一種基于圖像分析的監(jiān)測方法。其中基于視覺導(dǎo)航的相機重定位法解決了精確恢復(fù)相機上次拍攝位置和相機姿態(tài)的問題，基于多光照條件的本征圖像聯(lián)合分解與重構(gòu)技術(shù)解決了因光照不一致所帶來的成像差異問題。本文所提出的方法不僅解決了監(jiān)測過程中監(jiān)測區(qū)域重復(fù)定位和室外光照條件對文物成像產(chǎn)生影響的問題[11，12]，同時克服了監(jiān)測設(shè)備在復(fù)雜地理環(huán)境中布置和調(diào)節(jié)的困難，并且成本較低，易于普及。通過對頤和園賅春園清可軒和流云閣的實際監(jiān)測實驗證明，本文提出的方法切實可行，從而可以推廣應(yīng)用于室外場景文物的定期監(jiān)測和保護。

二 方 法

如圖1，在基于圖像分析室外文物本體監(jiān)測方法的一個監(jiān)測周期（t到t+1次）中，主要由基于視覺導(dǎo)航的相機重定位、采集圖像、基于多光照條件的本征圖像分解與重構(gòu)（光照一致化）、基于特征匹配的圖像配準（相機姿態(tài)精確調(diào)整）、基于多光照條件下的變化檢測等過程組成。在對文物本體進行病害監(jiān)測時，第一次監(jiān)測無需相機重定位，只需記錄相機初始位置和相關(guān)監(jiān)測點信息。

2.1 首次拍攝采集圖像

首次拍攝采集圖像，即在選好監(jiān)測文物區(qū)域的基礎(chǔ)上對其進行拍照記錄，獲取原始參考圖像。此過程的關(guān)鍵是詳細的記錄拍攝位置和監(jiān)測區(qū)域的數(shù)據(jù)信息，這是實現(xiàn)高精度重定位操作的保證。其中記錄信息包括：相機腳架到監(jiān)測區(qū)域的距離、監(jiān)測區(qū)域的高度和相機的參數(shù)等。

首次對監(jiān)測區(qū)域進行數(shù)據(jù)采集的具體操作流程為：

選擇特征點，以達到文物保護和監(jiān)測微小目標變化的效果；

調(diào)整腳架，記錄場景特征點，通過云臺水平標識調(diào)節(jié)相機至水平狀態(tài)；

調(diào)節(jié)相機參數(shù)，在外加多種不同光源的條件下分別拍攝多組場景照片，記錄相機參數(shù)及拍攝數(shù)據(jù)；

拍攝結(jié)束，對腳架的位置進行記錄（只需記錄大概的位置），關(guān)閉各個實驗儀器，選取下一目標場景進行拍攝。

2.2 基于視覺導(dǎo)航的相機重定位

再次采集監(jiān)測點圖像時，相機的精準重定位是檢測文物本體微小變化的關(guān)鍵。相機重定位是指參照前一次采集圖像及采集的位置信息精確地恢復(fù)相機的六個自由度，即恢復(fù)相機的空間位置（x， y， z）和姿態(tài)（？茲x，？茲y，？茲z）。為了實現(xiàn)相機重定位，本文提出了一種基于圖像分析的重定位方法——視覺導(dǎo)航重定位。通過當前相機采集圖像的特征信息與參考圖像進行比對，計算分析出當前相機的六個自由度與參考數(shù)據(jù)的差距，并將當前圖像與參考圖像的差異在軟件界面中以導(dǎo)航框（如圖2）的形式實時顯示，引導(dǎo)操作者調(diào)整相機的位置和姿態(tài)，從而逐步達到上次相機的位姿，完成相機重定位。

在計算分析當前相機六個自由度的過程中，首先需要對實時采集的圖像進行SIFT（Scale-invariant feature transformation，尺度不變特征變換）特征點的提取并與參考圖像的特征點進行匹配。然后，在匹配的特征點對中篩選部分點用來估計當前相機的六個自由度。最后將六個自由的差異以紅藍框的形式反映到二維圖像上。

如圖2，藍色框反映采集參考圖像相機的位置和姿態(tài)。由于參考圖像已經(jīng)確定，所以藍框在重定位過程中一直保持不變。紅色框體現(xiàn)當前相機位置和姿態(tài)。具體的生成的步驟為：一，程序?qū)崟r的提取當前圖像和參考圖像的SIFT特征點。二，通過兩張圖像匹配的特征點計算出映射矩陣，該映射矩陣反映了兩張圖片之間的二維變換關(guān)系。三，通過該映射矩陣計算出紅框的體現(xiàn)形態(tài)。重定位過程中，紅框變化的同時軟件界面中以文字的形式給出當前相機的六個自由度的移動趨勢的提示。通過圖像和文字的提示調(diào)整相機位姿，直到紅藍框近似重合，即達到了重定位的目的。

具體的操作流程如下：

初步定位相機腳架。依據(jù)之前記錄的監(jiān)測位置信息初步地確定相機腳架的位置；

開啟重定位程序，架設(shè)好相機之后，連接到電腦，同時開啟相機重定位程序，調(diào)節(jié)相機參數(shù)，適應(yīng)光照環(huán)境；

重定位，依據(jù)程序界面導(dǎo)航框提示的移動方向調(diào)節(jié)相機腳架，直至達到精確恢復(fù)相機各個自由度；

采集圖像，重定位結(jié)束后，對監(jiān)測區(qū)域采集圖像。

2.3 多光照條件的本征圖像分解與重構(gòu)

戶外拍攝條件下，不同時間拍攝時自然光明暗程度發(fā)生變化，同時難以保持相同的輔助光條件，因此拍攝圖像的光源一致性是難以保證的。這種條件下拍攝的圖像由于光線存在較大差異，難以完成細微的差異分析。為了保證圖像的光源一致性，本文采用本征圖像分解重構(gòu)的方法[13]，重構(gòu)出所有的圖像在同一光照條件下的結(jié)果，從而為進一步分析打下基礎(chǔ)。

物體表面的顏色由物體的形狀、物體的材質(zhì)、光源位置、光源顏色、觀察角度等屬性所決定。反射率（Reflectance）和亮度（Shading）是決定物體表面顏色的兩種重要本征屬性。一張圖像可分解成反射率與亮度之積，表示成公式如下：

I=R×S （1）

其中R即為反射率，反映了物體本身的材質(zhì)和顏色；S為亮度，它與光源的位置角度以及光源的顏色有關(guān)，反映了光照條件?；谠撛?，對多種光照條件下圖像采取聯(lián)合本征圖像分解的方式，分別提取出每張圖像的R和S，然后將某個特定S應(yīng)用到所有R上，從而重構(gòu)出相同光照條件下的圖像，即可表述為：

Ii=Ri×Si，i∈{1，2} （2）

I2′=R2×S1 （3）

簡化到本文中的應(yīng)用，1代表原始參考圖片，2代表重定位圖片。則依據(jù)公式（1）可以將兩張圖片簡化為公式（2），表示對兩張圖片分解。公式（3）則表示對圖像重構(gòu)的結(jié)果，即將原始參考圖片的光照條件S重構(gòu)到重定位圖片的R中，完成光照一致化。

如圖3所示，對于給定的原始參考圖像和重定位兩張輸入圖像，經(jīng)過多光照條件的本征圖像聯(lián)合分解與重構(gòu)，可以得到和原始參考圖像光照一致的重定位圖像。

2.4 基于特征匹配的圖像配準

由于基于視覺導(dǎo)航的相機重定位方法并不能保證精確恢復(fù)相機的空間位置和姿態(tài)，致使兩次圖像在對應(yīng)的目標區(qū)域上不完全一致，因此需要在光照一致化的基礎(chǔ)上對圖像進行配準，保證圖像位置上能夠完全重合一致。本文采用光流（op-

tical flow）[14，15]解決該問題，通過光流算法，計算出兩張圖片對應(yīng)的光流場，再將其作用到重定位圖片上，以實現(xiàn)圖像的校正。

2.5 基于多光照條件下的變化檢測

完成圖像校正和不同光照條件下的光照一致化后，需要對目標場景中出現(xiàn)的變化進行比較分析，發(fā)現(xiàn)其中細小目標的差異。對處理后的圖像做差值處理，對差值圖像在設(shè)定閾值標準下進行二值化處理。在閾值的選取中，通過手動調(diào)節(jié)閾值觀察實驗結(jié)果圖片中變化區(qū)域的變化趨勢，當變化區(qū)域收斂時，確定該閾值，完成變化檢測。

三 數(shù)據(jù)獲取與實驗結(jié)果

3.1 監(jiān)測地點簡介

監(jiān)測地點選擇頤和園萬壽山處賅春園的清可軒和流云閣遺址。賅春園原是頤和園里一座有著山林野趣的小景點，始建于乾隆二十三年（1758）。其中的清可軒、流云閣景觀建筑充分利用了萬壽山后山西部天然的巖石溝壑，因地制宜，依山勢而建，尤以滿壁的巖石鐫刻而著名。1860年被英法聯(lián)軍焚毀。光緒時期，慈禧挪用海軍軍費在清漪園廢墟上改建頤和園，因財力有限，賅春園等許多景點都沒能恢復(fù)，一直荒蕪至今。

清可軒與流云閣的摩崖石刻主要存在著風化、雨水侵蝕、裂隙、生物污染等病害。這兩處是典型的室外文物，且監(jiān)測意義重大，通過對其的定期監(jiān)測和分析，可以分析不同病害對文物本體帶來的影響，為預(yù)防性保護提供可靠的依據(jù)。

3.2 監(jiān)測數(shù)據(jù)獲取

本次監(jiān)測的四處目標場景中清可軒壁上詩詞兩處，流云閣佛像兩處。初次拍攝記錄了場景信息，再次拍攝根據(jù)已有的位置通過重定位方法，在相同位置拍攝崖壁和佛像的相同區(qū)域，根據(jù)兩次拍攝的圖片，可以計算場景中微小的變化。

崖壁監(jiān)測的兩處監(jiān)測區(qū)域和定位點標識如圖4所示，其中紅框表示監(jiān)測區(qū)域。圖5展示了部分工作場景（左邊為夜間，右邊為白天）。

3.3 實驗結(jié)果

3.3.1 圖像處理中間結(jié)果

圖6中，A、B為流云閣金佛監(jiān)測點處圖像，C、D為清可軒摩崖石刻圖像。第一列為原始參考，圖像采集時間為2013年12月；第二列為重定位圖像，圖像采集時間為2014年12月；第三列為校正后的結(jié)果圖像；第四列為本征圖像分解與重構(gòu)的結(jié)果圖像。

為了驗證實驗的結(jié)果，使用公式（4）來計算兩幅圖片的差異程度，其中Ii j代表圖像上一個像素的RGB值。兩圖像相減后，將差值做歸一化處理。0代表無差異，1為差異巨大。

■■ ■（Iij-I′ij）2 （4）

由此，分別得到第二（Col2），三（Col3）和四列（Col4）與第一列（Col1）圖片的差異程度如表2所示。

其中圖像校正算法使圖片四周發(fā)生較多噪點，在進行差異程度計算之前先將圖片的四周裁掉。具體數(shù)據(jù)為原來圖片大小為：960×640（像素），截取之后圖片大小820×520（像素）。由表2可以得出A、B監(jiān)測點圖像的差異逐漸變小，C、D監(jiān)測點第四列與第一列差異相比前一列有上升，但數(shù)量差異較小。由此得出的圖像校正、本征圖像分解與重構(gòu)方法為后續(xù)的變化檢測提供了精確的實驗數(shù)據(jù)。

3.3.2 微小變化監(jiān)測結(jié)果及分析

如圖7所示，依次是監(jiān)測場景金佛（A）、兩佛（B）、清可軒西壁（C）和蒼崖（D）的圖像差值結(jié)果。在分析過程中我們將變化分為兩類：一種是文物本體變化（用紅框標識），例如，文物本體表面脫落、風化等；另一種是非文物本體變化（用藍框標識），例如苔蘚脫落、樹葉、石子等。

在場景A的結(jié)果圖中可以看出中間金佛表面金色涂料脫落，這屬于文物本體變化；下側(cè)石臺上有石子，這屬于非文物本體變化。兩種變化的比例如圖8所示。

場景B中，文物本體無變化，變化區(qū)域為石上苔蘚脫落。

場景C中出現(xiàn)風化的現(xiàn)象，其中題字“四”周圍出現(xiàn)較為嚴重的風化現(xiàn)象，石壁較第一次拍攝呈白色。由此也可以看出，本方法在監(jiān)測文物本體發(fā)生顏色上的變化時取得了很好的效果。

場景D中，雖然出現(xiàn)變化結(jié)果圖，但未將其標記到原圖中，原因是監(jiān)測的核心區(qū)域凸起，造成前后采集圖像時四周出現(xiàn)較大陰影，尤其是右上側(cè)。本征圖像分解與重構(gòu)方法中對陰影區(qū)域的處理存在偏差，使結(jié)果出現(xiàn)錯誤，也對本文所述方法的適應(yīng)性提出更高的要求。

四 結(jié) 論

本文提出了基于圖像分析的適合室外文物病害演變監(jiān)測的方法，并將其應(yīng)用于頤和園清可軒和流云閣等室外文物遺址的本體病害監(jiān)測中。本文提出基于圖像分析的視覺導(dǎo)航相機重定位的方法，解決了監(jiān)測設(shè)備的位置和姿態(tài)的重定位問題。本文還提出本征圖像分解與重構(gòu)的光照校正方法用于避免室外文物遺址在復(fù)雜光照條件下所造成的成像光照差異問題。在后期的圖像處理中采用現(xiàn)有成熟的圖像分析算法，如光流和圖像閾值等，與實際問題實現(xiàn)了有機的結(jié)合，實現(xiàn)了對文物本體變化檢測的目的。尤其是在文物本體出現(xiàn)風化等表現(xiàn)在顏色變化的病害時，能夠取得比較理想的結(jié)果。

實驗結(jié)果顯示，頤和園清可軒及流云閣的室外摩崖石刻文物遺址存在著風化、文物表面脫落等文物本體的病害，并且病害的發(fā)展有進一步擴大、嚴重的趨勢。建議文物保護部門盡快在文物的外部加裝能夠抵御風雨的保護材料。

經(jīng)過幾次實地的數(shù)據(jù)采集，我們總結(jié)了監(jiān)測方法與實際操作的優(yōu)勢與不足，具體來講：方法的優(yōu)勢在于可以通過視覺導(dǎo)航重定位方法快速實現(xiàn)相機位置和姿態(tài)的恢復(fù)，并且在實驗數(shù)據(jù)的后期處理過程中，能夠較好地排除光照條件對文物本體成像差異的影響；同時該方法存在著設(shè)備集成度較低、穩(wěn)定性差和操作步驟繁瑣的缺點。在之后的實驗中，我們會在實驗原理的嚴謹性和實驗步驟的簡潔性上做進一步的討論與改進，此外，將增強實驗設(shè)備對復(fù)雜室外操作環(huán)境的適應(yīng)性，以便于將試驗方法拓展到更多的文物保護場景中。

參考文獻：

[1]王鴻雁.頤和園非物質(zhì)文化遺產(chǎn)的挖掘保護和利用[C]// 北京博物館學(xué)會保管專業(yè)十年學(xué)術(shù)研討紀念集.北京：北京燕山出版社，2010.

[2]張秉堅， 尹海燕， 鐵景滬.石質(zhì)文物表面防護中的問題和新材料[J].文物保護與考古科學(xué)， 2000（2）：1-4.

[3]Sax J L.Heritage Preservation as a Public Duty： The Abbé Grégoire and the Origins of an Idea[J]. Michigan Law Review， 1990， 88（5）：1142-1169.

[4]靳志光.圖像全站儀系統(tǒng)若干技術(shù)問題研究及應(yīng)用[D].解放軍信息工程大學(xué)， 2008.

[5]Frei E，Ingensand H，Scherrer R.Surveying system including an electro-optic total station and a portable receiving apparatus comprising a satellite position-measuring system[J].1993.

[6]Schindler G，Dellaert F.Probabilistic temporal inference on reconstructed 3D scenes[C]//in Proc.IEEE Computer Vision and Pattern Recognition.2010.

[7]Taneja A，Ballan L，Pollefeys M.Image based detection of geometric changes in urban environments[C]//in Proc.IEEE International Conference on Computer Vision.2011.

[8]Sakurada K，Okatani T，Deguchi K.Detecting Changes in 3D Structure of a Scene from Multi-view Images Captured by a Vehicle-Mounted Camera[C]//in Proc.Computer Vision and Pattern Recognition.2013.

[9]Liu J，Liu Y.Local Regularity-Driven City-Scale Facade Detection from Aerial Images[C]//in Proc. IEEE Computer Vision and Pattern Recognition.2014.

[10]Pavlidis G，Koutsoudis A，Arnaoutoglou F，et al. Methods for 3D digitization of Cultural Heritage[J].Journal of Cultural Heritage，2007，8（1）：93-98.

[11]Shotton J，Glocker B，Zach C，et al.Scene Coordinate Regression Forests for Camera Relocalization in RGB-D Images[C]// in Proc.IEEE Computer Vision and Pattern Recognition.2013.

[12]Gee A P，Mayol-Cuevas W W.6D Relocalisation for RGBD Cameras Using Synthetic View Regression [C]// in Proc.BMVC.2012.

[13]Dai H，F(xiàn)eng W，Wan L，et al.L0 co-intrinsic images decomposition[C]// in Proc.IEEE International Conference on Multimedia and Expo.2014.

[14]Horn B K P，Schunck B G.Determining optical flow[J].Artificial Intelligence，1980，17（1-3）：185-203.

[15]Barron J L，F(xiàn)leet D J，Beauchemin S S.Performance of optical flow techniques[J].International Journal of Computer Vision，1994， 12（1）：43-77.