姜穎道, Joonsung Yoon, 陳德賀, 李顏慧

1(青島黃海學(xué)院 藝術(shù)學(xué)院, 青島 266427)

2(崇實大學(xué) 信息技術(shù)學(xué)院, 首爾 06978)

基于計算機技術(shù)的數(shù)字媒體技術(shù)的發(fā)展及應(yīng)用加快了數(shù)字博物館研究的進展及發(fā)展.尤其是文物的數(shù)字化研究, 采用激光掃描和攝影測量等采集技術(shù), 真實精準(zhǔn)地重建文物的三維模型[1,2].目前, 大部分博物館展覽系統(tǒng)使用帶有頭部跟蹤技術(shù)的立體3D顯示來實現(xiàn)基于雙目視差和運動視差的3D效果.但這種展覽方式用戶需佩戴3D眼鏡或頭戴式顯示器(HMD)等特殊護目鏡, 僅限于用戶小范圍的深度感知, 不能同時支持多個用戶體驗[3].在裸眼3D圖像研究方面, 日本的Yoshida等提出了一種新穎的裸眼桌面3D圖像顯示系統(tǒng).該圖像利用水平視差和視差屏障, 在平板上呈現(xiàn)漂浮的虛擬物體, 滿足了多個用戶在不同角度的觀覽[4].然而, 在清晰度、分辨率和幀速率方面, 視點數(shù)量和圖像質(zhì)量之間存在權(quán)衡, 無法完整展現(xiàn)文物本身的真實感.

在博物館展覽中投影映射技術(shù)是最受歡迎也是最常用的一種投影技術(shù).這種技術(shù)通過預(yù)先制作好的視頻或圖形投射到物體表面上來創(chuàng)造文物的數(shù)字內(nèi)容.通過具有3D形狀的投影面可以獲得自然的隱喻深度,并且通過投影圖像可以動態(tài)地改變目標(biāo)面的外觀[1].基于投影方式的數(shù)字展覽讓多個用戶在不佩戴任何設(shè)備的情況下觀看和與三維虛擬物體進行交互, 因此它非常適合博物館的數(shù)字展覽.為了更好地將投影映射技術(shù)應(yīng)用于博物館的數(shù)字展覽, 獲得高質(zhì)量的投影效果,首先需要高度控制的照明環(huán)境.在博物館或展覽館的一般照明條件下, 由于環(huán)境光的影響, 投影圖像的顏色范圍受到限制.其次, 由于其他展品的遮擋, 常常會限制投影面積的范圍、展品的擺放和投影儀的位置.此外, 由于參觀者的不注意, 會進入投影區(qū)域, 影響其他參觀者的“沉浸”.最后, 現(xiàn)有的投影展覽方式是物體投影表面是靜態(tài)的, 其投影內(nèi)容是固定的, 無法滿足動態(tài)的展覽風(fēng)格.為了創(chuàng)造更具動態(tài)性和戲劇性的數(shù)字內(nèi)容, 需要提高物理投影面的自由度.

基于上述問題, 本文提出了一種新的三維數(shù)字展示系統(tǒng), 解決了傳統(tǒng)意義上的基于投影展覽系統(tǒng)的局限性: 環(huán)境光的影響、物體遮擋及由靜態(tài)投影面導(dǎo)致的內(nèi)容受限等問題.

1 系統(tǒng)概述

該系統(tǒng)由以下幾個設(shè)備來構(gòu)成——兩個分辨率為1024×768和1400 ANSI流明的數(shù)字光處理(DLP)投影儀(LG mini-beam PF1500), 兩臺可以拍攝2048×1536分辨率的圖像、可達60 fps的電荷耦合器件的(CCD)攝像機(東芝TELI BU 302MCF), 物理模型是用硅模塑和石膏澆鑄制成的, 其表面涂有白色漫反射噴霧, 以提供最佳的投影表面.旋轉(zhuǎn)杠由電機(MDrive NEMA34)和安裝在電機上的光學(xué)編碼器(YUMO E6B2)組成, 用于精確跟蹤動態(tài)三維投影面的旋轉(zhuǎn)角度.對于半鍍銀鏡子, 需要透明的, 但需要高反射的材料, 以便提供高清晰度的3D全息圖像(見圖1).

圖1 系統(tǒng)原理圖及其原型系統(tǒng)

系統(tǒng)以目標(biāo)物體的3D數(shù)字模型(高質(zhì)量的紋理)為輸入, 表示原始對象的外觀.為了生成精確的幾何透視和具有原始形狀視差的虛擬圖像, 該系統(tǒng)使用了目標(biāo)對象的物理模型并將其固定在旋轉(zhuǎn)缸上, 創(chuàng)建了動態(tài)三維投影面.本系統(tǒng)采用了多投影儀像機系統(tǒng)的幾何定標(biāo)和光度補償方法對在沒有紋理的模型表面上渲染原始對象的真實圖像外觀.最后, 將運動投影面上的投影圖像通過半鍍銀鏡進行傳輸, 生成3D全息動圖像(見圖2).

圖2 三維數(shù)字文物展示系統(tǒng)的整體框架圖

2 幾何與輻射定標(biāo)

為了將真實的圖像投影到實際物體上, 而不產(chǎn)生幾何變形和輻射畸變, 采用了多投影儀像機系統(tǒng)的幾何定標(biāo)和光度補償方法.

2.1 幾何定標(biāo)

幾何定標(biāo)技術(shù)是求取投影像素與投影表面間的映射關(guān)系, 以進一步分析系統(tǒng)中的顏色偏差因素, 同時保證投影內(nèi)容正確地顯示于目標(biāo)區(qū)域內(nèi)[2].

為了正確地將3D數(shù)字模型的外觀圖像投射到實際物體上, 并生成精確的投影圖像, 需要準(zhǔn)確地定標(biāo)投影儀相機, 3D數(shù)字模型和物體投影曲面之間的所有幾何關(guān)系.該系統(tǒng)首先采用結(jié)構(gòu)化光學(xué)視覺系統(tǒng)標(biāo)定方法對投影儀像機進行標(biāo)定[3].將灰度編碼結(jié)構(gòu)光投射到具有已知維度的棋盤格上, 并通過配對的攝像機拍攝被投射的模式.通過解碼拍攝的圖案來估算棋盤格的角點處的對應(yīng)像素, 從而使用這些對應(yīng)關(guān)系來計算投影儀的內(nèi)在參數(shù)和投影儀像機的外在參數(shù)[4-6].定標(biāo)完成后, 采用主動式三維立體(active stereo 3D)重構(gòu)方法, 通過標(biāo)定后的投影儀相機, 獲得一個靜態(tài)投影面的局部三維點云.在攝像機坐標(biāo)系中, 為了估算3D數(shù)字模型在虛擬空間中有關(guān)采集點云的初始造型, 采用四點一致性集合(4-Point Congruent Sets, 4PCS)方法[7],估算兩個三維數(shù)據(jù)集之間的粗略初始造型, 并使用迭代最近點(Iterative Closest Point, ICP)算法進行細化[8],計算3D數(shù)字模型與投影面有效對齊的變換矩陣.圖3所示, 通過將給定的三維模型轉(zhuǎn)換為投影儀坐標(biāo)系, 并利用所獲得的定標(biāo)參數(shù)將其映射到投影儀的圖像表面上, 從而在投影儀的視角下渲染出正確的投影圖像, 其中, 圖3(a)為使用棋盤格和結(jié)構(gòu)光模式定標(biāo)投影儀相機的實驗裝置, 圖3(b)是使用定標(biāo)的投影儀攝像機獲取投影面的3D點云, 圖3(c)為3D數(shù)字模型和獲取的點云之間的位姿估計結(jié)果, 圖3(d)是在投影儀視角下生成的投影圖像.

圖3 幾何定標(biāo)

2.2 光度補償

當(dāng)應(yīng)用多投影映射來再現(xiàn)精確的外觀時, 由于系統(tǒng)組件的非線性光譜響應(yīng)和多個投影儀的重疊區(qū)域,可能會發(fā)生輻射畸變.為了解決這些問題, 本文采用光度補償方法, 使用色彩混合矩陣, 實現(xiàn)具有真實感和無縫外觀的3D全息圖像.

為了預(yù)測和補償輻射畸變, 本文利用擴展顏色混合矩陣(extended color-mixing matrix)來導(dǎo)出3D數(shù)字展示系統(tǒng)的輻射模型[9].這種顏色混合矩陣可以表示多投影儀相機以及它們與投影表面的相互作用而產(chǎn)生的光譜響應(yīng)的耦合.在這個輻射模型中, 本文只對多投影儀和攝相機在對應(yīng)的表面點之間模擬了局部光調(diào)制.擴展的顏色矩陣由每個顏色混合矩陣的線性組合來確定, 而該線性混合組合捕捉了投影儀和攝像機之間的光譜響應(yīng)的所有耦合.擴展的混色矩陣表示了多臺投影儀和一臺攝像機的每個顏色通道之間的相互影響,以及它們與3D投影表面和半鍍銀鏡的相互作用[10].例如, 已知一個擴展的顏色混合矩陣, 可以預(yù)測從攝像機視點所看到的多臺投影儀的投影圖像的顏色, 使我們能夠為每個投影儀生成補償圖像, 以補償整個系統(tǒng)的輻射畸變.

為了獲得一個真實展示設(shè)定的擴展顏色混合矩陣,本文對多投影儀的投影標(biāo)準(zhǔn)顏色樣本進行了色彩失真樣本的測量, 而投影和捕獲的圖像樣本的像素對應(yīng)關(guān)系由多投影儀-相機系統(tǒng)的幾何定標(biāo)來定義[11].首先,利用來自多投影儀-攝像機的多個標(biāo)準(zhǔn)輸入顏色樣本及其在用戶視角下的相應(yīng)測量樣本, 計算每個像素的擴展顏色混合矩陣.然后, 利用顏色混合矩陣的偽逆矩陣來計算顏色補償矩陣.最后, 使用補償矩陣生成每個像素所需顏色的投影儀補償圖像.

為了驗證由補償投影圖像生成的全息圖像的顏色保真度, 本文生成了一個彩色圖表的浮動圖像, 其中色卡圖像的每個色塊都有參考CIELAB值.使用兩臺投影儀將彩色圖表圖像投影到平面上, 并顯示兩臺投影儀的投影區(qū)域部分重疊, 如圖4(a)所示.本文使用誤差度量CIE 2000DEΔE*00來測量參考圖像和捕獲的浮動圖像之間的色差[12].圖4(d)所示補償結(jié)果的比色誤差為ΔE*00=9.59, 未補償結(jié)果的比色誤差為ΔE*00=14.027, 如圖4(c)所示.從圖4(d), 圖3(c)中的實驗結(jié)果可見, 補償后的結(jié)果很好地再現(xiàn)了原始顏色, 而沒有補償?shù)慕Y(jié)果顯示了更多的誤差.

圖4 光度補償評估

圖5顯示了使用3D投影面創(chuàng)建3D浮動圖像時光度補償效果的實驗結(jié)果.實驗使用一個表面為白色的青瓷作為實體模型, 并使用兩個投影儀將真實物體的高質(zhì)量紋理投射到模型表面上.如圖5(b)所示, 無光度補償?shù)?D浮動圖像在重疊區(qū)域出現(xiàn)顏色不匹配, 因單個投影的圖像被累積, 產(chǎn)生的顏色變得比原始顏色更亮.圖5(c)所示, 由于光度補償, 形成了更真實的圖像.

圖5 光度補償效果的實驗結(jié)果

由于感知深度是由3D投影面產(chǎn)生的, 因此本系統(tǒng)所生成的3D浮動圖像不僅可以提供水平方向的連續(xù)視差, 而且還可以提供垂直方向的連續(xù)視差.多個用戶可以在不戴3D眼鏡的情況下, 可同時觀察到無縫外觀和逼真的3D深度效果.為了驗證該系統(tǒng)的3D深度效果, 本文比較了原始物體的深度圖像和商業(yè)光學(xué)透明顯示設(shè)備全息圖(SMAXscreen SH27042)的全息圖像,對3D全息圖像的深度圖像進行了測量并用深度直方圖來表示.深度圖像測量是運用SfM (Structure from Motion)方法, 從多個視角所獲得的圖像, 利用Visual-SfM軟件進行3D重建[13].如圖6(b)投影3D展示系統(tǒng)生成的3D全息圖像所示, 本文所提出的3D全息圖像的深度直與原始對象的直非常接近, 而相比之下, 圖6(c)商業(yè)光學(xué)透明顯示設(shè)備生成的全息圖浮動圖像所示中全息圖產(chǎn)生的深度直分布在非常窄的范圍內(nèi), 這表明浮動物體幾乎是平坦的.這也證明本文所提出的3D全息圖像能夠很好地表示與原始形狀非常接近的感知深度.

圖6 青瓷模型的三維深度效果比較

如圖7所示, 使用相同的設(shè)置, 青瓷的各種圖案可以通過改變投影紋理來展示.許多不同的紋理圖案可以使用一個設(shè)置來展示, 而不需要任何額外的空間和裝置等.這正是在博物館環(huán)境中使用投影映射技術(shù)的突出優(yōu)點之一.

圖7 青瓷呈現(xiàn)出各種紋理.不同的紋理被投影到同一個3D投影面上

3 展示系統(tǒng)效果測試

目前, 常見的基于投影系統(tǒng)的展示通常設(shè)置在可控環(huán)境當(dāng)中, 也就是展示事物不會受到周圍光線和周圍物的影響.然而, 在真正的博物館文物展示環(huán)境中,因為受到多個文物與文物之間的屬性、形狀、展示方式等原因, 對展示文物的周圍燈光及參觀者參觀空間難免會進行取舍.本文所提出的投影顯示系統(tǒng)通過引入一種新的光學(xué)透視顯示設(shè)計.圖8(b)中所示的結(jié)構(gòu)與圖8(a)所示的傳統(tǒng)投影展覽中直接暴露于環(huán)境光的投影面不同, 本文所提出的系統(tǒng)是通過將投影面位置與展覽區(qū)分開, 使投影面安全地位于半鍍銀鏡下, 并將投影圖像通過半鍍銀鏡傳輸, 產(chǎn)生具有三維效果的全息圖像.這樣即能將環(huán)境光的影響降至最低, 同時也很好地防止周圍物影子的遮擋, 從而在真實場景上實現(xiàn)具有真實感的疊加數(shù)字圖像.

圖8 傳統(tǒng)的展覽模式和新的展覽模式

3.1 周圍光線與障礙物影響測試

為了驗證本文所提出的展示系統(tǒng)對周圍環(huán)境光的魯棒性, 我們?yōu)檎箙^(qū)設(shè)置了常用于博物館展示文物的50 lx、150 lx和450 lx的照明條件.表1顯示了使用照度計(測光儀L-478D)在展區(qū)位置和投影表面測量的環(huán)境光強度.在相同的照明條件下, 投影區(qū)的測量強度約為展區(qū)的1/10.因此, 本文所提出的系統(tǒng)在投影面受環(huán)境光的影響是極小的.

表1 投影面和展覽區(qū)的照度測量值 (lx)

圖9所示, 在傳統(tǒng)的基于投影的展覽中, 投影面位于展區(qū)內(nèi), 通常包含許多其他的展覽對象.它需要足夠的環(huán)境光來顯示真實對象, 因此很難為投影貼圖建立適當(dāng)?shù)恼彰?如圖9(b)所示, 如果提供足夠的環(huán)境光來觀察真實物體, 那么投影物體的表面就產(chǎn)生光飽和.投影內(nèi)容也可能由于其他展示對象而發(fā)生遮擋, 從而可能由于遮擋造成的陰影而出現(xiàn)未覆蓋的投影區(qū)域.因此, 傳統(tǒng)的基于投影方式的展覽更傾向于使用有限空間和暗光, 如圖9(a).然而, 本文所提出的顯示方法即使在普通環(huán)境光照和存在“障礙物”的情況下也能提供高質(zhì)量的3D全息圖像.由于該系統(tǒng)能很好地處理環(huán)境光和障礙物的影響, 使博物館環(huán)境下的數(shù)字展覽更具吸引力和沉浸感.如圖9(c)所示, 即使在一般博物館照明條件為450 lx的情況下, 本系統(tǒng)生成的3D全息圖像也能真實地表示虛擬物體的紋理和深度.

圖9 傳統(tǒng)展覽模式與新展覽模式在不同照明條件下的投影結(jié)果

3.2 虛擬對象動態(tài)變化測試

文物數(shù)字展覽的一個主要優(yōu)勢在于它能夠通過提供傳統(tǒng)展覽難以實現(xiàn)的動態(tài)和交互式內(nèi)容來吸引參觀者的注意力.傳統(tǒng)的基于二維顯示的數(shù)字展覽展示的是一個虛擬空間中的虛擬物體.它可以很容易地將其形狀和大小改變?yōu)椴煌男螤詈痛笮?然而, 在基于投影的數(shù)字展覽中, 虛擬物體的形狀取決于物理投影面的形狀, 導(dǎo)致投影內(nèi)容的自由度受到物理投影面的限制.為了提供動態(tài)變化的投影內(nèi)容, 本系統(tǒng)利用了一個機械移動的投影面和使用基于傳感器跟蹤技術(shù)的實時投影映射.這種移動的投影面可以產(chǎn)生動態(tài)的3D全息圖像來表達自然的感知深度, 從而提供更具沉浸感的體驗.

如圖10(a)所示, 為了創(chuàng)建佛像動態(tài)表面, 在旋轉(zhuǎn)杠上安裝一個佛像實物模型(三維投影面), 并在旋轉(zhuǎn)杠安裝光電編碼器跟蹤投影面運動, 將360°旋轉(zhuǎn)的運動分解為脈沖信號.根據(jù)移動佛像投影面, 用旋轉(zhuǎn)矩陣表示測量的旋轉(zhuǎn)z角, 實現(xiàn)3D數(shù)字模型的形態(tài)同步.這種基于傳感器的跟蹤雖然解決了很快地跟蹤運動表面, 但仍然存在由于渲染計算時間延遲的問題.為了彌補渲染時間延長的問題, 模擬旋轉(zhuǎn)曲面的運動, 預(yù)先計算旋轉(zhuǎn)曲面的形態(tài), 并預(yù)先渲染投影圖像, 實現(xiàn)投影儀的投影圖像與運動投影面精確對齊, 無失真, 讓參觀者可以看到3D虛擬對象的360°視圖.圖10(b)-圖10(d)顯示了從不同側(cè)面拍攝的佛像模型的動態(tài)3D全息圖像.

圖10 安裝在旋轉(zhuǎn)杠上的佛像實物模型和從不同角度拍攝的佛像

綜合上述, 本系統(tǒng)比起現(xiàn)有投影展示系統(tǒng)有以下幾方面優(yōu)勢.本系統(tǒng)比起商業(yè)光學(xué)透明顯示設(shè)備生成的全息圖浮動圖像在運動視差、空間感知和色彩保真度方面更加符合用戶的感知體驗; 大多數(shù)傳統(tǒng)的基于投影的展覽系統(tǒng)因環(huán)境照明條件和“障礙物”等問題都安裝在一個獨立的房間, 照明條件較為黑暗的空間當(dāng)中.而本系統(tǒng)即使在普通環(huán)境光照和存在“障礙物”的情況下也能提供高質(zhì)量的3D全息圖像.由于該系統(tǒng)能很好地處理環(huán)境光和障礙物的影響, 使博物館環(huán)境下的數(shù)字展覽更具吸引力和沉浸感; 在基于投影的數(shù)字展覽中, 虛擬物體的形狀取決于物理投影面的形狀, 導(dǎo)致投影內(nèi)容的自由度受到物理投影面的限制.而本系統(tǒng)根據(jù)移動投影面同步三維數(shù)字模型的姿態(tài), 提供動態(tài)變化的投影內(nèi)容, 使投影儀的投影圖像與移動投影面精確對齊, 不失真.

4 研究的局限性

目前, 該系統(tǒng)可以生成高達30 cm3、具有24 bit RGB顏色、分辨率為每英寸72像素(PPI)的虛擬物體.通過擴展一些硬件設(shè)備, 可以相對容易地增加3D全息圖像的大小.但本系統(tǒng)也存在以下幾種局限性:(1)目標(biāo)物體的形狀非常復(fù)雜, 包括具有自身遮擋和銳利的凹形區(qū)域, 則投影圖像無法正確覆蓋整個投影表面; (2)虛擬物體的顏色范圍被限制在投影儀的色域和黑色級別內(nèi).因此, 某些用于光度補償?shù)念伾隽送队皟x的色域范圍, 則無法準(zhǔn)確再現(xiàn); (3)旋轉(zhuǎn)臺可以將投影面旋轉(zhuǎn)到180 °/s, 因此在不干擾用戶沉浸感的情況下, 可以非?？焖佟㈨樌赝瓿梢朁c的更改或虛擬對象的切換.然而, 在當(dāng)前系統(tǒng)中, 不能同時顯示多個對象并旋轉(zhuǎn)其中的每個對象, 因為當(dāng)前系統(tǒng)只能支持一個優(yōu)選的旋轉(zhuǎn)軸.

5 總結(jié)

本文提出了一種能夠顯示具有真實感3D圖像的新型數(shù)字投影展示系統(tǒng).該系統(tǒng)中多投影相機系統(tǒng)的幾何校正使該系統(tǒng)能夠正確地將物體的紋理圖像投影到動態(tài)實物模型表面上, 而不會產(chǎn)生幾何畸變.利用擴展顏色混合矩陣建立了一個整體光譜響應(yīng)的輻射模型,為每個投影儀生成補償圖像, 補償整個系統(tǒng)的輻射失真.同時, 為了解決一般博物館環(huán)境中環(huán)境光的影響和“障礙物”的存在對投影展覽的限制, 把光學(xué)透明顯示引入到該系統(tǒng)中進行了測試.

測試結(jié)果表明在不同光照條件下, 本系統(tǒng)投影面受極小的環(huán)境光影響, 具有較強的魯棒性.為了改變被動展覽模式, 本系統(tǒng)還利用了機械旋轉(zhuǎn)杠使文物實物模型具有動態(tài)投影面和使用傳感器跟蹤技術(shù), 展示了具有紋理和形狀變化的文物.