徐明明 李松松

1.武漢晴川學院，湖北武漢 430000

2.北京超圖軟件有限公司，北京 100015

1 引言

3D 圖像處理技術現(xiàn)階段主要應用于電影或文物遺跡的數(shù)字化復原、城市虛擬搭建和導航系統(tǒng)信息可視化等。為等比例還原電影拍攝中的場景或角色，對作用對象進行視覺圖像的重建和復原，模擬一個逼真的感觀世界，進而對未來電影工業(yè)提供數(shù)據支持。該設計是目前3D 計算機視覺藝術在民生領域最廣泛采取的技術手段[1]。

在對影片中場景進行數(shù)字信息重建和復原過程中，如何采用合理優(yōu)化的技術至關重要。在電影3D圖像技術處理中，按效果大致可劃分為靜態(tài)圖像展示與動態(tài)視頻融入兩種方案，此外，使用計算機三維圖像軌跡跟蹤點的方式處理動態(tài)類視頻融入十分常見。無論是哪一種方案，都繞不開模型的紋理映射過程，尤其是遇到建筑體量龐大的浩瀚遺跡或者角色造型復雜的吉光片羽。每一處細節(jié)都要體現(xiàn)生動傳神的肌理效果，傳統(tǒng)映射方式雖然準確但操作過程復雜繁冗，尤其是如何在動態(tài)視頻融入的方案中，達到既提升紋理映射效率，同時增強視覺效果的目的，最終思考的研究重點是如何達到技術優(yōu)化訴求。

基于上述問題，本文提出將畫面通過投影覆蓋到三維場景中，并實現(xiàn)點對式軌跡追蹤的視頻融合方法，以及能夠批量實現(xiàn)紋理映射的軟件技術。本方法在節(jié)省資源的同時提高了研發(fā)效率，增強了視覺效果，優(yōu)化了3D 信息運算的步驟。最后通過分析實驗結果、比對實驗數(shù)據，驗證該技術優(yōu)化的真實性和研究結果的正確性[2]。以上實驗可滿足當前各相關領域計算機3D 視覺設計的要求。

2 研究框架

2.1 3D 圖像處理技術的基本優(yōu)化架構

本文設計和實現(xiàn)的3D 圖像紋理映射優(yōu)化面向電影場景、角色的數(shù)字化塑造需求，在傳統(tǒng)的制作原理上最合理優(yōu)化步驟，提升項目開發(fā)效率。在模型到紋理生成的過程中快速映射貼圖，針對不同的領域可選擇優(yōu)質的策略與途徑。配合工具和技術結合成一個完整的系統(tǒng)架構[3]，見圖1。掌握定量分析方法和熟悉“操作性”知識是決定該研究方法是否可行的重要途徑，對于實施途徑有兩個“雙效”標準：“效率”和“效果”，即進行系統(tǒng)的設計和開發(fā)后是否提高了工作效率，在提高工作效率的同時是否達到甚至超過了“還原”效果。這也是本系統(tǒng)架構設計的另一個目的。

圖1 基于系統(tǒng)架構的流程指導圖

2.2 過程優(yōu)化設計

此處以電影中的虛擬角色制作為例，已知的電影3D 圖像處理技術制作過程包括：（1）高精度的數(shù)字化信息采集。利用實物的非接觸性三維掃描技術進行多點掃描，它能完整復制對象的材料、色調及裝飾等完整信息，再將掃描后的數(shù)據導入并存儲在電腦數(shù)據庫。然后利用圖像恢復目標3D 模型，這是相機拍攝照片的逆過程。（2）三維模型建構。根據掃描的數(shù)據進行計算機視覺3D 模型的重建，通過數(shù)字化手段建立仿真度極高的3D 模型數(shù)據庫，這里可以運用Maya/3ds Max 進行模型優(yōu)化，應用這種軟件除了制作成本較低、視覺效果逼真等原因以外，也是考慮后續(xù)的動態(tài)視頻的路徑匹配問題。這一過程被經常使用。（3）模型紋理映射。進入紋理映射環(huán)節(jié)，將有兩種方式可供選擇，基于數(shù)理算法映射人工交互處理方式和基于軟件命令的映射方式[4]。（4）視頻動畫演示。（5）環(huán)境渲染。動畫演示和環(huán)境渲染可以采用很多技術方式，這里根據實際情況可提供高效率自適應的SVG 動畫渲染法，實現(xiàn)真實性效果優(yōu)化。（6）虛擬現(xiàn)實。本文重點介紹實現(xiàn)優(yōu)化的步驟。（7）最后就是電影場景中的預演展示，它可以讓觀眾切實感受三維圖像可視化帶來的視覺盛宴。另外利用Unity 3D 和Unreal Engine（UE）軟件平臺可以很方便地構建虛擬互動方案。尤其是基于Web 的交互式虛擬展示技法，不管是普通觀眾還是研究者，都可以親自控制數(shù)字模型來實現(xiàn)人與電影角色的互動，見圖2（a）。

圖2 優(yōu)化前后的3D 圖像處理技術流程

本文研究中，優(yōu)化了紋理映射和動畫演示步驟。通過改變紋理映射的方式和增加視頻融入的技術，降低3D 動態(tài)信息計算的成本，從而很大程度地優(yōu)化了該過程，提高了工作效率，增強了電影效果，見圖2（b)。

2.2.1 動態(tài)視頻的融合匹配優(yōu)化

模型確立之后，若是涉及到動態(tài)視頻中失真部分的虛擬重建與復原，就要采取三維場景與實拍視頻融合制作的方法，增強用戶觀看的真實感和可信度。這種增強現(xiàn)實技術的出現(xiàn)最早是在1996 年，Debevec 等[5]提出了一種視點相關的視頻紋理混合方法；陸續(xù)又有南加州大學的Hu 等[6]人提出了基于航拍影像和地面圖形進行三維重建的方式；Chen 等[7]人研發(fā)了使用動態(tài)紋理映射技術投射到視頻畫面而生成監(jiān)控系統(tǒng)的技術等。通過投影的方式將視頻畫面當成一張貼圖覆蓋到三維場景中，是一種已知常用的增強現(xiàn)實方法（圖3）。本節(jié)反向提出一種在已有視頻融入的研究基礎上優(yōu)化效果的方法，即平面視頻融合技術。它能結合大范圍的三維場景實現(xiàn)位移路徑的精準匹配。

圖3 視頻投影三維場景效果

首先是在三維場景視頻融合中，用點位標定計算的矯正變換矩陣和三維場景中的相機位姿信息對場景中一些平面區(qū)域進行視頻融合，由于遮擋關系接近于零，為得到無錯誤信息的視頻效果，可以基于平面區(qū)域的特性重新設計一種計算兩個平面之間的轉換矩陣的方法。假設計算的矩陣為R，以及一組標定對應的二位點對（a,b）[8]，如式（1）所示，

二維點對（a,b）用齊次坐標表示為：

a=(x1,y1,1)

b=(x2,y2,1)

那么三者之間的關系應為：b= R aT。通過標定過程中所得的多組點位以及解線性方程組來求解最終的變換矩陣R，最終達到針對平面區(qū)域的視頻融入效果。圖4為平面與視頻投影的融合效果。

圖4 視頻投影融合效果

接下來是視頻轉碼的優(yōu)化。一般來說，有些YUV 或VLC 格式在后期處理視頻融入的時候不能與追蹤軟件兼容，因此需要對其格式進行優(yōu)化，例如YUV 中的Y 為亮度，U 和V 為色度。我們可以通過公式法將YUV 格式轉換為RGB 格式，如式（2）所示。

用這樣最簡單直接的方式就可以得到圖像轉碼優(yōu)化方法。當然還有基于Open CV 實現(xiàn)和FFmpeg實現(xiàn)等方式實現(xiàn)轉碼的目的，這里不再詳述。

最后，是將轉碼的視頻與虛擬重建的模型利用軟件追蹤，實現(xiàn)路徑匹配。因為大量的使用3D 空間動態(tài)信息進行計算機數(shù)據處理，會增大3D 建模工作量，嚴重降低場景渲染速度，甚至減弱視覺逼真度。圖5 中的電影鏡頭給出了融合視頻路徑運用Boujou軟件中遮罩（Mask）技術算出不參與追蹤的區(qū)域，它適用于移動著的大型視頻場景。針對該平面區(qū)域需要添加的3D 圖像部分，對綠色屏幕以外的區(qū)域進行捕捉點的運算，圖6中鏡頭將捕捉到的軌跡點與文件一起導入三維軟件中，再按等比例置入三維模型，完成動態(tài)視頻與虛擬場景的路徑匹配。

圖5 MASK 非計算部分路徑

圖6 平面視頻融合效果

在布有綠幕的影片中，也可以將遮擋物進行遮罩處理，見圖7（a）。這樣既可得到屏蔽阻擋物的效果，也可以完成綠幕與虛擬道具（角色）的追蹤匹配，見圖7（b）。

2.2.2 批量映射的設計架構與優(yōu)化

在紋理映射部分，以VS Code 編程軟件為基礎，搭建出紋理批量映射的基本架構，用以提供貼圖技術的最優(yōu)手段。代碼中最主要的架構內容為卷葉欄，卷葉欄中可提供函數(shù)、UI 事件及變量的輸寫位置，以便設置UI 外觀與關聯(lián)性函數(shù)的優(yōu)化。在卷葉欄中輸入函數(shù)，可分別設置處理模型的燈光、法線、高光、陰影、透明及遮擋等的UI外觀?；A代碼如下所示：

edittext edt _path“路徑:”pos:［7,14］width:130 height:20 across:2 即定義數(shù)據的變量。path 為其中很重要的一個變量，可換成其他任意函數(shù)，比如light、normal、specular 等。這樣，便可生成批量貼圖時所需要的數(shù)據路徑。

接下來設置的為數(shù)據路徑的UI 按鈕，設置好后點擊按鈕既可設置數(shù)據路徑，其中有控件變量，執(zhí)行按鈕，調用模型優(yōu)化按鈕，幫助與提示按鈕等。基礎代碼如下所示：

Button btn _path”...”pos［:146,14］width:54 height:20 toolTip:”

然后就可以將UI外觀與紋理貼圖的關聯(lián)性函數(shù)優(yōu)化，以基礎代碼的方式依次編寫法線、自發(fā)光、高光、置換和遮擋等貼圖代碼，將這些代碼與路徑按鈕事件進行關聯(lián)，方便它讀取文件夾路徑，完成后可在文件夾中搜索指定的類型，所設置的按鈕事件表示這個按鈕可以執(zhí)行哪些命令。另外，在按鈕事件中定義一個字符串變量，用于存放打開文件夾獲取的輸入文件路徑。如果輸出路徑未定義就將輸入框里面的路徑作為輸出路徑，完成后即可設置好按鈕的路徑，方便重復調用或修改路徑文件。

接下來是高級貼圖的核心優(yōu)化部分。繼續(xù)輸入函數(shù)，點擊”開始”按鈕執(zhí)行批量貼圖功能，點擊優(yōu)化模塊按鈕執(zhí)行代碼塊，調用優(yōu)化腳本的代碼塊，點擊按鈕后執(zhí)行，點擊”幫助”按鈕調用幫助文檔。這樣”幫助”按鈕事件就生成了。

到了批量映射的核心部分，輸入代碼，表示防止用戶未填寫路徑而對當前選中的模型進行自動紋理映射的后果。為檢測某種貼圖有無被選上，可輸入函數(shù)，讓貼圖被選中時在UI 上顯示為勾選狀態(tài)。則在選中法線貼圖后可以在UI 上顯示法線貼圖框被勾選。

最后一步是利用變量，將紋理貼入對應的通道中。還是以法線貼圖為例。輸入函數(shù)，這樣法線貼圖可貼入到法線的通道中了。

3 實驗

3.1 實驗結果

基于以上技術的優(yōu)化方案，根據圖像數(shù)字化需求和本文的研究目標，影片《敦煌》中數(shù)字藝術家展示了利用3D 圖像技術進行復原的古佛像（圖8）。對照原有電影畫面效果，作者對同窟的阿難尊者佛像進行了3D 圖像與視頻融合處理，包含原始圖像的精準測量掃描、3D 模型重建、批量紋理映射、視頻融合等。完成的結果與使用后的效果見后續(xù)。系統(tǒng)實驗場景運用在PC 平臺配置如下：Windows 10 操作系統(tǒng)、Intel?CoreTMi5-6400、2.70GHz、CPU 8.00GB 內存。圖9 是利用三維掃描儀器對殘損佛像進行數(shù)據采集，在三維軟件中建模，并在ZBrush 軟件中分區(qū)優(yōu)化的3D 模型[9]。

圖8 《敦煌》中復原的3D 佛像

接著運用批量映射插件對3D 模型中被分區(qū)域的范圍分別施行紋理映射，對于模型本身存在的局部破點，調用優(yōu)化功能進行優(yōu)化處理，以免貼圖之后模型出現(xiàn)褶皺狀況或破損效果（圖10）。

圖10 批量紋理映射后快速顯示的阿難數(shù)字彩色圖像

圖11 為視頻與數(shù)字模型進行路徑追蹤融合后的實驗效果，可以看出3D 圖像與視頻融合后不僅可以模擬出寫實級的電影效果，而且規(guī)避了全3D 技術對計算機處理信息數(shù)據時帶來的內存損耗。

圖11 阿難尊者像與實景融合動態(tài)分布圖

3.2 數(shù)據分析

為驗證本文研究的技術優(yōu)化后的實用性效果，根據本設計使用后的結果對用戶進行問卷調查，繼而對問卷得到的數(shù)據進行整理和分析[10]。在這里搜集了三個用戶單位使用該軟件的信息，通過采樣提取得到了部分有用的數(shù)據，分別是動態(tài)虛擬數(shù)字模型進行批量貼圖處理前后的制作時長以及合成影片后渲染效果的質量對比，得到以下部分采樣結果。

圖12 為北京超圖軟件公司項目部X 組制作的廊坊城市景觀宣傳影片中紋理使用批量處理前后的對比，相同的幀信息和貼圖數(shù)量下，使用批量處理后的用時明顯縮短，而效果明顯提升。

圖12 批量處理前后對比圖

圖13 為北京銘鈺高科技公司項目部Y 組制作的廈門城市景觀宣傳影片中紋理使用批量處理前后的對比，相同的幀信息和貼圖數(shù)量下，使用批量處理后的用時明顯縮短，而效果明顯提升。

圖13 批量處理前后對比圖

圖14 為重慶光輝城市公司項目部Z 組制作的廊坊城市景觀宣傳影片中紋理使用批量處理前后的對比，相同的幀信息和貼圖數(shù)量下，使用批量處理后的用時明顯縮短，而效果明顯提升。

圖14 批量處理前后對比圖

通過對其中30 組鏡頭數(shù)據采集和選擇性提取，運用SPSS 軟件進行統(tǒng)計分析，比對在使用批量紋理優(yōu)化之前的速度與頻率。可以觀察到：描述性統(tǒng)計個案數(shù)是全部有效的，平均值在2.0000～2.5000區(qū)間，最小值均為1，最大值均為4。說明各項數(shù)據特征均正常[11]（圖15）。

圖15 速度優(yōu)化描述統(tǒng)計率

圖16 紋理映射優(yōu)化前后頻率對比

使用批量紋理優(yōu)化前的數(shù)字視頻處理速度頻率中3～5 分鐘居多，使用批量紋理優(yōu)化后的數(shù)字視頻處理速度頻率1～2 分鐘居多，優(yōu)化前頻率在6 分鐘以上視頻所占比重值較大，優(yōu)化后頻率在2分鐘以內視頻所占比重值較大。這表明技術優(yōu)化后3D 圖像制作速度有顯著提升。

進一步比對提高速度之前的視頻渲染效果和提高速度之后的視頻渲染效果。視頻質量在圖像技術優(yōu)化后的渲染效果有大幅度攀升[12]，見圖17。

圖17 批量處理前后效果對比條形圖

4 結論

本文研究的對象是基于紋理映射的電影3D 圖像融合優(yōu)化技術。該技術解決方案實現(xiàn)了在計算機中將3D 圖像與實拍視頻完美融合，又能夠快速準確批量映射紋理的目標。一定程度上較大優(yōu)化了原有的3D 圖像處理技術步驟。該技術優(yōu)化考慮了制作者在制作效率上的需求訴愿，同時兼顧了實效性。但是隨著計算機圖形圖像處理技術和計算機硬件的不斷發(fā)展，這種過程將會有更多的、更快的解決方案出現(xiàn)。當然在此研究方法及后續(xù)延展方案中仍然存在一些不足和缺陷，如視頻鏡頭轉換后的銜接效果處理、批量紋理映射后的自適應渲染技法提升等，它們都是計算機3D 圖像技術處理流程中亟待解決的技術問題，也是今后我們要持續(xù)研究和討論的方向。

作者貢獻聲明：

徐明明：負責論文的整體撰寫與所有案例分析，全文文字貢獻80%；

李松松：負責論文中的案例數(shù)據的提供，全文文字貢獻20%。