蘇 融，李勝樂(lè)，厲彥玲

1.中國(guó)地震局地震研究所，武漢 430071 2.山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，泰安 271018

校園虛擬場(chǎng)景的建模方法主要有兩種，一種是基于圖形的建模與繪制(Geometry Based Modeling and Rendering， GBMR )；一種是基于圖像的建模與繪制(Image Based Modeling and Rendering，IBMR)[1]。雖然運(yùn)用基于圖形繪制方法比較常見(jiàn)，但是這種方法生成的虛擬場(chǎng)景真實(shí)性、時(shí)效性較差，場(chǎng)景復(fù)雜度較高，直接影響制作精度和效率，對(duì)于某些環(huán)境如室內(nèi)環(huán)境而言，不僅要刻畫(huà)的實(shí)體多而復(fù)雜，而且還要考慮光影效果以及場(chǎng)景的精細(xì)程度。同時(shí)，在傳統(tǒng)的HTTP傳輸模式和網(wǎng)絡(luò)帶寬下，不能實(shí)現(xiàn)大規(guī)模虛擬場(chǎng)景的海量數(shù)據(jù)的網(wǎng)上實(shí)時(shí)下載和實(shí)時(shí)渲染。目前，國(guó)內(nèi)高校的網(wǎng)站多以文字與圖片或二維地圖為主，并且相對(duì)分散獨(dú)立，不能形成校園全貌漫游，同步查詢(xún)相關(guān)信息的校園導(dǎo)航信息平臺(tái)。

因此，本文以山東農(nóng)業(yè)大學(xué)為原型，設(shè)計(jì)了基于全景視圖的虛擬校園導(dǎo)航系統(tǒng)，并集成到高校的門(mén)戶(hù)網(wǎng)站中，提供一個(gè)開(kāi)放的系統(tǒng)，使得可以體驗(yàn)校園景觀實(shí)時(shí)漫游，校園信息同步查詢(xún)，完善了大學(xué)校園的導(dǎo)航功能，同時(shí)優(yōu)化了校園信息。同時(shí)以新生入學(xué)報(bào)到導(dǎo)航為例，實(shí)現(xiàn)全景技術(shù)的虛擬流程導(dǎo)航應(yīng)用。

1 基于全景圖的虛擬現(xiàn)實(shí)技術(shù)

基于圖像的繪制(IBR)，就是從初始的一組取自真實(shí)場(chǎng)景的圖像開(kāi)始，經(jīng)過(guò)一定的計(jì)算處理，合成新的圖像。它利用了圖形學(xué)中用幾何信息生成新圖像和計(jì)算機(jī)視覺(jué)中恢復(fù)粗略場(chǎng)景幾何信息的特點(diǎn)，避開(kāi)了圖形學(xué)中用幾何生成真實(shí)感場(chǎng)景的真實(shí)性和實(shí)時(shí)性問(wèn)題，以及計(jì)算機(jī)視覺(jué)中難以精確恢復(fù)幾何信息等問(wèn)題。這一方法與傳統(tǒng)方法相比具備采樣簡(jiǎn)單、繪制迅速、真實(shí)感強(qiáng)等重要優(yōu)勢(shì)。

基于全景圖的方法是基于圖像的繪制技術(shù)中應(yīng)用最廣的一種方法。全景視圖的方法的基本思想是在一個(gè)給定視點(diǎn)采集各個(gè)方向的實(shí)景圖像，然后把這些實(shí)景圖像投影到一個(gè)圓柱的內(nèi)表面或者是球體的內(nèi)表面，進(jìn)行視圖拼接，最后利用反投影技術(shù)重新獲得各個(gè)視角方向相應(yīng)的場(chǎng)景圖像[2]。

構(gòu)建全景圖的過(guò)程通常可分為采集圖像、圖像預(yù)處理、圖像拼接、重投影播放等四個(gè)主要步驟[1][3](見(jiàn)圖1)。

圖1 全景圖制作流程

1.1 全景圖像采集技術(shù)

全景圖像素材的獲取一般有兩種方式，一是采用專(zhuān)門(mén)全景設(shè)備，如全景相機(jī)或者帶有魚(yú)眼鏡頭或者廣角鏡頭的相機(jī)；二是利用數(shù)碼相機(jī)或者普通相機(jī)。

魚(yú)眼鏡頭是一種特殊的超廣角鏡頭，其焦距極短，約在6～16 mm之間，并且視角接近或能達(dá)到甚至超過(guò)180°，超出人眼所能看到的范圍。通常的魚(yú)眼照片呈圓形或者矩形，除了畫(huà)面中心點(diǎn)的景物保持不變外，其他的點(diǎn)影像變形非常顯著[1](見(jiàn)圖2)。

1.2 全景圖像投影模型

為了維持實(shí)際場(chǎng)景中的空間約束關(guān)系，必須把拍照得到的實(shí)景圖像投影到某一曲面上(球體、圓柱體或者立方體等)，圖像信息以曲面的形式保存在計(jì)算機(jī)上，對(duì)于全景圖系統(tǒng)來(lái)說(shuō)，構(gòu)造合適的模型和表示是非常重要的。通常，比較常見(jiàn)的全景投影方式有：柱面投影、球面投影和立方體投影。

1.2.1 球面模型 實(shí)景圖像的球面模型是將多張相機(jī)拍攝的實(shí)景圖像投影到一個(gè)球面上，以球面全景圖像的形式存儲(chǔ)，顯然，中心位于視點(diǎn)處的球面模型是描述一個(gè)場(chǎng)景的理想選擇。理想的魚(yú)眼鏡頭可以用球面模型來(lái)表示。它有兩個(gè)屬性，一是視角為180°，所以產(chǎn)生的圖像為一個(gè)圓，而且對(duì)稱(chēng)于圖像中心。二是鏡頭的景深無(wú)限，即照片中的所有物體都在焦距上。從空間任一實(shí)際場(chǎng)景點(diǎn)(x，y，z)指向原點(diǎn)O(相機(jī)成像平面的中心)的射線(xiàn)，與投影球面+y2+x2“=Z2相交于一點(diǎn)，再把這一點(diǎn)正投影到一個(gè)與z軸(魚(yú)眼鏡頭的光軸)垂直的固定平面(相機(jī)成像平面)上，得到平面點(diǎn)(u，v)。 (u，v)即為空間實(shí)際場(chǎng)景點(diǎn)(x，y，z)的球面投影，即在魚(yú)眼鏡頭成像平面上的對(duì)應(yīng)點(diǎn)[1](見(jiàn)圖3)。本文中應(yīng)用了矩形球面投影模型對(duì)拍攝的魚(yú)眼圖像進(jìn)行了投影(見(jiàn)圖4)。

圖2 魚(yú)眼圖像Fig.2 Fisheye image圖3 魚(yú)眼圖像的球面投影模型Fig.3 Spherical projection model of fisheye image

圖4 矩形球面投影示意圖

1.2.2 立方體模型 實(shí)景圖像的立方體模型是為了將多張實(shí)景圖像投影到一個(gè)立方體表面上，以立方體全景圖像的形式存儲(chǔ)(見(jiàn)圖5)，由前,后,左,右,上,下6張照片無(wú)縫拼接而成,可以由球形全景圖直接轉(zhuǎn)換而成(見(jiàn)圖6)。此模型能夠一方面消除實(shí)景圖像之間可能存在的重復(fù)景物信息，同時(shí)也得到了每張實(shí)景圖像上的像素點(diǎn)在點(diǎn)空間中的方位信息，直觀容易理解，提供全方位的瀏覽[2][4]。

1.3 全景圖像拼接

圖像拼接技術(shù)的基本流程為，首先獲取待拼接的圖像源，然后經(jīng)過(guò)預(yù)處理(平滑濾波等)，再進(jìn)行統(tǒng)一坐標(biāo)變換，即將所有圖像序列變換到統(tǒng)一的坐標(biāo)系中，不同的變換方式對(duì)應(yīng)不同的拼接流形，接著進(jìn)行圖像配準(zhǔn)和圖像融合，最終得到拼接全景圖。

圖5 立方體投影示意圖Fig.5 Schematic diagram of the cube projection圖6 立方體展開(kāi)示意圖Fig.6 Expand schematic diagram of the cube projection

2 基于三維全景視圖的虛擬校園漫游導(dǎo)航系統(tǒng)

在校園有代表性的位置采集圖數(shù)據(jù)，經(jīng)投影變換、拼接等步驟生成全景圖像，利用這些全景圖像的集合以虛擬現(xiàn)實(shí)的方式表現(xiàn)校園景觀。為了方便用戶(hù)漫游校園虛擬全景空間，虛擬校園系統(tǒng)采用校園電子地圖作為導(dǎo)航圖，借助熱點(diǎn)技術(shù)，將導(dǎo)航地圖與場(chǎng)景進(jìn)行匹配，用戶(hù)在顯示的電子地圖任一熱點(diǎn)處按一下鼠標(biāo)即可進(jìn)入相應(yīng)位置的虛擬全景空間；用戶(hù)在場(chǎng)景中切換時(shí)，導(dǎo)航圖中的標(biāo)識(shí)點(diǎn)也隨之移動(dòng)，在宏觀上能讓用戶(hù)體會(huì)到方向感與位置感。各個(gè)虛擬全景圖也以熱點(diǎn)的方式鏈接在一起，方便瀏覽。系統(tǒng)還設(shè)置了建筑物內(nèi)部三維全景場(chǎng)景的漫游子系統(tǒng)，通過(guò)點(diǎn)擊所顯示的相關(guān)鏈接，可以了解建筑物內(nèi)部代表性房間的格局。同時(shí)還可通過(guò)虛擬全景空間訪問(wèn)有關(guān)網(wǎng)頁(yè)或查詢(xún)有關(guān)信息。本系統(tǒng)共采集了三個(gè)校區(qū)百余個(gè)場(chǎng)景數(shù)據(jù)，系統(tǒng)網(wǎng)站入口為。

2.1 系統(tǒng)總體架構(gòu)

本系統(tǒng)由數(shù)據(jù)庫(kù)、客戶(hù)端界面、及用戶(hù)組成(見(jiàn)圖7)。本虛擬漫游系統(tǒng)主要向用戶(hù)提供的信息內(nèi)容包括：校園場(chǎng)景地圖導(dǎo)航、單視點(diǎn)場(chǎng)景全景影像、和其他輔助信息如校史介紹、院系介紹景觀信息等。

2.2 系統(tǒng)功能設(shè)計(jì)

基于對(duì)虛擬校園發(fā)展現(xiàn)狀的分析和對(duì)虛擬技術(shù)的研究，本系統(tǒng)功能設(shè)計(jì)如下：

(1)虛擬景點(diǎn)地圖導(dǎo)游[4]。以可視化的數(shù)字電子地圖為背景，用動(dòng)態(tài)網(wǎng)頁(yè)為表現(xiàn)手段，為游覽者展示虛擬校園的綜合面貌及各景觀位置關(guān)系和布局。

(2)交互式三維全景虛擬漫游。游覽者根據(jù)個(gè)人喜好選擇路線(xiàn)進(jìn)行漫游，可利用鍵盤(pán)的方向鍵、全景瀏覽器熱點(diǎn)和其他功能鍵配合，調(diào)整控制攝像機(jī)的前進(jìn)、后退和觀察角度，在三維場(chǎng)景中任意的選取旋轉(zhuǎn)、行走、切換視點(diǎn)等不同模式進(jìn)行瀏覽。

(3)信息查詢(xún)。通過(guò)全景瀏覽熱點(diǎn)等按鈕，可以對(duì)所到之處的感興趣的位置進(jìn)行更多信息的查詢(xún)，例如文字、圖片、視頻、音頻等形式的信息介紹。同時(shí)可以通過(guò)鏈接進(jìn)入相應(yīng)的網(wǎng)站首頁(yè)進(jìn)一步了解。

(4)提供在線(xiàn)幫助。提供系統(tǒng)的使用指南，解決用戶(hù)操作中遇到的問(wèn)題。

除此之外，全景虛擬漫游系統(tǒng)還需要滿(mǎn)足實(shí)時(shí)瀏覽的性能需求，這依賴(lài)于多種因素，包括網(wǎng)絡(luò)應(yīng)用程序開(kāi)發(fā)技術(shù)的運(yùn)行性能，以及系統(tǒng)的整體設(shè)計(jì)水平、編碼質(zhì)量、硬件配置等。

圖7 虛擬校園漫游導(dǎo)航系統(tǒng)的總體架構(gòu)

2.3 系統(tǒng)功能實(shí)現(xiàn)

2.3.1 全景圖的制作 (1)全景照片的拍攝。本文所使用的全景拍攝器材有尼康D5000 單反數(shù)碼相機(jī)，SigmaF3.5-EX DG 8mm F 口魚(yú)眼鏡頭，得力M-1 型全景云臺(tái)，三角架等。每一場(chǎng)景拍攝時(shí)，將云臺(tái)控制每60°為一個(gè)結(jié)點(diǎn)，拍攝一組6 張照片。(2)全景圖的合成。本文所使用全景圖拼接軟件為 PTGui。相對(duì)其他全景接圖軟件來(lái)說(shuō)，PTGui可做更精細(xì)的操作，例如可手動(dòng)定位，矯正變形，調(diào)整曝光差異等。它的操作流程包括：原照片的輸入，參數(shù)設(shè)置，控制點(diǎn)的采集和優(yōu)化，全景的粘貼，輸出完成全景。(3)制作360度全景圖。本文利用Pano2VR軟件將拼接好的全景圖片生成為360度全景圖Flash文件，同時(shí)設(shè)置顯示參數(shù)以及用戶(hù)數(shù)據(jù)。通過(guò)對(duì)生成的單視點(diǎn)場(chǎng)景全景圖添加全景圖交互熱點(diǎn)，實(shí)現(xiàn)多場(chǎng)景交互漫游功能。

2.3.2 虛擬校園漫游功能實(shí)現(xiàn) 在Pano2VR中，制作全景圖選擇的皮膚模板，一般自帶多種漫游功能按鈕，如移動(dòng)、縮放、顯示用戶(hù)信息、全屏。也可以添加其他功能鍵，如返回默認(rèn)視圖，顯示/隱藏元素。

2.3.3 虛擬校園導(dǎo)航功能實(shí)現(xiàn) (1)二維電子地圖導(dǎo)航。在系統(tǒng)網(wǎng)頁(yè)中，添加電子地圖導(dǎo)航插件，實(shí)現(xiàn)電子地圖查看、縮放和導(dǎo)航等功能，系統(tǒng)將二維電子導(dǎo)航圖與一個(gè)JavaScript 函數(shù)相關(guān)聯(lián)，用戶(hù)點(diǎn)擊時(shí)由該熱區(qū)所對(duì)應(yīng)的JavaScript函數(shù)控制全景瀏覽插件進(jìn)行全景圖的切換，全景圖中場(chǎng)景切換時(shí)，該圖上的標(biāo)識(shí)也隨之移動(dòng)。 (2)縮略地圖導(dǎo)航。利用AutoCAD、MapGis、Photoshop等等軟件制作校園簡(jiǎn)易縮略圖。全景圖制作中，在Pano2VR的皮膚編輯器中添加制作好的校園縮略圖，并在地圖中相應(yīng)的場(chǎng)景添加按鈕，實(shí)現(xiàn)與單視點(diǎn)場(chǎng)景的關(guān)聯(lián)。可以通過(guò)雷達(dá)來(lái)實(shí)現(xiàn)單視點(diǎn)方位導(dǎo)航功能。在皮膚編輯器中通過(guò)編寫(xiě)雷達(dá)元素腳本語(yǔ)言，實(shí)現(xiàn)由雷達(dá)表示當(dāng)前場(chǎng)景視圖的絕對(duì)位置和方向。該圖包含在生成的全景圖多媒體文件中(見(jiàn)圖8)。

2.3.4 虛擬校園信息查詢(xún)功能實(shí)現(xiàn)[4]在全景圖制作中通過(guò)腳本語(yǔ)言添加文字、音頻、視頻等熱點(diǎn)，將相關(guān)信息添加至相關(guān)的全景圖場(chǎng)景。同樣也可將信息加入地圖導(dǎo)航欄中，實(shí)現(xiàn)信息查詢(xún)功能。

2.3.5 系統(tǒng)發(fā)布 在以上功能實(shí)現(xiàn)基礎(chǔ)上，自動(dòng)生成全景圖和電子地圖，進(jìn)一步自動(dòng)生成瀏覽全景圖的網(wǎng)頁(yè)。采用PHP編程技術(shù)，將全景圖瀏覽器嵌入網(wǎng)頁(yè)中，將虛擬校園的全景漫游、導(dǎo)航、信息查詢(xún)等功能集成到一個(gè)系統(tǒng)中。本系統(tǒng)可以作為校園網(wǎng)站中的一個(gè)頁(yè)面，嵌入校園網(wǎng)內(nèi)。為了更好展現(xiàn)整個(gè)場(chǎng)景的全貌，為瀏覽者提供全面的場(chǎng)景信息，在界面的布局上，本文將整個(gè)客戶(hù)區(qū)分成了三個(gè)視圖，包括縮略圖片欄，全景視圖欄，地圖導(dǎo)航欄，相關(guān)信息欄(見(jiàn)圖9)。

圖8 全景圖中縮略地圖導(dǎo)航示意圖

圖9 全景圖校園導(dǎo)航系統(tǒng)網(wǎng)頁(yè)界面

(1)縮略圖片導(dǎo)航欄，實(shí)現(xiàn)縮略圖鏈接相應(yīng)場(chǎng)景的全景圖，即縮略圖與全景圖的聯(lián)動(dòng)。

(2)地圖導(dǎo)航欄，實(shí)現(xiàn)地圖中某點(diǎn)鏈接相應(yīng)場(chǎng)景的全景圖，即地圖與全景圖的聯(lián)動(dòng)。

(3)全景視圖欄，由瀏覽器內(nèi)置的Flash播放器實(shí)現(xiàn)，并實(shí)現(xiàn)全景圖與縮略圖片欄、地圖導(dǎo)航欄的聯(lián)動(dòng)。

2.4 系統(tǒng)功能實(shí)現(xiàn)中的關(guān)鍵技術(shù)

為了盡可能加快網(wǎng)站的瀏覽速度，系統(tǒng)采用的下載策略是分層優(yōu)先下載策略，即優(yōu)先視點(diǎn)中用戶(hù)視線(xiàn)方向的部分，并在下載中針對(duì)JPEG格式的特點(diǎn)進(jìn)行分層下載，先下載圖片的基本信息，然后逐步細(xì)化地將圖片下載到用戶(hù)的瀏覽器緩存中[3]。系統(tǒng)的顯示策略與之類(lèi)似，即優(yōu)先將用戶(hù)當(dāng)前視線(xiàn)附近的圖片部分做反投影運(yùn)算并裝載到內(nèi)存中，當(dāng)用戶(hù)采用鼠標(biāo)操作虛擬空間進(jìn)行平移和縮放的時(shí)候，直接從內(nèi)存中讀取相應(yīng)部分的圖片，無(wú)需實(shí)時(shí)進(jìn)行反投影運(yùn)算,大大提高了瀏覽速度和響應(yīng)效率，改善了用戶(hù)體驗(yàn)。

2.5 系統(tǒng)其他應(yīng)用

這些全景技術(shù)在虛擬數(shù)字化校園中可以應(yīng)用在其他方面。

2.5.1 虛擬流程導(dǎo)航 基于某項(xiàng)工作流程設(shè)計(jì)路線(xiàn)，在路線(xiàn)中的主要場(chǎng)景采集圖像數(shù)據(jù)，生成全景圖。根據(jù)工作流程在各個(gè)場(chǎng)景的全景圖中添加相應(yīng)的熱點(diǎn)，以生成合理的路線(xiàn)。用戶(hù)通過(guò)電子地圖導(dǎo)航，瀏覽流程中各個(gè)場(chǎng)景周邊環(huán)境，提前熟悉流程信息，以提高辦事效率。本文以新生入學(xué)報(bào)到導(dǎo)航為例，實(shí)現(xiàn)全景技術(shù)的虛擬流程導(dǎo)航應(yīng)用(見(jiàn)圖10)。

圖10 新生導(dǎo)航視圖界面

2.5.2 虛擬圖書(shū)館 生成圖書(shū)館目錄廳、圖書(shū)閱讀室、期刊閱覽室等處的全景圖像，用戶(hù)點(diǎn)擊目錄廳全景圖像中的計(jì)算機(jī)，可以自動(dòng)鏈結(jié)到圖書(shū)館網(wǎng)址，查詢(xún)圖書(shū)館藏書(shū)信息、瀏覽個(gè)人借閱記錄，完成書(shū)刊預(yù)約和使用數(shù)字圖書(shū)館服務(wù)。在期刊閱覽室全景圖像中點(diǎn)擊書(shū)架上的某種期刊，則可以直接訪問(wèn)該期刊的目錄和摘要，甚至閱覽某篇文章的全文，而不再需要采用傳統(tǒng)的借閱方式。

3 討論

本文介紹了基于圖像的虛擬現(xiàn)實(shí)繪制技術(shù)，著重介紹了其中應(yīng)用最廣的方法：基于全景圖的方法，基于上述的系統(tǒng)架構(gòu)體系與各種關(guān)鍵技術(shù)，本文設(shè)計(jì)了以山東農(nóng)業(yè)大學(xué)為背景的虛擬校園漫游導(dǎo)航系統(tǒng)，該系統(tǒng)集傳統(tǒng)的單視點(diǎn)全景的局部瀏覽、電子地圖導(dǎo)航和多視點(diǎn)全景的全局漫游、信息查詢(xún)等多項(xiàng)功能于一體。

虛擬現(xiàn)實(shí)系統(tǒng)是網(wǎng)絡(luò)化信息化發(fā)展的一個(gè)趨勢(shì)，而基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)通過(guò)更深入的設(shè)計(jì)與進(jìn)一步完善，它還可以幫助管理部門(mén)實(shí)現(xiàn)規(guī)劃設(shè)計(jì)和方案評(píng)審。在網(wǎng)絡(luò)帶寬容量擴(kuò)大以及網(wǎng)絡(luò)發(fā)展的情況下，更有利于全景圖的數(shù)據(jù)更新和基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)的廣泛應(yīng)用。

[1] 楊 嵐.基于全景視圖的虛擬現(xiàn)實(shí)系統(tǒng)研究[D].南寧：貴州大學(xué),2007

[2]李云偉.全景圖技術(shù)的研究[D].武漢：華中科技大學(xué),2007

[3]范莉莎.基于圖像的數(shù)字化校園實(shí)現(xiàn)及其關(guān)鍵技術(shù)的研究[D].西安：電子科技大學(xué),2006

[4]鄭金鑫.全景虛擬游系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].北京：北京郵電大學(xué),2010