徐吉輝，奚曉梁，范紹里

（海軍航空工程學(xué)院 a.科研部；b.七系，山東 煙臺 264001）

紅外視景生成可以為紅外成像制導(dǎo)半實(shí)物仿真提供各種不同的戰(zhàn)場環(huán)境，是仿真的關(guān)鍵技術(shù)。紅外視景生成技術(shù)可以分為動(dòng)態(tài)模式和“電影”回放模式[1]，前者是指在閉環(huán)系統(tǒng)中，生成的紅外視景根據(jù)探測系統(tǒng)視場的變化，及時(shí)提供相應(yīng)的場景圖像，使場景與探測系統(tǒng)對投影圖像的反應(yīng)相一致。后者是在仿真運(yùn)行前，非實(shí)時(shí)地計(jì)算出一系列2D圖像，然后再以“電影”回放的形式將這一圖像序列顯示給被測系統(tǒng)。顯而易見，動(dòng)態(tài)模式下的紅外視景生成更能充分模擬紅外制導(dǎo)武器的真實(shí)作戰(zhàn)環(huán)境，是紅外視景生成技術(shù)的主要發(fā)展方向。

增強(qiáng)現(xiàn)實(shí)（AR）技術(shù)[2-6]是借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)產(chǎn)生現(xiàn)實(shí)環(huán)境中不存在的虛擬對象，并通過傳感技術(shù)將虛擬對象準(zhǔn)確放置。在真實(shí)環(huán)境中，借助顯示設(shè)備將虛擬對象與真實(shí)環(huán)境融為一體，并呈現(xiàn)給用戶一個(gè)感官效果真實(shí)的新環(huán)境。因此，增強(qiáng)現(xiàn)實(shí)系統(tǒng)具有虛實(shí)結(jié)合、實(shí)時(shí)交互、三維注冊的新特點(diǎn)。

1 基于增強(qiáng)現(xiàn)實(shí)的動(dòng)態(tài)虛擬視景生成步驟

AR系統(tǒng)雖不需要顯示完整的場景，但需要通過分析大量的定位數(shù)據(jù)和場景信息來保證由計(jì)算機(jī)生成的虛擬物體可以精確地定位在真實(shí)場景中。因此，AR系統(tǒng)中一般都包含以下4個(gè)基本步驟，如圖1所示：① 獲取真實(shí)場景信息；② 對真實(shí)場景和相機(jī)位置信息進(jìn)行分析；③ 生成虛擬景物；④ 合成場景或直接顯示，即圖形系統(tǒng)首先根據(jù)相機(jī)的位置信息和真實(shí)場景中的定位標(biāo)記來計(jì)算虛擬物體坐標(biāo)到相機(jī)視平面的仿射變換；然后按照仿射變換矩陣在視平面上繪制虛擬物體；最后直接通過S-HMD顯示或與真實(shí)場景的視頻合并后，一起顯示在普通顯示器上。AR系統(tǒng)中，成像設(shè)備、跟蹤與定位技術(shù)和交互技術(shù)是實(shí)現(xiàn)一個(gè)基本系統(tǒng)的支撐技術(shù)。

圖1 AR系統(tǒng)基本流程

2 虛擬物體與實(shí)景空間的合成方法

為了使計(jì)算機(jī)生成的虛擬物體與實(shí)景紅外圖像真實(shí)地結(jié)合在一起，需要解決虛擬物體與實(shí)景空間合成的一致性問題，主要包括幾何一致性和輻射一致性兩個(gè)方面。其中幾何一致性的關(guān)鍵在于對實(shí)景相機(jī)進(jìn)行精確校準(zhǔn)，也就是確定實(shí)景相機(jī)的外部參數(shù)（空間位置、方向）和內(nèi)部參數(shù)（焦距、光心、縱橫比、畸變系數(shù)等），這樣才能將計(jì)算機(jī)生成的虛擬物體以合適的大小加入到真實(shí)場景中合適的位置上，同時(shí)還需要確定虛擬物體與真實(shí)場景之間的遮擋關(guān)系；輻射一致性則首先需要恢復(fù)出真實(shí)場景的輻射模型，然后計(jì)算真實(shí)場景輻射模型對虛擬物體的影響，例如熱交換、反射等。

2.1 熱像儀的幾何標(biāo)定

這里考慮采用理想的小孔相機(jī)模型，而不考慮相機(jī)鏡頭的畸變?？紤]到實(shí)際環(huán)境的復(fù)雜性，用如圖2所示的定標(biāo)模板來幫助進(jìn)行相機(jī)的校準(zhǔn)。具體的做法是：在拍攝實(shí)景圖像時(shí)，除了拍攝用于拼接的圖像之外，將定標(biāo)模板放入到實(shí)際環(huán)境中，在某一個(gè)拍攝方向用相同焦距多拍攝一張含有定標(biāo)模板的圖像；用不含有定標(biāo)模板的圖像來合成全景圖像，用含有定標(biāo)模板的圖像進(jìn)行相機(jī)校準(zhǔn)。為了簡單起見，以定標(biāo)模板的兩個(gè)平面分別作為XOwY 平面和ZOwY 平面，建立如圖2所示的世界坐標(biāo)系。這里定標(biāo)模板上矩形各角在世界坐標(biāo)系中3D坐標(biāo)已知，可用拐角提取算法提取它們在圖像中的坐標(biāo)，這樣就得到了一系列3D 空間與2D圖像平面的對應(yīng)點(diǎn)。

圖2 定標(biāo)模板與世界坐標(biāo)系

設(shè)3D 空間中的一點(diǎn) M (Xi,Yi,Zi)在2D圖像平面中的對應(yīng)點(diǎn)為m(ui,vi)，則 M (Xi,Yi,Zi)與 m (ui,vi)滿足如下關(guān)系：

這里λ是比例因子，P為3×4的透視投影矩陣，根據(jù)小孔相機(jī)模型，矩陣P可以表示為：

式中：[R T]是相機(jī)坐標(biāo)系相對于世界坐標(biāo)系的旋轉(zhuǎn)和平移矩陣；K是小孔相機(jī)模型的內(nèi)部參數(shù)，它可以表示為：

這是一個(gè)含有5個(gè)參數(shù)的上三角矩陣。其中：f是焦距，(u0,v0)是主點(diǎn)坐標(biāo)，α是像素縱橫比，s是傾斜因子。通常情況下，可以簡化內(nèi)部參數(shù)模型，令α=1，s=0，這樣就只剩3個(gè)內(nèi)部參數(shù)。

要求解式(1)，至少需要知道6 對三維空間與二維圖像空間的對應(yīng)點(diǎn)，然后可以用最小二乘法求解P，使得下面的匹配誤差最?。?/p>

得到了透視投影矩陣P，還需要對其進(jìn)行分解得到相機(jī)的內(nèi)部參數(shù)和外部參數(shù)。我們知道P的子矩陣可以表示為：

K是上三角矩陣，R是正交矩陣，可以使用QR分解來得到內(nèi)部參數(shù)矩陣K 和旋轉(zhuǎn)矩陣R，進(jìn)而可以求得平移矩陣T。視點(diǎn)空間是用全景圖像表示的，對于構(gòu)成一個(gè)全景圖像的若干幅原始圖像來說，它們的相機(jī)位置、焦距和內(nèi)部參數(shù)都是相同的，而且相機(jī)的方向也存在一定的空間關(guān)系（即由一幅圖像的相機(jī)方向可以計(jì)算出另一幅圖像的相機(jī)方向），因而對于每一個(gè)視點(diǎn)，只需要對其中的一幅原始圖像進(jìn)行校準(zhǔn)即可。而對于不同的視點(diǎn)，就需要分別進(jìn)行相機(jī)校準(zhǔn)。通過相機(jī)校準(zhǔn)我們得到了相機(jī)的位置、方向和焦距等參數(shù)，而要將虛擬物體以合適的大小加入到場景中的合適位置，并使得二者在交互漫游時(shí)保持實(shí)時(shí)一致，就需要使虛擬相機(jī)與實(shí)景相機(jī)在方向、位置、焦距上保持實(shí)時(shí)一致，這樣才能使用戶感覺到虛擬物體融入到真實(shí)環(huán)境中。

2.2 熱像儀的輻射標(biāo)定

在數(shù)字圖像中，圖像的灰度或偽彩色代表的是某一電平值，在進(jìn)行輻射量的定量測量與計(jì)算時(shí)，就需要將儀器的輸出信號（電平電壓）與目標(biāo)的輻射量一一對應(yīng)起來。因此，需要用標(biāo)準(zhǔn)輻射源對熱像儀的輸出信號進(jìn)行定標(biāo)。

標(biāo)定的方法是在熱像儀工作波段（λ1～ λ2）內(nèi)，對給定的熱像儀工作狀態(tài)（濾光片、量程和電平），測定熱像儀輸出電平 V (T)與黑體溫度T 間的關(guān)系。

式中：V (T)表示熱像儀的輸出電平；L (λ,T)表示黑體光譜輻射亮度；R ()λ表示熱像儀光譜相應(yīng)度。

其中黑體光譜輻射亮度 L (λ,T)為：

式中：λ為波長，單位μm；T為黑體溫度，單位K。

當(dāng) λ1? λ2=?λ同 λ1或 λ2相比很小時(shí)，也就是熱像儀工作波段?λ很窄時(shí)，熱像儀輸出電平 V (T)同黑體溫度T的關(guān)系為：

式中：0λ 等于

也就是說，熱像儀輸出電平 V (T) 同黑體溫度T的關(guān)系是指數(shù)關(guān)系。對于熱像儀工作波段不是很窄時(shí)，熱像儀輸出電平 V (T) 同黑體溫度T的關(guān)系利用下述指數(shù)函數(shù)可得到最佳擬合效果：

測量不同的黑體溫度1T、2T、3T …、熱像儀對應(yīng)的輸出電平V (T1)、V (T2)、V (T3) …、（通常為5組或5組以上），利用最小二乘法即可求出A、B、C。

利用熱像儀測量目標(biāo)（或背景）紅外輻射特性的過程是與熱像儀定標(biāo)過程相反的過程：由熱像儀測量目標(biāo)得到的輸出電平 V (T)，經(jīng)式（9）所示的定標(biāo)函數(shù)，得到目標(biāo)表觀的等效黑體溫度T。目標(biāo)表觀的等效黑體溫度是使熱像儀測量目標(biāo)時(shí)的輸出電平等于利用黑體標(biāo)定時(shí)熱像儀的輸出電平。

式中：Lta表示目標(biāo)紅外光譜輻射亮度，積分后值的單位為W?m-2?sr-1?μm-1。等式左邊代表測量目標(biāo)時(shí)熱像儀的輸出電平，右邊代表標(biāo)定時(shí)熱像儀的輸出電平。

將定標(biāo)結(jié)果輸入紅外圖像處理軟件，即可對目標(biāo)紅外圖像進(jìn)行輻射溫度的定量與處理。

1）目標(biāo)輻射源的輻射面積計(jì)算

根據(jù)一起的視場、測量距離和像素，計(jì)算出目標(biāo)輻射源像素所占的實(shí)際面積。

假設(shè)儀器水平視場為4.5°，水平像素為320，則單個(gè)像素實(shí)際長度為：

式中：l為單個(gè)像素實(shí)際長度，單位m；L為測量距離，單位m。

則輻射源像素所占的面積為：

式中：A為輻射面積，單位為m2；n為輻射像素?cái)?shù)。

由式(11)、(12)計(jì)算出目標(biāo)輻射源的輻射面積。

2）目標(biāo)表觀輻射量計(jì)算

根據(jù)上述的目標(biāo)輻射溫度和輻射面積計(jì)算結(jié)果，由式(13)普朗克公式和式(14)、(15)即可計(jì)算出目標(biāo)的表觀輻射亮度和表觀輻射強(qiáng)度：

式中：M (λ,T)為黑體光譜輻射出度，單位 W?m-2；C0表示光速；k表示波爾茲曼常數(shù)；h表示普朗克常數(shù)；T表示輻射溫度，單位為K。

式中：L3～5μm表示3 ～5 μm表觀輻射亮度，單位為W?sr-1；A表示輻射面積，單位為m2。

式(13)任意波長范圍內(nèi)的積分和式(14)已編了專門的計(jì)算軟件進(jìn)行計(jì)算。只要輸入輻射起始波長λ1和終止 λ2及輻射溫度T，即可計(jì)算出 λ1～ λ2內(nèi)的輻射出射度和表觀輻射亮度，再由式(15)計(jì)算出表觀輻射強(qiáng)度。表觀輻射強(qiáng)度進(jìn)行大氣吸收修正后，即可得到目標(biāo)有效輻射強(qiáng)度。

3 視頻檢測方法

用視頻檢測方法進(jìn)行定位不需要其他設(shè)備，且定位精確。因此，是AR系統(tǒng)中最常見的定位方法。在視頻檢測方法中，系統(tǒng)常通過匹配事先定義好的多種圖形模板來標(biāo)記各種物體和基準(zhǔn)位置。簡單的模板匹配不僅可以提高圖像識別的效率，而且可以達(dá)到實(shí)時(shí)性的要求。視頻檢測中使用的標(biāo)記一般由黑色封閉的矩形框和內(nèi)部的各種圖形或文字這兩部分構(gòu)成，其中黑色封閉的矩形框可以使程序在視頻場景中快速識別是否存在標(biāo)記，其內(nèi)部的圖形或文字可以表示標(biāo)記的具體信息，如表示何種目標(biāo)或在此應(yīng)顯示何種虛擬物體。這樣當(dāng)系統(tǒng)場景中的定位標(biāo)記被識別后，根據(jù)圖形的仿射不變性原理，就可以重建從預(yù)定義標(biāo)記到當(dāng)前場景中標(biāo)記的坐標(biāo)轉(zhuǎn)移矩陣；然后系統(tǒng)就可以根據(jù)這個(gè)轉(zhuǎn)移矩陣來繪制虛擬物體并進(jìn)行渲染。

4 紅外視景的實(shí)時(shí)生成問題

生成具有高逼真度的動(dòng)態(tài)紅外場景的計(jì)算量較大，紅外圖像的生成和顯示的實(shí)時(shí)性就成為首要要求。動(dòng)態(tài)紅外場景的實(shí)時(shí)性體現(xiàn)在：運(yùn)動(dòng)體的位置、姿態(tài)的實(shí)時(shí)計(jì)算和動(dòng)態(tài)繪制，畫面更新即幀頻必須達(dá)到一定要求，對于人的交互動(dòng)作相應(yīng)時(shí)間不能大于0.1 s。場景生成的實(shí)時(shí)性與紅外場景生成的軟硬件有關(guān)，取決于系統(tǒng)運(yùn)算速度、算法的有效性、目標(biāo)模型的復(fù)雜程度。

1）在保證系統(tǒng)要求逼真度情況下減少建模的復(fù)雜程度。目標(biāo)模型面元數(shù)越多，所生成的模型越逼真，但輻射度的計(jì)算和實(shí)時(shí)繪制速度大大減慢，因此提高實(shí)時(shí)性與真實(shí)感存在矛盾。通常的做法是保證系統(tǒng)要求逼真度的情況下，建立幾何模型時(shí)進(jìn)行合理簡化，對于遠(yuǎn)近距離不同、紅外特征不同等情況分別進(jìn)行考慮、簡化；也采用單元分割以及內(nèi)存管理技術(shù)來提高系統(tǒng)運(yùn)行速度。

2）離線和在線相結(jié)合的計(jì)算方式。將目標(biāo)的紅外光譜圖像等計(jì)算量大的部分先離線計(jì)算好，而將合成和傳輸?shù)扔?jì)算量相對較小的或必須動(dòng)態(tài)計(jì)算的部分采用在線計(jì)算。

3）提高算法的有效性。目前的實(shí)時(shí)圖形繪制算法主要在實(shí)時(shí)消隱技術(shù)、場景簡化技術(shù)和圖形繪制技術(shù)三方面展開，其中消隱是實(shí)時(shí)圖形繪制中最費(fèi)時(shí)的部分。為保證實(shí)時(shí)性，在不影響逼真度的前提下，優(yōu)化三方面算法，減少計(jì)算時(shí)間，提高算法的有效性。

4）盡量采用圖形加速卡等硬件加速模式，OpenGL的大部分功能可以由硬件實(shí)現(xiàn)，僅有少量功能由操作系統(tǒng)完成，能極大提高實(shí)時(shí)性。

5 結(jié)束語

增強(qiáng)現(xiàn)實(shí)技術(shù)已成為虛擬現(xiàn)實(shí)技術(shù)的一個(gè)重要的發(fā)展方向，基于實(shí)景圖像的虛擬現(xiàn)實(shí)技術(shù)隨著全景圖像生成、縱平移平滑過渡、狀態(tài)相關(guān)的預(yù)測路徑全景圖像緩沖機(jī)制等關(guān)鍵技術(shù)的逐漸解決成熟，也將是值得研究的論題。而將這些先進(jìn)技術(shù)引入動(dòng)態(tài)紅外視景生成領(lǐng)域，將有著深遠(yuǎn)的應(yīng)用前景。

[1]BUFORD JR J A,et al.Low cost real-time infrared scene generation image projection and signal injection[C]//SPIE.1997:48-56.

[2]SEITZ S M,DYER C R.View morphing[C]//Proceeding of the ACM SIGGRAPH Conference on computer graphics.LA:New Orleans,1996:21-42.

[3]AZUMA R.Survey of augmented reality[J].Teleoperators and Virtual Environments,1997,6(4):355-385.

[4]LONGUET HIGGINS H C.A computer algorithm for reconstructing a scene from two projections[J].Nature,1981,293:133-135.

[5]KATO H,BILLINGHURST M,POUPYREV I,etal.Virtual object manipulation of a table-top AR environment[C]//Proceedings of International Symposium on Augmented Reality 2000(ISAR00).Los Alamitos,CA,USA,2000:111-119.

[6]BILLINGHURST M,KATO H,BILLINGHURST M,et al.The Magic Book:Moving Seamlessly between reality and virtuality[J].IEEE Computer Graphics and Applications,2001,21(3):24-26.