周曉光，趙仁厚，呂 游，王 晶

(海軍航空大學(xué)教練機模擬訓(xùn)練中心，遼寧 葫蘆島 125001)

1 前言

目前飛行模擬器顯示系統(tǒng)多采用柱幕和球幕顯示方式，通過多通道視景融合成大視場角顯示，可為飛行員提供較為逼真的視景仿真環(huán)境，增強了飛行員飛行模擬訓(xùn)練的沉浸感。飛行模擬器多通道視景融合主要是解決兩個問題：一是幾何校正問題，解決圖像非線性失真問題，使投影機所投圖像與柱幕或者球幕相匹配；二是邊緣融合問題，解決視景通道間邊緣拼接問題，使多通道視景投影重疊區(qū)域過渡平滑，實現(xiàn)無縫鏈接。

目前飛行模擬器多通道視景校正融合方式主要由兩種：一種是購置較為昂貴的多通道視景邊緣融合機，以融合卡的方式實現(xiàn)圖像的校正融合處理，通過視景融合機輸出滿足需要的視景圖像，即所謂的硬融合。硬融合優(yōu)點是融合效果好，實時性高，但是價格昂貴。另一種方式是應(yīng)用視景融合軟件，在視景生成系統(tǒng)上應(yīng)用軟件獲取視景圖像并進行校正融合處理，在視景生成計算機上直接輸出滿足需要的視景顯示圖像，即所謂的軟融合。軟融合的優(yōu)點是簡單方便，但缺點是會影響圖像的刷新率。在柱幕投影幾何校正[1-5]、顏色校正[6]、圖像邊緣融合[7-10]方面，國內(nèi)外相關(guān)學(xué)者作了大量研究，但是在飛行模擬器多通道視景校正融合方面研究較少。飛行模擬器多通道視景校正融合具有自己的特殊性：一是設(shè)備空間限制了基于復(fù)雜設(shè)備的自動幾何校正方式的應(yīng)用。飛行模擬器設(shè)備空間較小，顯示幕安裝于密封房體內(nèi)，且投影幕面積較大，因此基于相機-投影機結(jié)合等自動校正方式不適用，提升了幾何校正較為復(fù)雜性；二是視景生成顯示的實時性要求降低融合算法復(fù)雜性。目前模擬器視景生成顯示刷新頻率要求一般不小于60幀，視景生成軟件和視景融合軟件均運行在視景生成計算機上，視景融合軟件要獲取每一幀的圖像數(shù)據(jù)并進行融合處理，如果視景融合軟件過于復(fù)雜，將嚴重影響視景生成計算機的刷新率，甚至出現(xiàn)卡頓的現(xiàn)狀。

針對某型艦載機飛行模擬器多通道視景系統(tǒng)研發(fā)需要，本文提出了一種基于網(wǎng)格的非線性幾何校正方法和基于融合函數(shù)的圖像融合方法，方法簡單，融合效果好，滿足飛行模擬器視景實時性要求，適用于飛行模擬器多通道視景校正融合需要。

2 飛行模擬器多通道視景校正融合方法總體設(shè)計

2.1 飛行模擬器視景系統(tǒng)

典型實像飛行模擬器視景系統(tǒng)如圖1所示，由圖形計算機、投影儀、顯示幕組成。圖形計算機上裝配有視景生成軟件和數(shù)據(jù)庫，視景生成軟件接受控制端飛行數(shù)據(jù)，調(diào)用視景數(shù)據(jù)庫生成實時視景圖像，輸出到投影機和顯示器。

圖1 飛行模擬器視景系統(tǒng)

2.2 飛行模擬器多通道視景校正融合總體思路

根據(jù)飛行模擬器視景系統(tǒng)生成顯示原理，飛行模擬器多通道視景校正融合總體思路將顯示器和投影機設(shè)置成擴展顯示方式，通過WINDOWS圖形設(shè)備接口模塊獲取視景生成軟件輸出的實時圖像，然后對圖像進行幾何校正和邊緣融合處理，然后再由投影機輸出圖像。顯示器所顯示圖像是非變形的正常視景圖像，而投影機輸出視景圖像是經(jīng)過幾何校正和邊緣融合處理的圖像。

3 飛行模擬器多視景通道幾何校正

為實現(xiàn)對飛行模擬器多通道視景幾何校正，本文提出了一種基于網(wǎng)格校正方法。首先對圖像進行柱面投影處理，投影圖像經(jīng)變化后如圖2所示。然后在此基礎(chǔ)上，通過不斷增加網(wǎng)格控制點對投影圖像進行細化調(diào)整，如圖3所示，設(shè)置控制點數(shù)量為45個。在飛行模擬器實像投影柱面或者球面由于不平滑，常存在局部凹凸區(qū)域，在局部區(qū)域顯示區(qū)域會存在扭曲現(xiàn)象，因此要進行局部圖像的校正投影。

圖2 柱面投影圖像

圖3 網(wǎng)格控制圖像

3.1 柱面投影

常見的投影方法主要有等距投影(equirectangular)方法、圓柱投影(cylindrical)方法、直線投影(plane)等。本文采用柱面投影方法進行變換。對于圖像上的一點P(x，y)，在柱面圖像上的對應(yīng)點P(x′，y′)，其投影變換公式為[11]

(1)

3.2 網(wǎng)格點差值計算

在每次調(diào)整網(wǎng)格控制點過程中，需要重新計算圖像網(wǎng)格點位置。采用三次插值方法計算網(wǎng)格點位置信息，假設(shè)p0，p1，p2，p3分別是點x0，x1，x2，x3的函數(shù)值，那么位于x1，x2之間的x的函數(shù)值的插值公式如下[12]：

(2)

4 飛行模擬器多視景通道邊緣融合

4.1 邊緣融合的基本原理

為實現(xiàn)兩個視景通道融合區(qū)域是兩個道視景的疊加區(qū)，亮度加倍，產(chǎn)生白色帶。融合的方法是一個通道的視景融合區(qū)域圖像進行淡出處理，另一個通道視景融合區(qū)域圖像進行淡入處理，使得兩個通道疊加區(qū)圖像顯示與單通道顯示效果一致。

假設(shè)x為像素列在視景通道融合區(qū)域的位置，g(x)為圖像融合區(qū)域像素值，滿足式(3)條件的f(x)稱為融合函數(shù)：

f(x)g(x)+(1-f(x))g(x)=g(x)

(3)

式(3)描述了對一個通道的視景融合區(qū)域圖像像素乘以融合函數(shù)f(x)，即進行淡出處理，對另一個通道視景融合區(qū)域圖像像素乘以1-f(x)，即進行淡入處理，再將兩幅圖像對應(yīng)的像素值進行相加，最終得到輸入圖像的完整信息。

4.2 邊緣融合函數(shù)

常用的邊緣融合函數(shù)如式4所示[13]

(4)

式中，x為像素列在融合區(qū)的相對位置；p為影響因子。邊緣融合函數(shù)曲線如圖4所示。

圖4 邊緣融合函數(shù)

4.3 亮度校正

視景通道融合區(qū)域圖像進行融合處理后，融合區(qū)域呈現(xiàn)灰色的條帶。主要原因是融合處理只是改變了融合區(qū)的圖像像素值，沒有對圖像亮度進行校正。為增加融合區(qū)圖像亮度，需要構(gòu)建一個將融合區(qū)像素點影射為亮度值的函數(shù)，稱為Gamma函數(shù)。像素點亮度值與像素值值的對應(yīng)關(guān)系如式4所示。

Y(r，g，b)=(R，G，B)G

其中Y(r，g，b)為亮度值，(R，G，B)為像素值，G為Gamma函數(shù)。在實際校正過程中，G的取值一般在1.8～2.2之間。

5 仿真分析

5.1 關(guān)鍵技術(shù)實現(xiàn)

1)基于WINDOW GDI的屏幕截圖

由于圖像生成軟件比較多，主流的主要是VP，MATTIS等，以及國內(nèi)自主研發(fā)的視景生成軟件。為確保融合軟件使用方便簡潔，采用WINDOW GDI對計算機進行拷屏獲取圖像的方式，避免了將軟件疊加到各種視景軟件中的繁瑣操作。實現(xiàn)WINDOWS拷屏功能，最主要的GDI函數(shù)是GetDIBits，其功能是撿取制定位圖的信息，并將其以制定格式復(fù)制到一個緩沖區(qū)，參數(shù)意義如下：

GetDIBits(

hdcScreen，∥設(shè)備環(huán)境句柄

hbmScreen，∥位圖句柄

0，∥制定檢索的第一個掃描線

(UNIT)bmpScreen.bmHeight，∥ 制定檢索的掃描線數(shù)

lpbitmap，∥ 制定用來檢索位圖數(shù)據(jù)的緩沖區(qū)的指針

(BITMAPINFO*)&bi，∥該結(jié)構(gòu)體保存位圖的數(shù)據(jù)格式

DIB＿RGB＿COLORS∥顏色表由紅、綠、藍三個直接值構(gòu)成

)；

2)基于GLSL的圖像融合處理

GLSL(OpenGL Shading Language)，是一種以C 語言為基礎(chǔ)的高階著色語言，它是由OpenGL ARB所建立，提供開發(fā)者對繪制管線更多的直接控制，而無需使用匯編語言或硬件規(guī)格語言。GLSL編成的最大優(yōu)勢是將復(fù)雜數(shù)據(jù)處理交給GPU來做，充分利用專門的圖形硬件所提供的硬件加速來實現(xiàn)，減輕CPU負擔(dān)，提高計算機渲染性能和實時性。

OpenGL程序中使用著色器的初始化一般需要依次執(zhí)行以下步驟：

1)點著色器程序的源代碼和片段著色程序源代碼分別寫入一個文件中，一般頂點著色器代碼文件后綴為.vert，片段著色器源代碼文件后綴為.frag；

2)使用glCreateshader()分別創(chuàng)建一個頂點著色器和一個片源著色器；

3)使用glShaderSource()分別將頂點/片段著色程序的源代碼字符數(shù)組綁定到頂點/片源著色器對象上；

4)使用glComplieShader()分別編譯頂點著色器和片源著色器對象；

5)使用glCreaterProgram()創(chuàng)建一個著色器程序?qū)ο螅?/p>

6)使用glAttachShader()將頂點和片段照射創(chuàng)建一個著色程序?qū)ο螅?/p>

7)使用glLinkProgram()分別將頂點和片段著色器和著色程序執(zhí)行鏈接生成一個可執(zhí)行程序；

8)使用glUseProgram()將OpenGL渲染管道切換到著色器模式，并將當(dāng)前的著色器進行渲染。

5.2 仿真結(jié)果分析

視景生成軟件使用MANTIS，利用通用圖像生成接口協(xié)議對視景進行輸入控制。

1)網(wǎng)絡(luò)插值點控制

融合軟件網(wǎng)絡(luò)插值點控制如圖5所示，根據(jù)需要可以調(diào)解橫向和縱向網(wǎng)格點數(shù)量，便于進行幾何校正。在初始調(diào)整的條件下，可以使用4個邊緣網(wǎng)格控制點，對融合圖像的投影位置進行初始固定，然后根據(jù)需要逐步增加網(wǎng)絡(luò)點數(shù)量。

圖5 融合軟件網(wǎng)絡(luò)插值點

2)邊緣融合帶調(diào)整

調(diào)整融合函數(shù)參數(shù)可以對融合帶的寬度和淡入淡出效果進行調(diào)整，仿真效果如圖6所示。圖中左側(cè)融合帶寬度參數(shù)為0.9，右側(cè)融合帶寬度參數(shù)為0.6，根據(jù)需要科技對圖像4個方向進行融合帶大小以及淡入淡出效果調(diào)整。

圖6 邊緣融合仿真

3)刷新率

表1給出了不同分辨率條件下視景融合軟件的刷新率，融合軟件設(shè)定的刷新率為60幀，當(dāng)刷新率大于1400*1050時，融合刷新率會降低。一般在應(yīng)用MANTIS視景驅(qū)動軟件進行仿真時，圖像分辨率會設(shè)定為1400*1050，因此融合軟件滿足工程應(yīng)用需求。

表1 融合刷新率

應(yīng)用本融合軟件，開發(fā)的飛行模擬器視景系統(tǒng)如圖7所示，從圖中可以看出，幾何校正能力較好，輸出圖像與環(huán)形幕布切合；融合帶融合效果較好，沒有明顯裂縫或良帶；刷新率滿足訓(xùn)練需要，達到了飛行模擬器視景系統(tǒng)應(yīng)用需求。

圖7 融合效果圖

6 結(jié)論

針對飛行模擬器多通道視景校正融合處理需要，本文提出了基于網(wǎng)格的多通道視景投影圖像校正方法，并基于邊緣融合函數(shù)實現(xiàn)了圖像邊緣融合處理，采用GLSL著色語言設(shè)計了飛行模擬器多通道視景校正融合軟件，仿真結(jié)果顯示，所提出的飛行模擬器多通道視景校正融合方法具有操作簡單，融合效果好，實時性高等特點，滿足飛行模擬器多通道視景投影校正融合需要。