杜惠杰，杜 漸，張 興，任 重

(1. 航天系統(tǒng)仿真重點(diǎn)實(shí)驗(yàn)室，北京 100854； 2. 浙江大學(xué)，浙江 杭州 310027)

0 引 言

在實(shí)驗(yàn)室半實(shí)物仿真回路中實(shí)現(xiàn)對探測系統(tǒng)性能的高精度仿真評估，仿真鏈路的時(shí)間特性是影響仿真精度的關(guān)鍵因素。紅外動(dòng)態(tài)場景仿真系統(tǒng)用于在實(shí)驗(yàn)室條件下模擬探測系統(tǒng)實(shí)時(shí)觀測的動(dòng)態(tài)場景，構(gòu)成的信息串聯(lián)傳輸鏈路包括接收仿真機(jī)實(shí)時(shí)解算數(shù)據(jù)、計(jì)算機(jī)圖像生成、圖像數(shù)據(jù)至目標(biāo)模擬器的傳輸、目標(biāo)模擬器刷新顯示等環(huán)節(jié)。這個(gè)信息鏈路上每個(gè)環(huán)節(jié)造成的時(shí)間延遲都是仿真系統(tǒng)固有的，并不是真實(shí)場景中存在的，導(dǎo)致探測系統(tǒng)觀測到的將是由圖像生成、數(shù)據(jù)傳輸引起的具有延時(shí)的仿真場景，這將直接降低半實(shí)物仿真系統(tǒng)的精度和可靠性，亟待解決。

1 國內(nèi)外現(xiàn)狀分析

仿真回路中的紅外動(dòng)態(tài)場景生成需要滿足在模擬器觸發(fā)圖像獲取時(shí)能夠得到實(shí)時(shí)的仿真紅外圖像，這就要求紅外動(dòng)態(tài)場景生成能夠以低穩(wěn)延時(shí)實(shí)現(xiàn)仿真紅外圖像的生成。由于低延時(shí)的圖像序列總是可以通過延時(shí)填充的方式滿足穩(wěn)定性要求，所以穩(wěn)定延時(shí)的需求其實(shí)暗含在低延時(shí)需求中。低穩(wěn)延時(shí)的紅外動(dòng)態(tài)場景模擬技術(shù)在虛擬現(xiàn)實(shí)的繪制領(lǐng)域是一個(gè)熱點(diǎn)研究方向，原因是過長和不穩(wěn)定的延時(shí)將直接造成虛擬現(xiàn)實(shí)用戶長時(shí)間使用系統(tǒng)時(shí)的明顯不適感。正因如此，降低圖像生成的延時(shí)，一直以來是虛擬現(xiàn)實(shí)領(lǐng)域研究的熱點(diǎn)問題，并隨著近年來虛擬現(xiàn)實(shí)軟硬件的快速發(fā)展引起越來越多的重視。以美國為代表的西方國家的科研機(jī)構(gòu)在圖像生成系統(tǒng)和解決圖像生成系統(tǒng)延時(shí)方面做了大量的工作，以適應(yīng)低穩(wěn)延時(shí)需求。在硬件加速方面，最大的圖形加速卡生產(chǎn)廠商 NVIDIA 針對降低延時(shí)提出了專門的硬件架構(gòu)和圖像處理流水線來降低延時(shí)[1]，并針對特定需求利用專門設(shè)計(jì)的硬件來加速；VINCENZI 等結(jié)合“Warper Board”技術(shù)構(gòu)造的頭戴顯示的延時(shí)抑制系統(tǒng)[2]，能夠?qū)⒃械睦L制延時(shí)從 40 ms 降低到 4 ms 左右；POPESCU 等設(shè)計(jì)了一種專門處理的并行計(jì)算硬件形變陣列和區(qū)域累積器來實(shí)現(xiàn)基于深度緩存的圖像扭曲和重構(gòu)計(jì)算，并在此基礎(chǔ)上設(shè)計(jì)了完整的圖像生成引擎 WarpEngine[3]；LI 等基于現(xiàn)場可編程邏輯門陣列(field programmable gate array, FPGA)架構(gòu)實(shí)現(xiàn)了完整的柱面深度圖像形變計(jì)算[4]，可以在電路上以 88.152 MHz 的頻率運(yùn)行。在流水線及算法優(yōu)化方面，通過定制圖形加速算法來降低延時(shí)，REGAN和POSE建立了地址重計(jì)算流水線，實(shí)現(xiàn)了觀察位置和方向與繪制過程的解耦[5]，可以明顯降低延時(shí)且更穩(wěn)定。Mark等提出了一種基于3D繪制后變形的動(dòng)態(tài)圖像生成體系架構(gòu)[6]，系統(tǒng)的整體延時(shí)得到明顯降低。后續(xù)發(fā)展根據(jù)參考幀的圖像分辨率建立了一個(gè)網(wǎng)格，然后使用典型的圖形處理器(graphics processing unit，GPU)頂點(diǎn)著色器功能來對網(wǎng)格進(jìn)行形變，最終輸出的圖像可以通過多種方式重構(gòu)，實(shí)現(xiàn)最好的性能-質(zhì)量均衡。

從目前國內(nèi)研究的情況來看，仍然沒有一套系統(tǒng)詳實(shí)的處理方法來明確地解決半實(shí)物仿真圖像生成及傳輸過程中出現(xiàn)的延時(shí)問題，這一領(lǐng)域的研究還處于相對空白狀態(tài)。

2 紅外動(dòng)態(tài)場景模擬延時(shí)性能分析

紅外動(dòng)態(tài)場景模擬系統(tǒng)通常由計(jì)算機(jī)圖像生成系統(tǒng)、目標(biāo)模擬器、輸入輸出接口板卡等部分組成，構(gòu)成信息串聯(lián)傳輸鏈路，包括接收仿真機(jī)實(shí)時(shí)解算數(shù)據(jù)、計(jì)算機(jī)圖像生成、圖像數(shù)據(jù)至目標(biāo)模擬器的傳輸、目標(biāo)模擬器刷新顯示等環(huán)節(jié)。

以基于圖形工作站、圖像軟件及目標(biāo)模擬器構(gòu)成的紅外動(dòng)態(tài)場景仿真系統(tǒng)的延時(shí)為例，通過示波器測試數(shù)據(jù)輸入時(shí)刻與圖像數(shù)據(jù)輸出時(shí)刻的時(shí)間差，如表1所示。

表1 系統(tǒng)延時(shí)數(shù)據(jù)記錄Tab.1 System delay data

由表1數(shù)據(jù)可知，最大延時(shí)為50.8 ms，最小延時(shí)為41.2 ms，平均延時(shí)為44.8 ms。

上述系統(tǒng)延時(shí)的存在及每幀延時(shí)的不穩(wěn)定性，導(dǎo)致觀測系統(tǒng)觀測到的將是延遲的模擬紅外場景，主要影響因素如下：①由非實(shí)時(shí)操作系統(tǒng)引起的實(shí)時(shí)響應(yīng)能力不足；②圖像數(shù)據(jù)傳輸帶來的不穩(wěn)定長延時(shí)。紅外動(dòng)態(tài)場景模擬不穩(wěn)定延時(shí)直接影響半實(shí)物仿真系統(tǒng)的精度和可靠性。

3 基于PCI-E總線的延時(shí)控制技術(shù)

由于顯卡GPU提供了非常強(qiáng)大的計(jì)算及圖像圖形處理渲染能力，基于PCI-E總線內(nèi)存映射的延時(shí)控制方法，保留了顯卡GPU強(qiáng)大的圖像渲染能力，即可利用圖形硬件軟件接口OpenGL、SE-WORKBENC、Vega等圖像仿真軟件平臺(tái)實(shí)現(xiàn)復(fù)雜場景光學(xué)特性仿真。另一方面，場景渲染后規(guī)避顯卡DVI輸出接口的延時(shí)問題，利用顯存數(shù)據(jù)讀出技術(shù)將每幀圖像讀入內(nèi)存，以直接存儲(chǔ)器訪問(direct memory access，DMA)方式，經(jīng)PCI-E總線及光纖傳輸，將數(shù)據(jù)直接存入目標(biāo)模擬系統(tǒng)緩存以實(shí)現(xiàn)同步刷新，從而實(shí)現(xiàn)復(fù)雜場景穩(wěn)定短延時(shí)輸出，信息流程圖如圖1所示。

圖1 信息流程圖Fig.1 Information flow diagram

3.1 基于計(jì)算機(jī)顯卡GPU實(shí)現(xiàn)復(fù)雜場景仿真

計(jì)算機(jī)GPU以大大超過摩爾定律的速度高速發(fā)展，極大地提高了計(jì)算機(jī)圖形處理的速度和圖形質(zhì)量，并促進(jìn)了計(jì)算機(jī)圖形相關(guān)應(yīng)用領(lǐng)域的發(fā)展。本文基于GPU及其圖形接口軟件或圖像仿真軟件系統(tǒng)實(shí)時(shí)接收姿態(tài)角、位置及時(shí)間等數(shù)據(jù)量，依據(jù)目標(biāo)、環(huán)境及背景數(shù)據(jù)生成觀測系統(tǒng)視線下的場景仿真圖像，如圖2所示，最終形成二維分布灰度數(shù)據(jù)存入幀緩存。

圖2 復(fù)雜場景仿真流程Fig.2 Complicated scene simulation flow

3.2 實(shí)現(xiàn)顯存圖像數(shù)據(jù)到內(nèi)存圖像數(shù)據(jù)映射

GPU提供的圖形接口函數(shù)支持CPU與GPU間的數(shù)據(jù)通訊，接口函數(shù)為glReadPixels()，該函數(shù)實(shí)現(xiàn)從幀緩存中讀取二維圖像灰度數(shù)據(jù)，然后執(zhí)行像素轉(zhuǎn)移操作，再將數(shù)據(jù)封裝到處理器內(nèi)存中。為實(shí)現(xiàn)動(dòng)態(tài)圖像渲染，通常采用前后緩存交換技術(shù)，進(jìn)而保證動(dòng)態(tài)圖像的流暢播放。為了減小延時(shí)、提高讀出速度，采用像素存儲(chǔ)模式控制技術(shù)，保證每幀圖像生成后圖像數(shù)據(jù)存入前緩存，不執(zhí)行緩存交換，直接利用接口函數(shù)glReadPixels()將顯存數(shù)據(jù)封裝到處理器內(nèi)存中。

3.3 基于DMA方式的PCI-E總線及高速光纖數(shù)據(jù)傳輸

圖像生成后利用PCI-E總線傳輸，即圖像數(shù)據(jù)取回內(nèi)存后，下一步將以DMA方式利用PCI-E卡讀出處理器內(nèi)存數(shù)據(jù)，經(jīng)高速光纖將數(shù)據(jù)直接傳輸?shù)侥繕?biāo)模擬器內(nèi)存，這種傳輸方式最大限度地實(shí)現(xiàn)了短延時(shí)穩(wěn)定輸出。一方面，DMA傳輸是計(jì)算機(jī)與外設(shè)實(shí)時(shí)交換數(shù)據(jù)的重要方法，在數(shù)據(jù)傳輸過程中DMA代替CPU掌握總線數(shù)據(jù)傳輸控制權(quán)，避免了操作系統(tǒng)控制帶來的不穩(wěn)定性。另一方面，采用PCI-E總線與單模光纖高速相結(jié)合的傳輸方式，輸出卡應(yīng)用程序接口(application programming interface，API)會(huì)按照輸出卡發(fā)出的時(shí)鐘中斷信號(hào)，不斷地從處理器內(nèi)存讀取先前封裝的灰度圖像，這樣就避免了不同時(shí)鐘源的嚴(yán)格同步問題。

在半實(shí)物仿真過程中，必須保證在觀測系統(tǒng)曝光期間看到穩(wěn)定、無閃爍的圖像，因此觀測系統(tǒng)與目標(biāo)模擬器必須實(shí)現(xiàn)曝光同步，避免觀測到假灰度圖像。仿真數(shù)據(jù)存儲(chǔ)到目標(biāo)模擬器內(nèi)存后接收同步信號(hào)，目標(biāo)模擬器刷新穩(wěn)定后，觀測系統(tǒng)開始曝光，完成當(dāng)幀場景圖像觀測的采集。

上述方法充分利用了GPU的強(qiáng)大圖像處理功能，規(guī)避了視頻傳輸?shù)牟环€(wěn)定延時(shí)問題，利用DMA實(shí)時(shí)傳輸優(yōu)勢，借助PCI-E及光纖的高帶寬傳輸能力，實(shí)現(xiàn)了復(fù)雜三維動(dòng)態(tài)場景實(shí)時(shí)短延時(shí)穩(wěn)定輸出。在半實(shí)物仿真過程中，從圖像計(jì)算機(jī)接收仿真數(shù)據(jù)到目標(biāo)模擬器輸出輻射場景，實(shí)現(xiàn)了2幀延時(shí)的技術(shù)狀態(tài)。

這種依賴圖像計(jì)算機(jī)及其高性能顯卡的圖像生成及傳輸環(huán)節(jié)，由于其固有特點(diǎn)及工業(yè)標(biāo)準(zhǔn)的限制，無法滿足仿真驗(yàn)證針對場景輸出的更高水平的低穩(wěn)延時(shí)性能需求。

4 基于眾核處理器的延時(shí)控制技術(shù)

基于眾核處理器的動(dòng)態(tài)場景圖像生成低穩(wěn)延時(shí)控制技術(shù)，是為了解決計(jì)算機(jī)非實(shí)時(shí)操作系統(tǒng)及顯卡傳輸?shù)南拗?，通過建立具有嚴(yán)格同步節(jié)拍控制的硬件架構(gòu)，從渲染順序、緩沖與主存使用、并行與同步三方面優(yōu)化延時(shí)管線設(shè)計(jì)，高效完成圖像生成及輸出。

4.1 硬件架構(gòu)的延時(shí)優(yōu)化方法

硬件架構(gòu)采用基于眾核處理器架構(gòu)的圖像處理器來實(shí)現(xiàn)動(dòng)態(tài)場景的生成和傳輸，如圖3所示。

圖3 基于眾核處理器場景生成硬件架構(gòu)Fig. 3 The scene generation hardware structure based on the Many-Core processor

系統(tǒng)由三維圖形處理核心和一個(gè)或多個(gè)接口擴(kuò)展模塊組成，前者負(fù)責(zé)三維圖形的低穩(wěn)延時(shí)繪制，后者提供和外部系統(tǒng)的接口以及圖像后處理。兩者之間通過高速PCI-E總線連接。設(shè)備從上位機(jī)通過網(wǎng)絡(luò)或高速USB接口獲得預(yù)處理好的目標(biāo)和場景幾何數(shù)據(jù)，通過光纖接口從仿真機(jī)獲得仿真實(shí)時(shí)數(shù)據(jù)和同步信號(hào)，通過三維繪制和圖像后處理計(jì)算完成二維圖像的低穩(wěn)延時(shí)生成，將生成的圖像數(shù)據(jù)通過DVI/DP接口輸出給目標(biāo)模擬器，同時(shí)具有通過特定接口向信息處理機(jī)傳輸圖像數(shù)據(jù)的能力。

4.2 低穩(wěn)延時(shí)流水線架構(gòu)

典型的繪制流水線如圖4所示。其中第一個(gè)步驟和第二個(gè)步驟是應(yīng)用相關(guān)的生成數(shù)字化場景的過程；第三個(gè)步驟中，場景被表達(dá)成粒子、三角面片等元素后進(jìn)入繪制流水線。后者包括了陰影處理、光柵化、環(huán)境光遮蔽(ambient occlusion，AO)、著色、后處理特效等環(huán)節(jié)(典型的后處理特效包括景深、反射、霧、調(diào)色、運(yùn)動(dòng)模糊和反走樣等)，每一個(gè)環(huán)節(jié)都會(huì)帶來額外的延時(shí)。

圖4 典型的繪制流水線構(gòu)成Fig.4 The typical rendering pipeline

圖4中的每一根紅色豎線代表著一個(gè)同步點(diǎn)，同步點(diǎn)的存在進(jìn)一步放大了延時(shí)，即后一個(gè)步驟必須在前一個(gè)步驟的所有像素處理完畢后才能開始，如光柵化需要等陰影圖的生成全部結(jié)束后才能開始進(jìn)行?？刂菩盘?hào)(用戶交互)反饋到繪制之前的仿真環(huán)節(jié)，因此控制和最終顯示刷新之間的延時(shí)就是由仿真計(jì)算、繪制的各個(gè)子環(huán)節(jié)加上顯示信號(hào)傳輸?shù)难訒r(shí)構(gòu)成的。從以上延時(shí)成因可以看出，圖像處理流水線中延時(shí)分析、縮減延時(shí)可以從減少繪制環(huán)節(jié)、減少或消除同步點(diǎn)以及提升每個(gè)環(huán)節(jié)的計(jì)算效率這幾個(gè)方面著手。

1) 通過減少繪制環(huán)節(jié)可以最直接有效地降低延時(shí)，即為了降低圖像生成延時(shí)，可根據(jù)實(shí)際應(yīng)用狀態(tài)放棄復(fù)雜著色效果以及景深、反射等效果支持。減少繪制環(huán)節(jié)通常是最直接有效的降低延時(shí)方法，但繪制環(huán)節(jié)的減少往往會(huì)帶來圖像效果的減弱，或放棄對特定視覺效果的支持。如圖5所示，因?yàn)樘摂M現(xiàn)實(shí)至少需要90 Hz的刷新頻率，因此為了降低圖像生成延時(shí)，很多虛擬現(xiàn)實(shí)應(yīng)用中放棄了對動(dòng)態(tài)AO、復(fù)雜著色效果、景深、反射等視覺效果的支持，利用紋理烘焙的方式將靜態(tài)的光照效果存儲(chǔ)在紋理中。

圖5 通過減少繪制環(huán)節(jié)來降低延時(shí)Fig.5 The time delay control technique by reducing drawing steps

2) 通過減少同步點(diǎn)降低延時(shí)。為了減少繪制環(huán)節(jié)的同步點(diǎn)，研究者們提出了所謂的“無幀”(frameless)繪制技術(shù)。在無幀繪制方法中，圖像不是以幀為單位進(jìn)行更新，而是以像素為單位對圖像變化的部分進(jìn)行更新。由于要進(jìn)行單個(gè)像素的顏色更新，這類方法通常建立在光線跟蹤的繪制框架上。

由于場景繪制對復(fù)雜視覺效果的支持要求相對較低，為了不增加硬件方面的負(fù)擔(dān)，可以提升渲染階段的效率來降低延時(shí)。采用“時(shí)間扭曲”(time warp，TW)技術(shù)，當(dāng)只有視點(diǎn)發(fā)生轉(zhuǎn)動(dòng)變化而場景特性不發(fā)生變化時(shí)，圖像繪制無需走過完整的繪制流水線來生成圖像，而是根據(jù)視點(diǎn)的變化從繪制流水線后端取得繪制完成的圖像來進(jìn)行顯示。由于這一位置更接近顯示環(huán)節(jié)，使用TW技術(shù)能夠顯著降低繪制延時(shí)。

4.3 仿真測試與分析

4.3.1 測試驗(yàn)證系統(tǒng)搭建

為完成亞毫秒級的延時(shí)測試，本文采用一種基于高頻線掃描相機(jī)的亞毫秒級延時(shí)的測量方法。通過每一幀只記錄顯示器的某一行或者某幾行像素來換取更高的刷新頻率，使用線掃描設(shè)備也能大幅減少每幀需要存儲(chǔ)的數(shù)據(jù)量，確保緩存操作的效率。具體設(shè)備及型號(hào)為Basler工業(yè)相機(jī)raL2096-24gm，網(wǎng)口為GigE，分辨率為4 k，最高行頻可達(dá)26 kHz(設(shè)備端口、系統(tǒng)框圖和實(shí)際系統(tǒng)如圖6所示)。

(a) 高頻線掃描相機(jī) (b) 搭建的測試環(huán)境 圖6 延時(shí)測量系統(tǒng)Fig.6 The time delay measurement system

系統(tǒng)工作流程為：場景生成程序在Xavier芯片的嵌入式操作系統(tǒng)Ubuntu中運(yùn)行；生成的場景通過與之相連的顯示器進(jìn)行顯示；用戶動(dòng)作(鍵盤事件)導(dǎo)致場景發(fā)生變化，并同步觸發(fā)高頻線掃描設(shè)備采圖，觸發(fā)命令通過Xavier的通用輸入/輸出擴(kuò)展頭(general-purpose input/output, GPIO)電信號(hào)給出；相機(jī)收到觸發(fā)命令，立即拍攝顯示器的顯示內(nèi)容，拍攝結(jié)果緩存到PC端；PC端對拍攝結(jié)果進(jìn)行處理，檢測顯示內(nèi)容的變化。結(jié)合上述過程中的各個(gè)同步點(diǎn)以及相應(yīng)的時(shí)間記錄，即可得出端到端延時(shí)的測量結(jié)果。

系統(tǒng)時(shí)間流如圖8所示，端到端延時(shí)對應(yīng)為t1～t4。從鍵盤觸發(fā)開始到GPIO信號(hào)發(fā)出的延時(shí)對應(yīng)為t1～t2, 從收到GPIO信號(hào)到采得第1幀圖像的延時(shí)對應(yīng)為t2～t3,從第1幀到跳變幀的延時(shí)對應(yīng)為t3～t4。

圖7 系統(tǒng)時(shí)間流Fig.7 The system time flow

4.3.2 測試與分析

利用市面上可買到的最接近目標(biāo)模擬器刷新頻率(200 Hz)的AOC27G2顯示器完成測試，其刷新頻率可以達(dá)到144 Hz，響應(yīng)時(shí)間為1 ms，圖像信號(hào)通過帶寬為6 GB/s的HDMI 2.1接口與顯示器相連。通過測量更新延時(shí)來完成延時(shí)性能的測量與分析。

更新延時(shí)反映了當(dāng)場景發(fā)生變化時(shí)最快反映到目標(biāo)顯示器上的圖像變化的延時(shí)，由當(dāng)前幀的繪制計(jì)算、交換緩存和圖像傳輸?shù)难訒r(shí)構(gòu)成。因?yàn)閳鼍白兓l(fā)生的時(shí)間和垂直同步(vertical synchronization，VSync)信號(hào)不同步，因此使用非垂直同步方式，10次測量結(jié)果見表2(其中Nsight延時(shí)為使用NVIDIA的Nsight分析和優(yōu)化工具測得的圖像生成器系統(tǒng)內(nèi)延時(shí))。

表2 基于眾核處理器的系統(tǒng)延時(shí)數(shù)據(jù)記錄Tab.2 The system delay data based on the Many-Core processor

基于眾核架構(gòu)的延時(shí)控制技術(shù)，擺脫了高性能顯卡傳輸工業(yè)標(biāo)準(zhǔn)的限制，模擬的目標(biāo)場景面片數(shù)不小于5萬，分析評估圖像生成至目標(biāo)模擬器輸出的時(shí)間不大于10 ms，極大地提高了半實(shí)物圖像生成時(shí)間精度。

5 結(jié)束語

本文提出的基于PCI-E總線內(nèi)存映射的延時(shí)控制技術(shù)及基于眾核處理器的延時(shí)控制技術(shù)，從不同使用角度解決了復(fù)雜場景圖像生成短延時(shí)且時(shí)序穩(wěn)定可控這一技術(shù)瓶頸問題，為實(shí)現(xiàn)高精度半實(shí)物仿真光學(xué)動(dòng)態(tài)場景模擬提供支持，并可通過輻射式、注入式接口規(guī)范設(shè)計(jì)，進(jìn)一步提升場景生成系統(tǒng)的平臺(tái)化服務(wù)能力，對支持高精度半實(shí)物仿真系統(tǒng)建設(shè)具有重要的現(xiàn)實(shí)意義。