李紅波，羅 璇，吳 渝，劉昱晟

(重慶郵電大學(xué)網(wǎng)絡(luò)智能研究所，重慶 400065)

0 引言

隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，OGRE等三維渲染引擎越來(lái)越廣泛地應(yīng)用在汽車仿真系統(tǒng)的研究和開發(fā)中［1］。在這些汽車仿真系統(tǒng)中，為了觀察汽車各部件的運(yùn)行狀態(tài)，需要在同一系統(tǒng)界面中打開多個(gè)實(shí)時(shí)渲染的視窗。然而，目前的系統(tǒng)即便運(yùn)行在多核計(jì)算機(jī)上，也仍使用單線程的串行執(zhí)行，不能有效使用到所有CPU資源，渲染效率低，并造成多核CPU資源的浪費(fèi)。

針對(duì)此類問(wèn)題，Jeff Andrews［2］創(chuàng)建了一個(gè)介于API和渲染插件之間的層，采用緩沖區(qū)加鎖的方式來(lái)處理多線程化;陳學(xué)亮［3］使用Win32線程庫(kù)來(lái)更新隊(duì)列、復(fù)制對(duì)象等多幀渲染的方法對(duì)OGRE渲染引擎進(jìn)行多線程并行優(yōu)化。以上2種方法能優(yōu)化場(chǎng)景組織較為簡(jiǎn)單的實(shí)例渲染效率，但對(duì)于場(chǎng)景組織較為復(fù)雜的實(shí)例，其優(yōu)化效果不明顯。此外，趙建斌［4］根據(jù)Win32線程庫(kù)和DirectX的多線程支持，提出了一種渲染幀的線程級(jí)并行化方法。該方法對(duì)復(fù)雜場(chǎng)景的性能提升效果明顯，但對(duì)邏輯簡(jiǎn)單、渲染資源少的簡(jiǎn)單場(chǎng)景，優(yōu)化效果并不理想。李喆［5］根據(jù)線程數(shù)等于CPU核數(shù)的原則，提出了一種設(shè)置線程數(shù)量的方法。該方法能提升三維場(chǎng)景的并行渲染效率，但卻未提出相應(yīng)的策略調(diào)度來(lái)保證負(fù)載平衡。

本文根據(jù)汽車虛擬仿真系統(tǒng)的功能需求，分析現(xiàn)有基于多核平臺(tái)下并行渲染優(yōu)化方法的不足，提出一種基于OpenMP的多線程并行優(yōu)化方法。該方法分別對(duì)汽車仿真系統(tǒng)渲染過(guò)程中的初始化階段、邏輯運(yùn)算階段以及渲染階段進(jìn)行并行優(yōu)化，旨在提升系統(tǒng)渲染效率和CPU利用率。

1 總體優(yōu)化策略和方法描述

本文工作是針對(duì)項(xiàng)目組在“核高基”重大專項(xiàng)支持下研發(fā)的汽車三維虛擬仿真系統(tǒng)。該系統(tǒng)基于OGRE渲染引擎開發(fā)，主要模擬不同汽車在不同環(huán)境、不同路面條件下的ABS功能、平順性、穩(wěn)定性測(cè)試，并真實(shí)反映制動(dòng)過(guò)程中車體的運(yùn)動(dòng)狀態(tài)。由于該系統(tǒng)的結(jié)構(gòu)復(fù)雜，而目前基于多核平臺(tái)的并行渲染系統(tǒng)還處于探索階段［6］，現(xiàn)有多線程并行優(yōu)化方法不能全面地體現(xiàn)仿真系統(tǒng)的優(yōu)化效果。

現(xiàn)有的多幀渲染并行優(yōu)化方法［2－3］在渲染階段并沒(méi)有對(duì)渲染層面進(jìn)行過(guò)多的并行處理，這導(dǎo)致渲染狀態(tài)的頻繁切換，對(duì)復(fù)雜場(chǎng)景無(wú)明顯的優(yōu)化。渲染幀的線程級(jí)并行優(yōu)化方法［4］在邏輯幀的迭代運(yùn)算處理時(shí)，并沒(méi)運(yùn)用策略調(diào)度和線程數(shù)量的控制，對(duì)于場(chǎng)景組織簡(jiǎn)單的實(shí)例，DirectX API延遲線程的創(chuàng)建以及事件信號(hào)的發(fā)送和等待的時(shí)間開銷占據(jù)絕大部分，使得優(yōu)化后效果并不理想，甚至下降?；诤藬?shù)的線程設(shè)置方法［5］得到的并非最優(yōu)線程數(shù)，在并行優(yōu)化時(shí)沒(méi)有提出相應(yīng)的策略調(diào)度來(lái)保證負(fù)載平衡。由于汽車三維仿真系統(tǒng)這類復(fù)雜的圖形應(yīng)用程序?qū)︿秩疽娓鞣矫嫘阅苡休^高要求，上述方法不能全面體現(xiàn)仿真系統(tǒng)渲染的優(yōu)化效果。

汽車虛擬現(xiàn)實(shí)仿真系統(tǒng)運(yùn)行過(guò)程中，場(chǎng)景與資源的加載、車體信息與視口的更新、汽車運(yùn)行狀態(tài)的渲染，分別對(duì)應(yīng)引擎渲染過(guò)程中的初始化階段、邏輯運(yùn)算階段和渲染階段。根據(jù)系統(tǒng)運(yùn)行過(guò)程以及渲染引擎繪制過(guò)程，本文的總體優(yōu)化方案如圖1所示。

主要的優(yōu)化策略和方法包括:①針對(duì)在初始化階段實(shí)體結(jié)點(diǎn)依賴性最小，無(wú)依賴函數(shù)之間不存在線程同步與數(shù)據(jù)競(jìng)爭(zhēng)的特點(diǎn)，采用OpenMP中的sections方法，對(duì)無(wú)依賴函數(shù)并行處理，完成場(chǎng)景組織和資源加載的優(yōu)化。同時(shí)，采用動(dòng)態(tài)設(shè)置最優(yōu)線程數(shù)量的方法來(lái)提升渲染效率;②針對(duì)車體各部分信息與視口更新時(shí)的大量迭代計(jì)算，在邏輯運(yùn)算階段，采用策略調(diào)度使迭代計(jì)算的線程達(dá)到負(fù)載均衡，以便獲得更高的執(zhí)行效率;③針對(duì)多幀渲染和渲染幀線程級(jí)并行優(yōu)化對(duì)不同場(chǎng)景渲染優(yōu)化片面性的缺陷，在渲染階段采用渲染幀并行繪制的方法來(lái)保證對(duì)具有不同復(fù)雜度的場(chǎng)景的繪制效率。

圖1 總體優(yōu)化策略Fig.1 Overall optimization scheme

2 優(yōu)化方法設(shè)計(jì)及實(shí)施

2.1 初始化階段的并行優(yōu)化

在汽車三維仿真系統(tǒng)中，通常使用加速比Sp(n)=ts(n)/tp(n)評(píng)估并行性能，其中，ts(n)為串行算法的運(yùn)行時(shí)間;tp(n)為并行算法的運(yùn)行時(shí)間。該指標(biāo)反映了并行性對(duì)運(yùn)行時(shí)間的改進(jìn)程度［7］。多線程并行優(yōu)化時(shí)，并發(fā)執(zhí)行的線程可能發(fā)生數(shù)據(jù)競(jìng)爭(zhēng)，性能的提升取決于系統(tǒng)中并行任務(wù)數(shù)量的多少以及任務(wù)的規(guī)模變化情況。假設(shè)有鎖保護(hù)的串行化時(shí)間為1，可并行化部分在單核CPU上的運(yùn)行時(shí)間為t，CPU的個(gè)數(shù)為n，那么在n個(gè)對(duì)等任務(wù)同時(shí)運(yùn)行情況下，總等待時(shí)間為1+2+…+n=n·(n－1)/2，耗時(shí)最多的一個(gè)任務(wù)所用時(shí)間為n+t/n，加速比為

從公式(1)看出，隨著線程數(shù)量增加，若線程開銷超過(guò)一定范圍，會(huì)使系統(tǒng)性能下降。在設(shè)置線程數(shù)量時(shí)，需要根據(jù)系統(tǒng)能力、應(yīng)用程序的并行需求選擇合適的線程數(shù)量，達(dá)到性能最優(yōu)。因此，在仿真系統(tǒng)首次運(yùn)行之前，要計(jì)算出最優(yōu)線程數(shù)。具體算法步驟描述如下。

步驟1 定義TheadFlag，表示是否得到最優(yōu)線程數(shù)量;定義nthreads，表示最優(yōu)線程數(shù);

步驟2 若 TheadFlag=True，讀取 nthreads覆蓋環(huán)境變量OMP_NUM_THREADS的值，轉(zhuǎn)步驟 7;

2.2 邏輯階段的并行優(yōu)化

系統(tǒng)渲染過(guò)程中，邏輯幀的生成將消耗大量的時(shí)間來(lái)完成大量的循環(huán)迭代運(yùn)算。因此，邏輯幀的生成速度是影響渲染系統(tǒng)效率的重要因子。通過(guò)對(duì)循環(huán)迭代運(yùn)算的并行優(yōu)化，在保證幀之間相關(guān)性的前提下，對(duì)邏輯幀“并行”生成，則邏輯幀的生成速率會(huì)大大提高，可以提升CPU利用率并減少渲染幀的等待時(shí)間，提高渲染效率。在多線程并行優(yōu)化設(shè)計(jì)時(shí)，線程的負(fù)載平衡對(duì)整體性能影響很大［10-12］，對(duì)循環(huán)迭代做有效的調(diào)度策略來(lái)確保負(fù)載平衡，能保證多個(gè)處理器內(nèi)核大部分時(shí)間里都保持工作狀態(tài)。邏輯幀的生成過(guò)程中，每一幀的循環(huán)體大小以及循環(huán)迭代的規(guī)模并不確定，線程數(shù)定義為p，在動(dòng)態(tài)調(diào)度的實(shí)現(xiàn)過(guò)程中，對(duì)于循環(huán)迭代數(shù)為I的循環(huán)結(jié)構(gòu)，第i次調(diào)度的任務(wù)塊大小定義為Ci，剩下的循環(huán)迭代數(shù)為Ri。

公式(2)中函數(shù)f中的參數(shù)依據(jù)具體的問(wèn)題場(chǎng)景可能有所不同。此時(shí)的負(fù)載不均衡依賴于各個(gè)線程執(zhí)行時(shí)間tj(j=1，…，p)之間的最大差距［13］。因此，在對(duì)系統(tǒng)渲染過(guò)程中的迭代循環(huán)進(jìn)行優(yōu)化時(shí)，要遵循如下的選取原則。

1 )設(shè)置數(shù)據(jù)保護(hù)，避免與渲染線程的同步;

2 )采用適當(dāng)?shù)木€程調(diào)度策略，以保證線程負(fù)載平衡;

3 )要盡量選擇迭代次數(shù)較多、內(nèi)部結(jié)構(gòu)簡(jiǎn)單的循環(huán)，減少時(shí)間開銷;

4 )要盡量選取最外層循環(huán)，以便實(shí)現(xiàn)最大程度的多線程優(yōu)化，提高優(yōu)化效率;

系統(tǒng)渲染過(guò)程中耗時(shí)間較多的模塊為Rendersystem_Dire3D9，OgreMain［3］，分別對(duì)其對(duì)應(yīng)文件中符合要求的循環(huán)迭代做并行優(yōu)化。以Rendersystem_Dire3D9模塊內(nèi)其中一個(gè)循環(huán)迭代為例，設(shè)置保護(hù)數(shù)據(jù)mRenderTargets、線程數(shù)量nthreads、采用guided調(diào)度策略進(jìn)行并行優(yōu)化如下。

對(duì)于其他計(jì)算量大的循環(huán)迭代根據(jù)具體情況設(shè)置好相應(yīng)的數(shù)據(jù)保護(hù)以及調(diào)度策略。

2.3 渲染階段的并行優(yōu)化

在渲染過(guò)程中，場(chǎng)景管理器通過(guò)計(jì)算當(dāng)前幀中所有可見實(shí)體對(duì)象，并將其按順序排列，由此組成渲染隊(duì)列。渲染隊(duì)列是渲染階段確保繪制流程和提高繪制效率的關(guān)鍵。在渲染隊(duì)列中，根據(jù)傳入的對(duì)象和自身的配置按照一定規(guī)則將可視實(shí)體劃分為多個(gè)優(yōu)先級(jí)，優(yōu)先級(jí)高的實(shí)體先于優(yōu)先級(jí)低的實(shí)體繪制，通過(guò)各個(gè)實(shí)體的優(yōu)先級(jí)序列，確保正確的渲染流程。具有相同優(yōu)先級(jí)的實(shí)體則依照渲染對(duì)象與攝像機(jī)的距離或者通路(pass)，再次細(xì)分繪制順序。將可視距離相同的實(shí)體和具有相同通路的物體放在一起進(jìn)行繪制，可保證繪制的連續(xù)性，減少渲染狀態(tài)的切換。場(chǎng)景管理器為渲染隊(duì)列中的對(duì)象分配索引編號(hào)，根據(jù)索引編號(hào)的不同，將背景、場(chǎng)景和界面劃分開，再對(duì)渲染隊(duì)列中物體逐個(gè)進(jìn)行渲染。

根據(jù)渲染隊(duì)列的繪制特點(diǎn)，為有效解決多幀渲染導(dǎo)致的數(shù)據(jù)競(jìng)爭(zhēng)和同步問(wèn)題，本文對(duì)所有可見對(duì)象進(jìn)行多線程同步并行渲染。在多幀渲染優(yōu)化方案的基礎(chǔ)上，將渲染循環(huán)分成信息獲取和執(zhí)行繪制2個(gè)階段。在信息獲取階段通過(guò)統(tǒng)計(jì)所有可見的靜態(tài)幾何體、場(chǎng)景實(shí)體以及通路的個(gè)數(shù)。若場(chǎng)景實(shí)體數(shù)大于最大通路數(shù)，將天空體、用戶界面和場(chǎng)景實(shí)體放入不同的子線程中并行獲取繪制信息。在執(zhí)行繪制階段，則通過(guò)主線程的調(diào)用，最后，執(zhí)行所有通路相同線程的并行繪制;否則，按通路排序和可視距離直接繪制實(shí)體。這樣可實(shí)現(xiàn)渲染幀的多線程同步執(zhí)行，解決復(fù)雜場(chǎng)景和簡(jiǎn)單場(chǎng)景的優(yōu)化效率。實(shí)現(xiàn)原理如圖2所示。

圖2 渲染階段的并行優(yōu)化方案Fig.2 Parallel optimization scheme of the rendering stage

3 實(shí)驗(yàn)結(jié)果與討論

多線程圖形應(yīng)用程序性能的標(biāo)準(zhǔn)主要有FPS(frames per second)，CPU利用率和均衡負(fù)載，為了驗(yàn)證本文優(yōu)化方法，實(shí)驗(yàn)環(huán)境為IntelCore I5 2320雙核處理器，4 GByte內(nèi)存，NVIDIA GeForce GTS 560圖形處理器。采用超線程，可并行處理4個(gè)線程。

3.1 OGRE引擎優(yōu)化結(jié)果

OGRE版本為1.7.2，采用2.1，2.2和2.3中并行方法對(duì)OGRE渲染系統(tǒng)以及標(biāo)準(zhǔn)測(cè)試程序進(jìn)行并行優(yōu)化，標(biāo)準(zhǔn)測(cè)試程序使用debug調(diào)試。優(yōu)化前后的結(jié)果如表1所示。

表1 OGRE渲染引擎性能對(duì)比Tab.1 Performance contrast of OGRE rending engine

從表1對(duì)比數(shù)據(jù)可得，并行優(yōu)化能大大提升測(cè)試程序的渲染效率，大部分幀率提升15%以上。粒子系統(tǒng)實(shí)例和BSP場(chǎng)景管理實(shí)例這些較復(fù)雜場(chǎng)景，性能提升也為17.8%和15.4%。對(duì)于邏輯運(yùn)算較為簡(jiǎn)單，渲染幾何資源較少的地形管理實(shí)例，優(yōu)化后性能提升5.1%。性能提升曲線如圖3所示。

圖3 優(yōu)化后性能Fig.3 Performance after optimization

圖3a中是多幀渲染優(yōu)化、渲染幀優(yōu)化和本文三種優(yōu)化方法下渲染效率以及原始OGRE渲染效率的比較。由圖3a可知，本文優(yōu)化方法能有效提高OGRE渲染效率。對(duì)于某些測(cè)試程序，渲染幀頻要比多幀渲染優(yōu)化、渲染幀優(yōu)化方法更高，完全能夠滿足高質(zhì)量連續(xù)畫面渲染的要求。

圖3b中是多幀渲染優(yōu)化、渲染幀優(yōu)化和本文3種優(yōu)化方法性能提升曲線。本文方法在大多數(shù)測(cè)試程序的性能提升優(yōu)于這2種方法。雖然在粒子系統(tǒng)實(shí)例中，性能提升比稍遜于渲染幀優(yōu)化方法，然而，在對(duì)于邏輯運(yùn)算簡(jiǎn)單、渲染幾何資源少的地形管理實(shí)例測(cè)試時(shí)，性能并未下降。從總體性能提升來(lái)看，本文優(yōu)化方法效果是理想的。

3.2 汽車虛擬現(xiàn)實(shí)仿真系統(tǒng)優(yōu)化結(jié)果

根據(jù)本系統(tǒng)對(duì)于汽車側(cè)滑、翻滾、甩尾等動(dòng)作體現(xiàn)力較強(qiáng)的需求，要同時(shí)對(duì)車體的正面、側(cè)面、各輪子進(jìn)行觀察，記錄其運(yùn)動(dòng)狀態(tài)以及參數(shù)。由此，采用多視口窗體，將每個(gè)視口對(duì)應(yīng)車體各個(gè)需要觀察運(yùn)動(dòng)狀態(tài)的部分，每個(gè)部分在一個(gè)獨(dú)立的線程上完成。利用OGRE實(shí)現(xiàn)的多視口如圖4所示，渲染效率(平均FPS)和CPU利用率如表2所示。

表2 汽車虛擬仿真平臺(tái)性能優(yōu)化對(duì)比Tab.2 Performance contrast of 3D virtual reality simulation platform

圖4 汽車虛擬仿真平臺(tái)中多視口Fig.4 Multiple views in 3D virtual reality simulation platform

從表2中看出，優(yōu)化前后渲染效率提升了21%。優(yōu)化前 CPU的利用率為43%，優(yōu)化后為58%，提升了約34%。渲染效率和CPU的利用率都有了較理想的提升。圖5是CPU使用情況對(duì)比，通過(guò)CPU使用記錄對(duì)比可以看出，根據(jù)合適的調(diào)度策略優(yōu)化，每個(gè)處理核心都得到了充分的調(diào)度，負(fù)載更加均衡。

圖5 汽車虛擬仿真系統(tǒng)優(yōu)化前后CPU使用情況對(duì)比Fig.5 Contrast of CPU usage in 3D virtual reality simulation platform

4 結(jié)束語(yǔ)

多線程并行渲染的方式能大大提高圖形應(yīng)用程序的性能。本文采用了一種基于OpenMP多線程并行渲染優(yōu)化方案，對(duì)基于OGRE渲染引擎的汽車三維虛擬仿真系統(tǒng)進(jìn)行并行渲染優(yōu)化。該方案能有效提高OGRE渲染引擎的性能、汽車虛擬仿真系統(tǒng)的渲染效率和CPU利用率，對(duì)于線程級(jí)并行方法在圖形渲染系統(tǒng)中的研究具有一定參考價(jià)值。

［1］蘇永生，趙冬斌.基于OGRE的車輛自適應(yīng)巡航控制三維仿真［J］.交通運(yùn)輸系統(tǒng)工程與信息，2012，12(2):47－52.

SU Yongsheng ，ZHAO Dongbin.3D Simulation of Adaptive Cruise Control Based on OGRE［J］.Journal of Transportation Systems Engineering and Information Technology，2012，12(2):47－52.

［2］JEFF Andrews.Threading the OGRE 3D Render System［EB/OL］.(2006－09－06) ［2012－12－10］.http://www.intel.com/cd/ids/developer/asmona/ eng/dc/games/331359.htm.

［3］陳學(xué)亮.基于多核平臺(tái)優(yōu)化的OGRE 3D渲染引擎［D］.杭州:浙江大學(xué)，2007.

CHEN Xueliang.An Optimized OGRE 3D Render Engine Based by Multi－Core Platform ［D］.Hang Zhou:Zhejiang University，2007.

［4］趙建斌，李靈巧，楊輝華.線程級(jí)并行計(jì)算在圖形渲染引擎中的研究［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2011，32(12):41－43.

ZHAO Jianbin，LI Lingqiao，YANG Huihua.Research on graphic rendering engine with thread－level parallelism method ［J］.Computer Engineering and Design，2011，32(12):41－43.

［5］李喆，鄭曉薇.多核并行技術(shù)在三維場(chǎng)景加載中的應(yīng)用［J］.計(jì)算機(jī)工程，2011，37(6):245－246.

LIZhe，ZHENG Xiaowei.Application of Multi－core Parallel Technology in 3D Scene Loading［J］.Computer Engineering，2011，37(6):245－246.

［6］佘江峰，陳景廣，程亮，等.三維地形場(chǎng)景并行渲染技術(shù)進(jìn)展［J］.武漢大學(xué)學(xué)報(bào):信息科學(xué)版，2012，37(4):463－466.

SHE Jiangfeng，CHEN Jingguang，CHENG Liang，et al.Review on 3D Terrain Parallel Rendering［J］.Geomatics and Information Science of Wuhan University.2012，37(4):463－466.

［7］陳國(guó)良，孫廣中，徐云，等.并行算法研究方法學(xué)［J］.計(jì)算機(jī)學(xué)報(bào)，2008，31(9):1494－1501.

CHEN Guoliang，SUN Guangzhong，XU Yun，et al.Methodology of Research on Parallel Algorithms［J］.Chinese Journal of Computers，2008，31(9):1494－1501.

［8］AYGUADE E，BLAINEY B，DURAN A，etal.OpenMP Shared Memory Parallel Programming:Is the Schedule Clause Really Necessary in OpenMP［C］//International Workshop on OpenMPApplications and Tools，WOMPAT 2003 Toronto.Canada:Lecture Notes in Computer Science，2003，147－159.

［9］蔡佳佳，李名世，鄭鋒.多核微機(jī)基于 OpenMP的并行計(jì)算［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2007，17(10):87－91.

CAI Jiajia，LIMingshi，ZHENG Feng.OpenMP－Based Parallel Computation on Multi－Core PC［J］.Computer Technology and Development，2007，17(10):87－91.

［10］OLIVIER SL，PORTERFIELD A K，WHEELER K B，et al.OpenMP Task Scheduling Strategies for Multicore NUMA Systems［J］.International Journal of High Performance Computing Applications.2012，26(3)，110－124.

［11］汪偉，范秀敏，武殿梁.虛擬現(xiàn)實(shí)應(yīng)用中的并行渲染技術(shù)［J］.計(jì)算機(jī)工程，2009，35(3):282－285.

WANGWei，F(xiàn)AN Xiumin，WU Dianliang.Parallel Rendering Technology in Virtual Reality Applications［J］.Computer Engineering，2009，35(3):282－285.

［12］賴建新，胡長(zhǎng)軍，趙宇迪，等.OpenMP任務(wù)調(diào)度開銷及負(fù)載均衡分析［J］.計(jì)算機(jī)工程，2006，32(18):58－60.

LAI Jianxin，HU Changjun，ZHAO Yudi，et al.Analysis of Task Schedule Overhead and Load Balance in OpenMP［J］.Computer Engineering，2006，32(18):58－60.

［13］任小西，唐玲，李仁發(fā).OpenMP多線程負(fù)載均衡調(diào)度策略研究與實(shí)現(xiàn)［J］.計(jì)算機(jī)科學(xué)，2010，37(11):148－151.

REN Xiaoxi，TANG Ling，LIRenfa.Study and Implementation of OpenMPMulti－thread Load Balance Scheduling Scheme［J］.Computer Science，2010，37(11):148－151.

(編輯:劉 勇)