田思波 郭潤清 樊曉旭 童寶鋒

摘? 要：測試驅(qū)動型開發(fā)是智能網(wǎng)聯(lián)汽車技術(shù)發(fā)展的重要路徑，而測試場景作為測試驅(qū)動型開發(fā)過程的核心要素，需要建立科學(xué)合理的建模和分類方法。首先，從應(yīng)用層面定義了智能網(wǎng)聯(lián)汽車測試場景的三個評價指標;其次，提出了測試場景評價的三維建模與評價方法;最后，結(jié)合具體應(yīng)用案例分析了測試場景三維評價模型的應(yīng)用場景。提出的測試場景三維評價模型對智能網(wǎng)聯(lián)汽車的測試與評價具有重要指導(dǎo)作用。

關(guān)鍵詞：智能網(wǎng)聯(lián)汽車;測試場景;三維模型;測試與評價

中圖分類號：U467.1? ? ? ?文獻標識碼：A? ? ? ?文章編號：1005-2550（2020）01-0046-05

Three-dimensional Evaluation Model Research on Test Scenario? of Intelligent and Connected Vehicle

TIAN Si-bo1，2， GUO Run-qing1，2， FAN Xiao-xu1，2， TONG Bao-feng1，2

（ 1.Shanghai SH Intelligent Automotive Technology Co， Ltd， Shanghai 201804， China;

2. Shanghai International Automobile City Group Co.， Ltd， Shanghai 201805，China）

Abstract： Test-driven development is an important path for the technology development of intelligent and connected vehicle， as the key element of test-driven development， test scenario need to be established scientific and reasonable modeling and classification method. Firstly， three evaluation indexes of intelligent and connected vehicle test scenario are defined from the application level. Then， three-dimensional modeling and evaluation method are proposed. Finally， the application scenarios of three-dimensional evaluation model of test scenario are analyzed with specific application cases. Three-dimensional evaluation model of test scenario proposed will have great impact on test and evaluation of intelligent and connected vehicle.

前言

近年來，中國智能網(wǎng)聯(lián)汽車在國家產(chǎn)業(yè)政策和新技術(shù)的推動下迅速發(fā)展。智能網(wǎng)聯(lián)汽車技術(shù)的發(fā)展需要科學(xué)完整的測試驗證和評價體系的支撐[1，9]，而測試場景則是測試與評價體系的基礎(chǔ)。智能網(wǎng)聯(lián)汽車的技術(shù)研發(fā)依賴測試驅(qū)動型開發(fā)體系[2]，由于目前還很難形成智能網(wǎng)聯(lián)的正向研發(fā)體系，這就更凸顯了測試場景的重要性。

由于測試場景的重要性，國內(nèi)外學(xué)者對測試場景進行了大量的研究。Ulbrich S.等從多個維度分析了測試場景的術(shù)語定義，并且建議自動駕駛領(lǐng)域要能夠保持測試場景術(shù)語定義的一致性和連續(xù)性[3]。Go K.等指出測試場景在不同的環(huán)境下有不同的用途，但是場景描述的元素都是一致的[4]。Bagschik G.等提出了一種潛在危險場景生成方法用于風險評估[5]。Menzel T.等從描述層面將測試場景分為三種類型：功能場景、邏輯場景和具體場景[6]。Galen E.等提出了一種基于性能表現(xiàn)邊界發(fā)現(xiàn)與識別的自動駕駛挑戰(zhàn)性和多樣性測試場景的生成方法[7]。但是，針對自動駕駛測試場景，目前研究缺少從應(yīng)用層面科學(xué)合理的測試場景分類和評價的方法。

本文首先從應(yīng)用層面定義智能網(wǎng)聯(lián)汽車測試場景的三個評價指標，然后根據(jù)三個評價指標建立三維智能網(wǎng)聯(lián)汽車測試場景評價模型，最后介紹智能網(wǎng)聯(lián)汽車測試場景三維評價模型的具體應(yīng)用。

2? ? 智能網(wǎng)聯(lián)汽車測試場景主要評價指標

智能網(wǎng)聯(lián)汽車測試場景是指與測試相關(guān)的外部場地、道路、氣象和交通參與者以及車輛自身的駕駛?cè)蝿?wù)和狀態(tài)等信息的集合，主要用來考察智能網(wǎng)聯(lián)汽車相關(guān)自動駕駛功能及相應(yīng)的性能表現(xiàn)。

2.1? ?智能網(wǎng)聯(lián)汽車測試場景基本要素

智能網(wǎng)聯(lián)汽車測試場景的基本組成要素主要包含以下四個方面[8]（如圖1所示）：1）戰(zhàn)術(shù)操縱行為是指相應(yīng)測試場景下需要執(zhí)行的駕駛?cè)蝿?wù);2）設(shè)計運行域（Operational Design Domain， ODD）是指自動駕駛系統(tǒng)功能定義的測試運行范圍;3）事件探測及響應(yīng)是指相應(yīng)測試場景下自動駕駛系統(tǒng)需要探測的物體或者事件以及應(yīng)做出的響應(yīng);4）失效模式是指相應(yīng)測試場景下自動駕駛系統(tǒng)測試失敗的可能表現(xiàn)形式。

2.2? ?智能網(wǎng)聯(lián)汽車測試場景主要評價指標

智能網(wǎng)聯(lián)汽車測試場景主要用來考察智能網(wǎng)聯(lián)汽車相關(guān)自動駕駛功能及相應(yīng)的性能表現(xiàn)。基于智能網(wǎng)聯(lián)汽車測試場景的基本組成要素，本文提出了智能網(wǎng)聯(lián)汽車測試場景的三個主要評價指標：復(fù)雜度、性能表現(xiàn)和危險度，如圖2所示。其中，復(fù)雜度主要是指智能網(wǎng)聯(lián)汽車自動駕駛?cè)蝿?wù)的難度和交通環(huán)境的復(fù)雜度;性能表現(xiàn)主要是指智能網(wǎng)聯(lián)汽車自動駕駛?cè)蝿?wù)的完成度、對交通效率的影響和乘坐舒適度;危險度主要是指智能網(wǎng)聯(lián)汽車功能失效對人和車輛造成的危害。通過這三個評價指標可以對智能網(wǎng)聯(lián)汽車測試場景進行一個全面綜合的評價。

3? ? 智能網(wǎng)聯(lián)汽車測試場景三維建模

下面對智能網(wǎng)聯(lián)汽車測試場景基本要素和主要評價指標的關(guān)系進行闡述，如圖3所示。戰(zhàn)術(shù)操縱行為決定了測試車輛要執(zhí)行的自動駕駛?cè)蝿?wù)的復(fù)雜程度，設(shè)計運行域則決定了測試車輛完成自動駕駛?cè)蝿?wù)所運行的駕駛環(huán)境復(fù)雜程度，因此，戰(zhàn)術(shù)操縱行為和設(shè)計運行域共同決定了測試場景的復(fù)雜度評價指標;事件探測及響應(yīng)體現(xiàn)了測試車輛在相應(yīng)的駕駛?cè)蝿?wù)下對道路交通參與者或者障礙物的響應(yīng)，反應(yīng)了測試車輛的完成相應(yīng)自動駕駛?cè)蝿?wù)的具體性能，因此，事件探測及響應(yīng)決定了測試場景的性能表現(xiàn)評價指標;失效模式體現(xiàn)了測試車輛在執(zhí)行自動駕駛?cè)蝿?wù)時可能出現(xiàn)的功能失效或任務(wù)失敗的具體形式，以及可能造成的危害，因此，失效模式?jīng)Q定了測試場景的危險度。通過以上分析可以看出，對于智能網(wǎng)聯(lián)汽車測試場景來說，復(fù)雜度、性能表現(xiàn)和危險度三個評價指標是相對獨立的。

根據(jù)智能網(wǎng)聯(lián)汽車測試場景三個評價指標的相對獨立性關(guān)系，可以建立智能網(wǎng)聯(lián)汽車測試場景三維模型，如圖4所示，其中，復(fù)雜度、性能表現(xiàn)和危險度分別為測試場景三維模型的三個坐標軸。每一個坐標軸均代表相應(yīng)指標的具體表現(xiàn)，且均為正值，這樣每個測試場景都可以從建立的三維模型第一象限空間中找到自己的位置，從而可以從三維空間的角度對測試場景進行全面綜合的評價。

根據(jù)當前智能網(wǎng)聯(lián)汽車的發(fā)展階段，目前還無法對測試場景的評價指標給出一個相對定量的數(shù)值。因此，本文是采用定性方法對測試場景進行評價，把建立的三維模型的第一象限空間劃分為8個正方體（如圖4所示），這樣每個相鄰正方體之間僅有一個評價指標之間的變化，很容易進行不同測試場景之間的橫向?qū)Ρ确治?，從而可以有效提高測試場景的分類和使用效率。

4? ? 智能網(wǎng)聯(lián)汽車測試場景三維評價模型應(yīng)用

4.1? ?測試場景分類方法

根據(jù)智能網(wǎng)聯(lián)汽車測試場景三維評價模型，對于任何一個測試場景，首先從復(fù)雜度、性能表現(xiàn)和危險度三個維度進行評價。從定性分析角度，三個評價指標均用高和低兩個定性指標進行評價分類，這樣測試場景三維評價模型所劃分的8個正方體的每個正方體所對應(yīng)的評價指標的關(guān)系如表1所示：

根據(jù)圖4和表1可以看出，如果某一測試場景位于1號空間內(nèi)，則表明該測試場景的復(fù)雜度、性能表現(xiàn)和危險度均相對較低，如果位于7號空間內(nèi)，則表明該測試場景的復(fù)雜度、性能表現(xiàn)和危險度均相對較高。因此，對于三維空間內(nèi)的任何一個測試場景，都可以找到其對應(yīng)的三維評價指標。

4.2? ?測試場景三維評價模型應(yīng)用案例

下面將通過幾個典型測試場景的分類案例，結(jié)合測試場景三維評價指標的定義，介紹測試場景三維評價模型的應(yīng)用方法。

1.自車U型掉頭測試場景（圖5所示），對自動駕駛汽車來說，該測試場景的復(fù)雜度較低，性能表現(xiàn)相對較低，危險度同樣較低，因此，該測試場景應(yīng)該被劃分在1號空間內(nèi)。

2.自車躲避連續(xù)障礙物測試場景（圖6所示），對自動駕駛汽車來說，該測試場景的復(fù)雜度較高，性能表現(xiàn)相對較低，危險度同樣較低，因此，該測試場景應(yīng)該被劃分在2號空間內(nèi)。

3.自車遇到有遮擋行人橫穿馬路測試場景（圖7所示），對自動駕駛汽車來說，該測試場景的復(fù)雜度較高，性能表現(xiàn)相對較高，危險度同樣較高，因此，該測試場景應(yīng)該被劃分在7號空間內(nèi)。

4.自車探測并避讓對向來車測試場景（圖8所示），對自動駕駛汽車來說，該測試場景的復(fù)雜度較高，性能表現(xiàn)相對較低，危險度同樣較高，因此，該測試場景應(yīng)該被劃分在6號空間內(nèi)。

通過以上四個測試場景的分類案例可以看出，對于任何一個測試場景，我們都可以在測試場景三維評價模型中找到其對應(yīng)的空間位置。而不同空間位置代表的含義各不相同，因此，在測試場景實際應(yīng)用過程中，可以根據(jù)我們的測試需求從相應(yīng)的三維空間中找到合適的測試場景。當前階段，安全性是智能網(wǎng)聯(lián)汽車研發(fā)所關(guān)注的首要因素，因此在智能網(wǎng)聯(lián)汽車的測試與評價過程中，我們應(yīng)當對5，6，7，8號空間內(nèi)的測試場景給予更多的關(guān)注。對于1，2，3，4號空間內(nèi)的測試場景，我們應(yīng)該根據(jù)研發(fā)測試需求進行選擇，比如1號空間，測試場景的復(fù)雜度低，但是性能表現(xiàn)卻相對較差，我們就需要進行特別關(guān)注，有助于進行技術(shù)的迭代升級。

5? ? 結(jié)束語

當前智能網(wǎng)聯(lián)汽車的技術(shù)發(fā)展離不開測試驅(qū)動型開發(fā)，而測試驅(qū)動型開發(fā)又需要科學(xué)合理的測試場景。本文提出了用于智能網(wǎng)聯(lián)汽車測試驅(qū)動型開發(fā)的測試場景三維評價模型，并對三維評價模型的應(yīng)用進行了案例介紹。本文提出的測試場景三維評價模型意義如下：1）根據(jù)三維評價模型，有利于對現(xiàn)有測試場景進行科學(xué)合理的分類;2）利用三維評價模型，可以高效選擇測試評價所需測試場景和測試用例，提高測試評價的效率。下一步需要根據(jù)建立的三維評價模型，對相應(yīng)測試場景三維評價模型的評價指標進行量化研究。

參考文獻：

[1]李克強，戴一凡，李升波，等. 智能網(wǎng)聯(lián)汽車（ ICV ） 技術(shù)的發(fā)展現(xiàn)狀及趨勢[J]. 汽車安全與節(jié)能學(xué)報，2017，8（1）： 1-14.

[2]Li Li， Yilun Lin， Nanning Zheng， et al. Artificial Intelligence Test： A Case Study of Intelligent Vehicles[J]. Artif Intell Rev， 2018， 50：441–465.

[3]Ulbrich S.， Menzel T.， Reschka A.， et al. Defining and Substantiating the Terms Scene， Situation， and Scenario for Automated Driving[C]//IEEE 18th International Conference on Intelligent Transportation Systems （ITSC）. Las Palmas， Spain： IEEE， 2015.

[4]Go K.， Carroll J. M.. The Blind Men and the Elephant： Views of Scenario-based System Design. Interactions， 2004， 11（6）： 44-53.

[5]Bagschik G.， Reschka A.， Stolte T.， et al. Identification of Potential Hazardous Events for an Unmanned Protective Vehicle[C]// IEEE Intelligent Vehicles Symposium. Gothenburg， Sweden： IEEE， 2016.

[6]Menzel T ， Bagschik G ， Maurer M . Scenarios for Development， Test and Validation of Automated Vehicles[C]//IEEE Intelligent Vehicles Symposium. Changsu， China： IEEE， 2018.

[7]Galen E.， Paul G.， R. Chad， et al. Adaptive Generation of Challenging Scenarios for Testing and Evaluation of Autonomous Vehicles[J]. The Journal of Systems and Software， 2018， 137：197-215.

[8]J3016. Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems[S]. Society of Automotive Engineers （SAE）， 2016.

[9]陳龍. 基于多源數(shù)據(jù)挖掘的汽車智能駕駛系統(tǒng)有效性評價[D]. 北京：清華大學(xué)， 2017.