趙浩源 劉金來 禹梓浩 武濤 孫天駿,2
(1.吉林大學(xué),長春 130022;2.吉林大學(xué),汽車仿真與控制國家重點實驗室,長春 130022)
主題詞:自動駕駛 數(shù)據(jù)采集 數(shù)據(jù)存儲 影子模式
汽車行駛過程中的數(shù)據(jù)采集技術(shù)當(dāng)前已不陌生,從行車記錄儀的使用開始,已經(jīng)實現(xiàn)了一段時間內(nèi)視頻數(shù)據(jù)的記錄。隨著汽車自動駕駛功能的不斷完善與城市道路交通環(huán)境的愈發(fā)復(fù)雜,單純的視頻數(shù)據(jù)大多只作為交通事故責(zé)任劃分的依據(jù),而不能為智能汽車自動駕駛功能的完善提供更多、更有效的信息[1-2]。如何高效地找到問題、精準(zhǔn)地定位問題并合理地解決問題成為制約下一代自動駕駛技術(shù)發(fā)展的難題。
先進(jìn)的自動駕駛數(shù)據(jù)采集與存儲技術(shù)將有效解決這一問題。目前,先進(jìn)的數(shù)據(jù)采集技術(shù)一般分為交通場景數(shù)據(jù)采集和駕駛行為數(shù)據(jù)采集。對于交通場景數(shù)據(jù)的收集,現(xiàn)有方案主要是將激光雷達(dá)、毫米波雷達(dá)、先進(jìn)的視覺攝像頭和全球?qū)Ш叫l(wèi)星系統(tǒng)(Global Navigation Satellite System,GNSS)等多套傳感器系統(tǒng)組合使用;對于駕駛行為數(shù)據(jù)的采集,現(xiàn)有方案主要基于車載設(shè)備和移動設(shè)備開展,同時需要大量的傳感器配合。因此,傳感器已成為自動駕駛系統(tǒng)數(shù)據(jù)采集的窗口。
自動駕駛汽車用于數(shù)據(jù)獲取的傳感器一般分為外部傳感器和本體傳感器。外部傳感器包括攝像頭、激光雷達(dá)和毫米波雷達(dá)等,其功能是觀察、檢測和識別車輛行駛過程中的障礙物、道路、車輛和行人等;本體傳感器包括輪速編碼器、轉(zhuǎn)速計、慣導(dǎo)定位系統(tǒng)等,功能是記錄車輛自身的行駛狀態(tài)信息,可以通過車輛CAN 總線訪問。自動駕駛汽車要實現(xiàn)安全有效的自主行為決策與運動控制,需要對交通環(huán)境進(jìn)行精確識別與準(zhǔn)確理解,在此過程中,各類傳感器利用自身優(yōu)勢取長補短、相互配合,以提供精確的環(huán)境數(shù)據(jù)[3]。為使自動駕駛系統(tǒng)對環(huán)境工況完全識別并作出正確判斷,現(xiàn)有的主要解決方案為在硬件層面上進(jìn)行堆疊,而自動駕駛數(shù)據(jù)采集系統(tǒng)所需記錄的數(shù)據(jù)量也隨之增長。
然而,考慮到當(dāng)前的自動駕駛系統(tǒng)無法處理實際交通場景中的全部工況,一旦自動駕駛汽車發(fā)生事故,研究人員需要保留記錄以便回溯整個過程,包括事故發(fā)生時的行駛環(huán)境視頻、車輛行駛狀態(tài)以及駕駛員實際操控指令等,這些重要的信息將幫助研究人員快速、精確地分析事故發(fā)生的原因。更重要的是,測試驗證及后續(xù)路試過程中出現(xiàn)的每個事件都能在一定時間內(nèi)回溯[4-5]。
而進(jìn)行自動駕駛功能測試時,絕大多數(shù)研發(fā)機構(gòu)仍堅持選擇“人工標(biāo)定”的方法,即除駕駛員外,另外配備一名輔助測試人員坐在副駕駛位置記錄每次駕駛員介入自動駕駛系統(tǒng)并接管車輛控制權(quán)時的行駛環(huán)境,標(biāo)記為當(dāng)前算法無法有效處理的工況。這樣,研究人員逐漸形成一種類似人工標(biāo)定異常工況(指自動駕駛算法無法有效處理的工況)的技術(shù)流程,但實際標(biāo)定過程所需的人力成本與時間成本無疑是巨大的,“人-車”控制指令之間的偏差已成為表征數(shù)據(jù)是否有價值的關(guān)鍵,也將為下一代自動駕駛汽車擬人智能化決策與控制算法開發(fā)提供重要理論依據(jù)與數(shù)據(jù)支撐。
以L3、L4級自動駕駛汽車為例,其所需記錄的信息主要分為交通場景信息和駕駛行為信息兩類[6],包括車輛行駛狀態(tài)數(shù)據(jù)、道路交通環(huán)境數(shù)據(jù)、駕駛員操控行為數(shù)據(jù)、自動駕駛狀態(tài)數(shù)據(jù)、執(zhí)行器狀態(tài)數(shù)據(jù)等,相關(guān)的輸入、輸出和中間控制模塊如圖1所示。
圖1 控制執(zhí)行模塊
交通場景是指車輛在參與道路交通過程中所處的場景,它是無人駕駛算法開發(fā)和測試的基礎(chǔ),也是算法落地應(yīng)用的具體情境[7-8]。針對交通場景數(shù)據(jù)的采集,現(xiàn)有方案主要將毫米波雷達(dá)、激光雷達(dá)、超聲波雷達(dá)和攝像頭等多套傳感器系統(tǒng)組合使用[9-10]。
毫米波雷達(dá)是高級駕駛輔助系統(tǒng)的核心傳感器,其探測性能較穩(wěn)定,作用距離較長,但成本較高、識別行人較困難[11-13]。激光雷達(dá)是L3、L4級自動駕駛環(huán)境感知系統(tǒng)中的關(guān)鍵傳感器,其感知距離較遠(yuǎn)、覆蓋范圍廣、掃描時間短、探測精度較高,能夠?qū)崟r進(jìn)行3D 建模[14-16]。超聲波雷達(dá)成本較低,能實現(xiàn)高精度、短距離測量[17-19]。攝像頭主要通過鏡頭和圖像傳感器實現(xiàn)圖像信息的采集功能,可實現(xiàn)360°視覺感知,并彌補雷達(dá)在物體識別上的缺陷,是最接近人類視覺的傳感器。
2.1.1 特斯拉傳感器配置方案
特斯拉(Tesla)的傳感器配置方案如圖2所示,每輛車均配有8個攝像頭、1個毫米波雷達(dá)和12個超聲波雷達(dá)。
圖2 特斯拉傳感器配置
在車輛的前風(fēng)窗玻璃內(nèi)側(cè)有3個攝像頭,分別為前視寬視野(超廣角)攝像頭、前視主視野(主)攝像頭和前視窄視野(長焦)攝像頭。超廣角攝像頭視野較寬,能夠拍攝到交通信號燈、障礙物以及車輛周圍距離較近的物體,適用于城市街道或低速緩行的場景;主攝像頭可覆蓋大部分交通場景;長焦攝像頭視野較窄,但探測距離足夠遠(yuǎn),可以清晰地拍攝到遠(yuǎn)距離物體,適用于高速行駛的場景。在車輛的左、右側(cè)B柱內(nèi)各有1個側(cè)方前視攝像頭,視野范圍90°,能夠精準(zhǔn)判定加塞車輛,在進(jìn)入視野盲區(qū)較大的十字路口時,也能監(jiān)測到更多場景。在車輛的前輪后方,左、右側(cè)各有2個側(cè)方后視攝像頭,用于檢測車輛后方盲區(qū)。在車輛尾部裝有1 個后視攝像頭,用于復(fù)雜的泊車場景[20-22]。攝像頭成像的動態(tài)效果如圖3所示。
圖3 特斯拉攝像頭成像動態(tài)效果
車輛毫米波雷達(dá)的探測角度與長焦攝像頭基本相同,但毫米波雷達(dá)的特定波長使其在雨、霧、雪等天氣條件下均能判斷距離,識別前方車輛下方空間,從而彌補視覺傳感器的不足。超聲波雷達(dá)可以探測強行并道的車輛,并可在泊車時判斷距離[23]。
通過特斯拉車主手冊、隱私聲明等渠道的調(diào)查發(fā)現(xiàn),該車輛利用3 個系統(tǒng)進(jìn)行車輛數(shù)據(jù)的整合,即事件數(shù)據(jù)記錄(Event Data Recorder,EDR)系統(tǒng)、車輛遠(yuǎn)程信息系統(tǒng)以及完全自動駕駛(Full Self-Driving,F(xiàn)SD)計算平臺。其中,EDR系統(tǒng)在Model S、Model X和Model 3車型中均進(jìn)行了配置,在正常行駛時,EDR系統(tǒng)不會記錄數(shù)據(jù),當(dāng)系統(tǒng)檢測到碰撞發(fā)生或類似碰撞的情況(如撞擊道路障礙物)時,EDR系統(tǒng)才會記錄與車輛動力學(xué)和安全系統(tǒng)相關(guān)的數(shù)據(jù),主要包括車輛各系統(tǒng)的工作狀況(電機轉(zhuǎn)速、橫向加速度、縱向加速度、轉(zhuǎn)向盤轉(zhuǎn)角、橫擺角速度、橫滾角速度等),駕駛員、前排乘員安全帶是否系好,駕駛員踩下加速、制動踏板的情況以及車速,便于事故發(fā)生后的責(zé)任認(rèn)定。
車輛遠(yuǎn)程信息系統(tǒng)可以收集更完整的行車數(shù)據(jù)。其中,電機、自動輔助駕駛(Autopilot)組件、電池、制動、電氣系統(tǒng)內(nèi)的電子模塊會記錄駕駛過程中的各種駕駛狀況和行車情況,主要包括制動、加速、旅程信息和其他行車信息。同時,車輛充電情況(狀態(tài)、時間)、啟用/禁用各系統(tǒng)、診斷故障代碼、車輛識別代碼(Vehicle Identification Number,VIN)、車速,行車方向和地點也會被記錄。相比于EDR 系統(tǒng)收集的數(shù)據(jù),車輛遠(yuǎn)程信息系統(tǒng)所收集的數(shù)據(jù)更加敏感,同時,可訪問這些數(shù)據(jù)的人員范圍更廣。例如,在車輛的維修過程中,特斯拉工程師可以訪問、使用、存儲這些數(shù)據(jù),車載遠(yuǎn)程信息系統(tǒng)也會將數(shù)據(jù)定期無線傳送至特斯拉總部。擁有這些數(shù)據(jù)后,特斯拉將為車主提供遠(yuǎn)程信息服務(wù)等。另外,除車主或租賃公司同意/贊成、警方的正式要求、為特斯拉辯護(hù)、法庭下令、用于研究目的(不會泄露車主身份信息)、向下屬公司或其信息系統(tǒng)及數(shù)據(jù)管理提供者披露6個因素外,特斯拉承諾不會向任何第三方泄漏車輛的記錄數(shù)據(jù)[24-26]。
如表1所示,縱觀特斯拉自動駕駛硬件處理平臺的發(fā)展歷程,最值得一提的是其于2019年3月自主研發(fā)并于2020年10月升級迭代的FSD計算平臺。
表1 特斯拉自動駕駛硬件平臺升級歷程
Tesla自主研發(fā)的FSD芯片采用三星14 nm工藝,面積為260 mm2,封裝了約60×108個晶體管,集成了12 工作頻率為2.2 GHz 的Cortex-A72 內(nèi)核、1 個工作頻率為2 GHz 的MAli G71 MP12 圖形處理器(Graphics Processing Unit,GPU)、2 個工作頻率為2 GHz 的神經(jīng)處理單元(Neural Processing Unit,NPU)以及各種硬件加速器,同時支持單、雙精度的浮點運算。在相機接口方面,F(xiàn)SD 芯片具有1 個攝像頭串行接口(Camera Serial Interface,CSI),該接口能夠進(jìn)行每秒高達(dá)25×108像素的處理;在視頻編碼器方面,F(xiàn)SD 芯片集成了H.265(高效率視頻編碼,HEVC)視頻編碼器,可用于攝像頭顯示、行車記錄儀和云剪輯記錄等;在圖像信號處理器方面,F(xiàn)SD 芯片集成了內(nèi)部帶有24 bit 流水線的信號處理器(Image Signal Processor,ISP),每秒能夠處理10×108像素,同時具有降噪能力;在神經(jīng)處理單元方面,F(xiàn)SD芯片集成了2個定制的NPU,每個NPU都封裝了32 MB的靜態(tài)隨機存取存儲器(Static Random-Access Memory,SRAM)用于存儲臨時數(shù)據(jù)。另外,F(xiàn)SD芯片具有專用的神經(jīng)網(wǎng)絡(luò)處理器,算力強大(每秒鐘可處理144×1012次操作);配有雙獨立電源,確保安全冗余;水冷設(shè)計,散熱好(全球首例)。
在FSD 硬件計算平臺基礎(chǔ)上,特斯拉在軟件升級中基于鳥瞰圖(Birdview)映射網(wǎng)絡(luò)及循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)遮擋處理技術(shù)增加了深度預(yù)測和時間預(yù)測,實現(xiàn)了識別畫面從2.5D到4D的變革,主要體現(xiàn)在無高精度地圖、無激光雷達(dá)的條件下僅憑視覺,利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)代替激光雷達(dá)來確定物體深度及實現(xiàn)交叉路口預(yù)測,如圖4、圖5所示。
圖4 基于FSD Beta的視覺檢測
圖5 基于RNN及時間預(yù)測的交叉口預(yù)測
特斯拉FSD Beta 版的更新說明中指出:新的功能可以使車輛在離開高速路的情況下自動變道,并根據(jù)導(dǎo)航路線行駛,在路口實現(xiàn)自動轉(zhuǎn)彎。然而,特斯拉FSD 之所以能夠?qū)崿F(xiàn)這些新功能,關(guān)鍵在于其人工智能(Artificial Intelligence,AI)團(tuán)隊正在開發(fā)的DOJO 超級訓(xùn)練計算機。DOJO 能夠處理大量的視頻訓(xùn)練數(shù)據(jù),并能夠高效地運行帶有超大量參數(shù)的超空間陣列。DOJO能夠從視頻中自主地學(xué)習(xí)和識別先前未被定義或未被標(biāo)記的信息,如行人、動物、坑洼地段等,進(jìn)而可以大幅提高訓(xùn)練速度和效率。因此,無論在白天或夜晚,特斯拉FSD Beta 在任何路況下都會以標(biāo)記大量“點”的方式來構(gòu)建附近的“實時三維地圖”,連續(xù)的“點”構(gòu)成線和面,附近一切靜止和運動的目標(biāo)則會一目了然。
2.1.2 奧迪傳感器配置方案
2019 年,奧迪(Audi)公司推出的奧迪A8 車系搭載了交通擁堵導(dǎo)航(Traffic Jam Pilot)系統(tǒng),這是全球首款搭載L3級別自動駕駛技術(shù)的車型[27]。利用前向攝像頭以及處理芯片Eye Q3,該車可以實現(xiàn)多車道線識別;利用長距離、中距離毫米波雷達(dá)可以實現(xiàn)車輛及護(hù)欄的檢測。激光雷達(dá)與毫米波雷達(dá)傳入自動駕駛系統(tǒng)的信息不同,是由多條線段組成的一個面。有了面狀信息,系統(tǒng)即可精確地判斷自身車輛與周圍障礙物的位置關(guān)系,進(jìn)而進(jìn)行精確的控制[28]。其系統(tǒng)主要架構(gòu)如表2所示。
表2 奧迪A8交通擁堵導(dǎo)航系統(tǒng)主要架構(gòu)
2.1.3 谷歌傳感器配置方案
谷歌公司在其改裝的捷豹I-Paces自動駕駛車型中配備了第五代傳感器系統(tǒng),該系統(tǒng)可以實現(xiàn)L3 級別的自動駕駛,包括激光雷達(dá)系統(tǒng)、視覺系統(tǒng)、雷達(dá)系統(tǒng)和補充傳感系統(tǒng)[29]。車頂使用1臺高性能中遠(yuǎn)距離激光雷達(dá)傳感器,將其與一組具有360°視野的立體攝像頭整合在同一個整流罩下,同時配備了4 個近距離激光雷達(dá),分布在前、后車牌以及車前輪輪拱處協(xié)助處理盲區(qū),并且各增加了1個攝像頭與其進(jìn)行配合。在6個毫米波雷達(dá)中,4 個安裝在車頂四角與車身成45°夾角、2 個安裝在車前輪輪拱處與車身平行探測十字路口側(cè)向來車情況,也可探測側(cè)向車道的車輛和行人,以便于變道決策。毫米波雷達(dá)中的天線罩、天線、電路板、機械外殼、固件、軟件等均為慧摩(Waymo)自研。全車29個攝像頭能最大程度地降低光照條件和極端天氣的影響,輪拱處的攝像頭可緊盯靠近車輛的異物,車頂前方安裝了一組麥克風(fēng)陣列,用于對聲音進(jìn)行收集。除了以上傳感器,車上還裝有GPS 接收機、即慣性測量單元(Inertial Measurement Unit,IMU)等傳感器用于實現(xiàn)整車定位,幫助車輛更加安全、穩(wěn)定地運行[30]。其傳感器配置發(fā)展歷程如表3 所示。
表3 慧摩(Waymo)傳感器配置發(fā)展歷程
2.1.4 華為傳感器配置方案
極狐阿爾法S華為HI 版搭載了華為提供的全套高階自動駕駛解決方案,配備了3個激光雷達(dá)(左前、右前及中間)、13個攝像頭、6個毫米波雷達(dá)、1個車頂慣性導(dǎo)航系統(tǒng)和1個域控制器[31]。該車型配備的車規(guī)級高性能激光雷達(dá)產(chǎn)品選擇了華為自主設(shè)計、開發(fā)的96 線中長距激光雷達(dá)產(chǎn)品,能實現(xiàn)對城區(qū)行人、車輛的檢測覆蓋,并兼具高速車輛檢測能力[32-33]。華為自動駕駛?cè)珬=鉀Q方案(Autonomous Driving Solution,ADS)系統(tǒng)架構(gòu)如表4所示。
表4 華為ADS自動駕駛系統(tǒng)
2.1.5 理想傳感器配置方案
理想在2020年發(fā)售的理想ONE車型上搭載了1個ADS 攝像頭、4 個環(huán)視攝像頭、1 個毫米波雷達(dá)和12 個超聲波雷達(dá),并在2021 年發(fā)售的理想ONE 車型上新增了4 個毫米波雷達(dá),同時其前視攝像頭升級成了一個800 萬像素/120°視角的感知攝像頭[34]。2023 年推出的理想L7 車型上的AD Max 輔助駕駛系統(tǒng)搭載了1 個激光雷達(dá)、6 個800 萬像素攝像頭、5 個200 萬像素攝像頭、1個毫米波雷達(dá)和12個超聲波傳感器。
如表5 所示,對比近年理想車型,理想L 系列強化了依賴攝像頭的視覺感知。
表5 理想部分車型傳感器配置變化對比 個
2.1.6 蔚來傳感器配置方案
蔚來擁有蔚來自動輔助駕駛(NIO Pilot)系統(tǒng)和蔚來自動駕駛(NIO Autonomous Driving,NAD)系統(tǒng)2種自動駕駛系統(tǒng)[35]。NIO Pilot 系統(tǒng)由3 個ADS 攝像頭、4 個環(huán)視攝像頭、5 個毫米波雷達(dá)、12 個超聲波雷達(dá)和1 個駕駛員監(jiān)控系統(tǒng)(Driver Monitor System,DMS)攝像頭組成[36]。3 個ADS 攝像頭組成一個三目攝像頭,主要可以實現(xiàn)道路標(biāo)志識別、遠(yuǎn)近光自動控制、車道偏離預(yù)警、車道自動保持、緊急制動輔助、前向碰撞預(yù)警等功能。5個毫米波雷達(dá)包括1個前置長距離雷達(dá)和4個角雷達(dá),主要可以實現(xiàn)車道變換預(yù)警、車輛盲點監(jiān)控、側(cè)方開門預(yù)警、前向來車預(yù)警、后向來車預(yù)警等功能。相較于NIO Pilot系統(tǒng),NAD系統(tǒng)的感知解決方案AQUILA超感知系統(tǒng)則更加完善。在前置攝像頭方面,NAD 系統(tǒng)采用2 個ADS 前視攝像頭、2 個側(cè)前視攝像頭(瞭望塔式布局)和1 個前置激光雷達(dá),完全能夠覆蓋NIO Pilot 系統(tǒng)采用三目攝像頭情況下的視野探測范圍。此外,NAD 系統(tǒng)還增加了1 個前置激光雷達(dá)和蜂窩車聯(lián)網(wǎng)(Cellular Vehicle-to-Everything,C-V2X)通信模塊。這些硬件布局的完善使得自動駕駛更加智能化。2 個系統(tǒng)的主要傳感器配置如表6所示。
表6 蔚來NIO Pilot系統(tǒng)與NAD系統(tǒng)對比
為使自動駕駛系統(tǒng)能夠應(yīng)對外部環(huán)境的多變性和復(fù)雜性,現(xiàn)有的解決方案主要在硬件層面進(jìn)行堆疊,通過添加冗余的傳感器確保對場景進(jìn)行完整復(fù)現(xiàn)。如上文所述,特斯拉、蔚來等整車制造商均采用了比普通ADAS 系統(tǒng)更多的攝像頭進(jìn)行環(huán)境感知,其主要目的是保證無死角地采集數(shù)據(jù),全方位還原交通場景。但與此同時,這些冗余的高精度傳感器也產(chǎn)生了更多高噪聲、低質(zhì)量的數(shù)據(jù),為后續(xù)的數(shù)據(jù)存儲及處理帶來了挑戰(zhàn)。
駕駛行為數(shù)據(jù)包括車輛在行駛過程中的各項狀態(tài)參數(shù)和駕駛員的操作行為,這些駕駛行為數(shù)據(jù)在算法的驗證和測試階段可發(fā)揮重要作用。例如,當(dāng)同向車道車輛意圖換道時,由于環(huán)境中的強光或?qū)Ψ今{駛員不開啟轉(zhuǎn)向燈,導(dǎo)致外部環(huán)境感知的結(jié)果是同向車輛在正常直行,智能駕駛算法可能對此作出誤判。但是,如果有人類駕駛員介入車輛換道場景,通過采集人類駕駛員的駕駛行為數(shù)據(jù),即可用人類駕駛員的操作行為數(shù)據(jù)和算法模擬出的操作行為數(shù)據(jù)進(jìn)行對比,進(jìn)而驗證算法的合理性并進(jìn)一步優(yōu)化算法。
駕駛行為數(shù)據(jù)采集系統(tǒng)可分為基于移動設(shè)備的駕駛行為數(shù)據(jù)采集系統(tǒng)和基于車載設(shè)備的駕駛行為數(shù)據(jù)采集系統(tǒng)[37]。當(dāng)下廣泛使用的智能手機均安裝有高精度運動傳感器和全球定位系統(tǒng),充分利用這些已有傳感器可以大幅降低數(shù)據(jù)采集的成本,并能獲取大量較高精度的車輛位置、速度和加速度等信息[38-40]。使用車載設(shè)備采集駕駛行為數(shù)據(jù),可以獲取種類更多的數(shù)據(jù),如駕駛員眼動信息、心電信息和環(huán)境視頻信息等,車載設(shè)備同時兼具采樣頻率高、測量誤差低等優(yōu)點[41-43]。
目前已公開的駕駛行為數(shù)據(jù)集有2 個[44]:州立農(nóng)業(yè)公司分心駕駛員數(shù)據(jù)集(State Farm’s Distracted Driver Dataset)和開羅美國大學(xué)分心駕駛員(AUC Distracted Driver)數(shù)據(jù)集。前者[45]是一個關(guān)于駕駛姿勢分類的數(shù)據(jù)集(用以檢測駕駛員的駕駛行為),由State Farm 公司發(fā)布,通過將2D 攝像機固定在乘員頭頂?shù)姆鍪稚线M(jìn)行數(shù)據(jù)采集,分類好的圖像數(shù)量高達(dá)22 424 張;后者[46]是開羅美國大學(xué)仿照前者所創(chuàng)建的,主要收集駕駛員分心時的駕駛動作,通過華碩ZenPhone(型號Z00UD)手機進(jìn)行數(shù)據(jù)收集,目前共包含17 307張圖像。
除上述2種公開的駕駛行為數(shù)據(jù)集外,國內(nèi)的東南大學(xué)也建立了類似的數(shù)據(jù)集[47],不過只包含了4類駕駛動作,普遍性較低且尚未公開。
2.2.1 基于車載設(shè)備的駕駛行為數(shù)據(jù)感知
基于車載設(shè)備的駕駛行為數(shù)據(jù)感知過程是指在某一時間段內(nèi),車載傳感器對車輛自身的狀態(tài)進(jìn)行感知,然后數(shù)據(jù)采集系統(tǒng)進(jìn)行數(shù)據(jù)采集[48],這些數(shù)據(jù)包括但不限于行駛過程中車輛的加速度、輪轂轉(zhuǎn)動的角速度、油箱液位等車輛最基本的信息,反映了車輛在當(dāng)前工況下的基本狀態(tài)。同時,這些信息也可以反映駕駛員的駕駛行為和習(xí)慣,例如,通過一段時間內(nèi)的車速變化可以推測駕駛員的駕駛行為是激進(jìn)還是保守。
車載環(huán)境感知傳感器系統(tǒng)主要分布于汽車的動力總成、底盤和車身。其中,車身傳感器覆蓋范圍很廣,任何不應(yīng)用在動力總成和底盤上的傳感器都可歸類為車身傳感器[49]。相較于激光雷達(dá)、毫米波雷達(dá)、超聲波雷達(dá)等較為精確的新型傳感器[50],動力總成、底盤和車身傳感器則可視為傳統(tǒng)傳感器,相應(yīng)分類與工作原理如表7所示。
表7 傳統(tǒng)傳感器種類及應(yīng)用原理
傳感器收集車身數(shù)據(jù)后發(fā)送給電控系統(tǒng),電控系統(tǒng)對數(shù)據(jù)進(jìn)行處理,最終實現(xiàn)對駕駛員駕駛信息的完整收集。
基于車載設(shè)備的駕駛行為數(shù)據(jù)獲取主要流程如圖6所示:駕駛員的駕駛行為被車載傳感器感知;數(shù)據(jù)采集系統(tǒng)記錄傳感器采集到的數(shù)據(jù)。由于初始數(shù)據(jù)量龐大,數(shù)據(jù)采集系統(tǒng)往往需要對采集到的冗余數(shù)據(jù)進(jìn)行刪除,保留可用的數(shù)據(jù)供自動駕駛算法或研究人員使用[51]。
圖6 駕駛行為數(shù)據(jù)獲取流程
為研究駕駛員的行為中與碰撞風(fēng)險相關(guān)的因素,弗吉尼亞理工運輸研究所(Virginia Tech Transportation Institute,VTTI)為其試驗車輛配備攝像頭、雷達(dá)等傳感器來自動和連續(xù)地收集駕駛參數(shù),包括速度、碰撞時間、位置、加速度和眼睛瞥視行為。在自然駕駛研究領(lǐng)域,Lee 等為了研究青少年新手駕駛員和成年有經(jīng)驗的駕駛員的駕駛碰撞事故率,在車輛上裝配了數(shù)據(jù)采集系統(tǒng)(Data Acquisition System,DAS),采集駕駛員駕駛過程中的視頻和運動傳感器的數(shù)據(jù)[52]。
2.2.2 基于移動設(shè)備的駕駛行為數(shù)據(jù)感知
基于移動設(shè)備的駕駛行為感知主要是利用手機等智能移動設(shè)備自帶的傳感器實現(xiàn)對駕駛員駕駛行為信息的采集。該類設(shè)備通過GPS模塊采集駕駛行為數(shù)據(jù),并通過網(wǎng)絡(luò)上傳到云端。此類數(shù)據(jù)采集方式速度快、頻率高、參與人員廣泛。
目前可利用的移動設(shè)備傳感器分為2類。第1類是大多數(shù)智能手機中自帶的運動傳感器,包括利用加速度計測量汽車速度或加速度來記錄汽車縱向行駛的數(shù)據(jù)、利用陀螺儀測量汽車角速度來記錄汽車橫向行駛的數(shù)據(jù),或者利用磁力計(如指南針)分辨汽車行駛方向與確定駕駛路況,相應(yīng)流程如圖7所示。
圖7 手機數(shù)據(jù)收集處理方案
第2類是位置傳感器,如常用于室外環(huán)境的GPS和其他基于網(wǎng)絡(luò)的位置服務(wù),利用車載GPS接收機或手機自帶的位置服務(wù)模塊獲取車輛的軌跡信息,進(jìn)而計算車輛的行駛速度、加速度和轉(zhuǎn)彎信息等[53]。這些傳感器與自動駕駛系統(tǒng)相互配合,對駕駛行為數(shù)據(jù)進(jìn)行分析收集,得益于相應(yīng)的傳感器與GPS 定位功能,智能手機已成為收集和處理汽車移動感知數(shù)據(jù)的有效工具。
但利用智能手機進(jìn)行駕駛行為數(shù)據(jù)的收集也有十分明顯的缺點:首先,大多數(shù)智能手機中自帶的運動傳感器精度較低,所以收集的數(shù)據(jù)噪聲較大;其次,參與數(shù)據(jù)收集的人員十分廣泛,存在駕駛?cè)藛T職業(yè)與習(xí)慣多樣性的問題,數(shù)據(jù)總體的不確定性較強[54],數(shù)據(jù)量也十分龐大且冗雜。因此,如何有效處理采集的車載傳感器數(shù)據(jù)將成為基于移動設(shè)備的駕駛行為數(shù)據(jù)采集技術(shù)開發(fā)的關(guān)鍵。
隨著自動駕駛技術(shù)的不斷發(fā)展,車輛上所搭載的各種傳感器、控制設(shè)備與感知設(shè)備的數(shù)量愈發(fā)龐大,自動駕駛的軟件愈加復(fù)雜化,事故分析所需數(shù)據(jù)越來越多。此時,先進(jìn)的自動駕駛數(shù)據(jù)記錄與存儲技術(shù)顯得極為重要。數(shù)據(jù)記錄系統(tǒng)可以幫助進(jìn)行數(shù)據(jù)重建,這些數(shù)據(jù)不但能作為還原事故現(xiàn)場的依據(jù),還能為自動駕駛系統(tǒng)的升級提供數(shù)據(jù)支撐[55-57]。
汽車EDR系統(tǒng)是由1個或多個車載電子模塊構(gòu)成,具有監(jiān)測、采集并記錄碰撞事件發(fā)生前、發(fā)生時和發(fā)生后車輛和乘員保護(hù)系統(tǒng)的數(shù)據(jù)功能的裝置或系統(tǒng)[58]。
EDR 系統(tǒng)一般會記錄如下信息:碰撞發(fā)生前汽車的動力學(xué)數(shù)據(jù)和系統(tǒng)的狀態(tài)信息;駕駛?cè)溯斎胄畔ⅲ慌鲎舶l(fā)生信息;乘員約束裝置使用/關(guān)閉狀態(tài)信息;碰撞后數(shù)據(jù),如碰撞自動求助(Automatic Collision Notification,ACN)系統(tǒng)啟用及工作情況的信息[59]。多數(shù)情況下,在事故發(fā)生時,EDR 系統(tǒng)都會觸發(fā)并對數(shù)據(jù)進(jìn)行記錄和儲存。事故發(fā)生后,對EDR 系統(tǒng)數(shù)據(jù)進(jìn)行提取[60],通過客觀證據(jù)分析事故的成因,判定責(zé)任[61]。
在EDR 系統(tǒng)研究方面,20 世紀(jì)70 年代,美國已經(jīng)開發(fā)出了EDR系統(tǒng)的相關(guān)產(chǎn)品,并在2006年頒布法規(guī),規(guī)范了汽車碰撞事件記錄的內(nèi)容和讀取方法。美國國家道路交通安全管理局要求,自2014年9月后,美國境內(nèi)所有銷售的車輛都需要配備EDR 系統(tǒng)。在日本,目前已經(jīng)形成EDR 系統(tǒng)的行業(yè)標(biāo)準(zhǔn),但并未強制實施。在歐洲,目前還沒有統(tǒng)一的EDR系統(tǒng)標(biāo)準(zhǔn)及法規(guī),但大多數(shù)車輛已經(jīng)具備EDR功能。我國之前在EDR系統(tǒng)標(biāo)準(zhǔn)的研究與制定領(lǐng)域存在空白,為加強對汽車事件的成因分析及取證,建立完整、可信的車輛事件數(shù)據(jù)記錄系統(tǒng),工業(yè)和信息化部組織行業(yè)機構(gòu)、重點企業(yè)等研究開展了《汽車事件數(shù)據(jù)記錄系統(tǒng)》強制性國家標(biāo)準(zhǔn)的制定,并于2022年1月1日正式實施[62]。
該標(biāo)準(zhǔn)提出了“碰撞事件觸發(fā)閾值”的概念,即當(dāng)車輛達(dá)到以下觸發(fā)閾值條件時,該事件才應(yīng)被記錄[63]:
a.當(dāng)車輛僅記錄“縱向delta-V”時,觸發(fā)閾值為在X軸方向上150 ms時間區(qū)間內(nèi)不小于8 km/h的車輛速度變化。
b.當(dāng)車輛同時記錄“橫向delta-V”時,觸發(fā)閾值為在X軸方向或者Y軸方向上150 ms 時間區(qū)間內(nèi)不小于8 km/h的車輛速度變化。
其中,“delta-V”表示速度變化量,即碰撞前車速與碰撞后車速的矢量差:
式中:v1為碰撞前車速,v0為碰撞后車速。
對于以上2 種情況,如果事件持續(xù)時間小于150 ms,那么車輛速度的變化等于或者超過8 km/h 時,該事件也應(yīng)被記錄。
EDR系統(tǒng)通過CAN總線對車輛運行數(shù)據(jù)進(jìn)行連續(xù)監(jiān)控,當(dāng)車輛在一定時間內(nèi)縱向或橫向速度變化量達(dá)到閾值時,EDR 系統(tǒng)便儲存碰撞前至碰撞后共計幾秒內(nèi)的車速、發(fā)動機轉(zhuǎn)速、制動踏板開關(guān)狀態(tài)、縱向加速度、轉(zhuǎn)向盤轉(zhuǎn)角、安全帶使用情況等數(shù)據(jù)。當(dāng)車輛的被動安全裝置如安全氣囊起爆時,儲存的數(shù)據(jù)將被鎖定,不可更改。若被動安全裝置未起爆,EDR 系統(tǒng)儲存的數(shù)據(jù)可能隨車輛的后續(xù)運行而被其他事件覆蓋[64-66]。
近幾年,隨著EDR系統(tǒng)的部署,研究人員在此基礎(chǔ)上研發(fā)了一種自動駕駛汽車事件數(shù)據(jù)記錄(Autopilot Data Recorder,ADR)系統(tǒng)。ADR 系統(tǒng)由ADR 設(shè)備、車載以太網(wǎng)網(wǎng)關(guān)、車載網(wǎng)聯(lián)終端、視頻記錄設(shè)備及云平臺5 個部分組成,能自動偵聽和采集自動駕駛控制器(Autopilot Control Unit,ACU)發(fā)來的自動駕駛系統(tǒng)數(shù)據(jù)并將不同數(shù)據(jù)寫入各自的文件緩存中。其中,事件信號由自動駕駛系統(tǒng)的決策程序進(jìn)行判斷和提供,數(shù)據(jù)處理流程如下:
a.當(dāng)接收到事件信號時,ADR 設(shè)備將通過音頻視頻橋(Audio Video Bridge,AVB)協(xié)議向網(wǎng)聯(lián)終端和視頻記錄設(shè)備發(fā)送事件通知,并將發(fā)生時刻前90 s和后30 s的數(shù)據(jù)進(jìn)行鎖定保護(hù)。
b.ADR 設(shè)備和視頻記錄設(shè)備通過文件傳輸協(xié)議(File Transfer Protocol,F(xiàn)TP)將該時間段內(nèi)采集的自動駕駛系統(tǒng)數(shù)據(jù)和車輛視頻數(shù)據(jù)上傳至網(wǎng)聯(lián)終端,最終由網(wǎng)聯(lián)終端上傳至云平臺[67-68]。
自動駕駛車輛投入市場前,必須解決如何準(zhǔn)確獲取自動駕駛過程的相關(guān)信息并利用這些信息對事故進(jìn)行重建的問題。自2021 年起,國內(nèi)外整車制造商正在陸續(xù)實現(xiàn)L3 級別自動駕駛車輛的量產(chǎn)。而L3 級別自動駕駛車輛在使用過程中存在的人機共駕行為會使交通事故責(zé)任主體的判定變得模糊,給法律責(zé)任界定帶來較大困難。因此,用于獲取自動駕駛過程信息的自動駕駛數(shù)據(jù)記錄系統(tǒng)(Data Storage System for Automobile Driving,DSSAD)的研究顯得極為重要[69-72]。
DSSAD可以視為自動駕駛的“黑匣子”[73],用于記錄L3 級別及以上自動駕駛車輛在達(dá)到觸發(fā)條件時刻前、中、后特定時間段車輛、駕駛自動化系統(tǒng)、行車環(huán)境及駕駛員數(shù)據(jù)信息,以此確定在不同時間、地點,控制車輛的是駕駛員或是自動駕駛系統(tǒng)。
根據(jù)數(shù)據(jù)記錄裝置的集成方式,DSSAD 可分為2種[74]:
a.通過單獨的數(shù)據(jù)記錄裝置對關(guān)鍵信息數(shù)據(jù)進(jìn)行記錄。首先,DSSAD實時讀取車輛的各項數(shù)據(jù),如車輛的運行狀態(tài)(轉(zhuǎn)向盤轉(zhuǎn)角、車速、加速度、制動力等)、車輛周圍的環(huán)境信息、駕駛員的行為信息等;之后,系統(tǒng)通過DSSAD 控制器內(nèi)規(guī)劃的事件邏輯進(jìn)行實時監(jiān)測,當(dāng)檢測到的數(shù)據(jù)達(dá)到系統(tǒng)閾值時,DSSAD 控制器自動觸發(fā)記錄,并將關(guān)鍵信息儲存在DSSAD 內(nèi)部的存儲單元中。值得注意的是,由于該類系統(tǒng)使用單獨的數(shù)據(jù)記錄裝置,存儲容量有限,系統(tǒng)將會按照數(shù)據(jù)的優(yōu)先級覆蓋過去的數(shù)據(jù)。存儲具體流程如圖8所示。
圖8 具有單獨數(shù)據(jù)記錄裝置的DSSAD數(shù)據(jù)記錄流程
b.將數(shù)據(jù)記錄模塊集成在域控制器中。該類DSSAD通過將數(shù)據(jù)記錄模塊集成在域控制器中實現(xiàn)與各控制器的通信,對感知、決策、控制信號進(jìn)行儲存。DSSAD 控制器集成在自動駕駛中央控制器內(nèi)部,并與其他控制器通過總線進(jìn)行連接通信,系統(tǒng)根據(jù)事先規(guī)劃的事件邏輯進(jìn)行實時監(jiān)測,當(dāng)滿足觸發(fā)條件時進(jìn)行邏輯觸發(fā),并通過總線向各控制器發(fā)送數(shù)據(jù)記錄鎖存信號。各控制器在接收到此信號后根據(jù)設(shè)計要求記錄關(guān)鍵數(shù)據(jù)信息。與第1種方式相比,該方法更加高效,所儲存的數(shù)據(jù)更加完整,但相應(yīng)地失去了其獨立性,與其他控制器關(guān)聯(lián)性較強。一旦其他控制器存在故障或數(shù)據(jù)傳輸異常,會嚴(yán)重影響其功能。其具體實現(xiàn)原理如圖9所示。
圖9 中央控制器集成DSSAD數(shù)據(jù)記錄流程
EDR 系統(tǒng)與DSSAD 的數(shù)據(jù)存儲包括本地存儲和云端存儲,其中EDR 系統(tǒng)要求存儲一個事故中前90 s與后30 s 的數(shù)據(jù),存儲容量不少于3 次連續(xù)碰撞事故的數(shù)據(jù)大小。而DASSD 則要求記錄每一次事故中駕駛員與自動駕駛系統(tǒng)之間決策對象的轉(zhuǎn)換情況,存儲容量要求在6 個月內(nèi)至少存儲2 500 次相應(yīng)事故的數(shù)據(jù)。根據(jù)Insup Kim 等的研究,EDR 系統(tǒng)與DASSD 的云端數(shù)據(jù)存儲量可根據(jù)其本身需要數(shù)據(jù)量的大小、觸發(fā)數(shù)據(jù)采集的次數(shù)以及數(shù)據(jù)保存的周期計算。而本地存儲量可以通過傳感器數(shù)據(jù)的帶寬以及過程中所需的傳感器數(shù)量來計算。如果EDR 系統(tǒng)與DSSAD 在存儲數(shù)據(jù)時盡可能地節(jié)省傳感器的使用,則其存儲的數(shù)據(jù)如表8所示。
表8 EDR系統(tǒng)與DSSAD所需存儲數(shù)據(jù)量
EDR系統(tǒng)和DASSD的不同點主要在于系統(tǒng)設(shè)計目的、搭載車輛、數(shù)據(jù)可用性以及系統(tǒng)任務(wù)4個方面。
在系統(tǒng)設(shè)計目的方面:EDR 系統(tǒng)側(cè)重于發(fā)生碰撞時的相關(guān)數(shù)據(jù),一方面可用于確認(rèn)事故發(fā)生的原因,另一方面可以借此改善車輛的安全系統(tǒng);DSSAD 側(cè)重于記錄L3 級別及以上車輛在自動駕駛過程中,在達(dá)到觸發(fā)條件前、中、后自動駕駛系統(tǒng)、行車環(huán)境以及駕駛?cè)藛T等數(shù)據(jù)信息。事故發(fā)生時,自動駕駛車輛可能會成為責(zé)任主體[75],所以要確定在不同時間、地點,控制車輛的是駕駛員還是自動駕駛系統(tǒng),以厘清責(zé)任[76-78]。
在搭載車輛方面:EDR 系統(tǒng)用于所有車輛,包括乘用車、輕型貨車及重型貨車,而DSSAD則適用于配備了L3、L4 級自動駕駛功能的車輛??梢灶A(yù)見,未來在L3及更高級別的自動駕駛車輛中,EDR 系統(tǒng)與DSSAD 的共同使用將成為一大趨勢。
在數(shù)據(jù)可用性方面:EDR 系統(tǒng)主要記錄碰撞等較為嚴(yán)重的事故(如安全氣囊啟動、翻車)的相應(yīng)數(shù)據(jù),且數(shù)據(jù)在被提取前一直可用,而DSSAD觸發(fā)的閾值更低,且至少可用6個月。
在系統(tǒng)任務(wù)方面:EDR 系統(tǒng)提供碰撞前、后小片刻時間的簡單數(shù)據(jù),DSSAD 側(cè)重于記錄駕駛員及自動駕駛系統(tǒng)對車輛駕駛權(quán)轉(zhuǎn)移的分析,并對車輛周圍的環(huán)境數(shù)據(jù)進(jìn)行記錄。
L3級自動駕駛車輛的數(shù)據(jù)記錄與存儲主要服務(wù)于自動泊車(Autonomous Valet Parking,AVP)場景、高速代駕(High Way Pilot,HWP)場景、交通擁堵導(dǎo)航(Traffic Jam Pilot,TJP)場景、自動緊急制動(Automatic Emergency Braking,AEB)場景,自動駕駛數(shù)據(jù)存儲內(nèi)容如表9所示。
表9 自動駕駛數(shù)據(jù)存儲內(nèi)容
數(shù)據(jù)記錄系統(tǒng)伴隨著自動駕駛系統(tǒng)功能的開啟而觸發(fā),但不一定是激活狀態(tài),如果本地存儲空間充足,則利用本地存儲空間進(jìn)行存儲,否則告知后臺啟動無線網(wǎng)絡(luò)存儲,要求在網(wǎng)絡(luò)空閑時將記錄的數(shù)據(jù)上傳到指定的云端,同時支持收到遠(yuǎn)程發(fā)送的請求后上傳(每類事件每次數(shù)據(jù)單獨區(qū)分),便于及時讀取、分析。數(shù)據(jù)上傳可由車載主機(Head Unit,HU)通過車載通信終端(Telematics BOX,T-BOX)或控制器自行上傳。各存儲單元存儲內(nèi)容如表10所示。數(shù)據(jù)記錄的具體操作過程如下:當(dāng)車輛起動時,數(shù)據(jù)記錄系統(tǒng)進(jìn)行自檢及初始化,無故障時發(fā)送相關(guān)的信息至自動駕駛系統(tǒng),系統(tǒng)接收到該信息后,由駕駛員進(jìn)行激活操作,此時數(shù)據(jù)記錄系統(tǒng)進(jìn)入可激活待機狀態(tài)。進(jìn)而,一般有2種典型的觸發(fā)方式可激活數(shù)據(jù)記錄系統(tǒng):
表10 各存儲單元存儲內(nèi)容
a.當(dāng)L3 級自動駕駛系統(tǒng)正常工作時,會發(fā)送相應(yīng)的功能標(biāo)志位給數(shù)據(jù)記錄系統(tǒng),自動駕駛系統(tǒng)的功能狀態(tài)標(biāo)志包括激活、退出、超越、接管以及緊急制動等,隨后數(shù)據(jù)記錄系統(tǒng)隨時進(jìn)行監(jiān)控,并根據(jù)相關(guān)數(shù)據(jù)信號發(fā)起記錄過程。當(dāng)數(shù)據(jù)記錄系統(tǒng)有故障時,則需要將故障狀態(tài)發(fā)送給L3 級自動駕駛系統(tǒng)知曉,為了規(guī)避無數(shù)據(jù)記錄駕駛車輛的情況,系統(tǒng)此時將不能進(jìn)入自動駕駛激活狀態(tài)。
b.當(dāng)L3 級自動駕駛系統(tǒng)工作異常時,各記錄終端自動開始記錄,記錄內(nèi)容一般包括當(dāng)前時間節(jié)點前一定時間(一般設(shè)置為20 s)內(nèi)系統(tǒng)相關(guān)內(nèi)容狀態(tài),此時從觸發(fā)記錄開始計時,當(dāng)觸發(fā)時間大于一定值,如10 s 后系統(tǒng)仍不能恢復(fù)時,則退出此次記錄過程,并將數(shù)據(jù)上傳至后臺。
上述2種情況可能存在交叉,比如TJP或HWP系統(tǒng)正常工作時,系統(tǒng)檢測到記錄事件發(fā)出數(shù)據(jù)記錄請求,但是在發(fā)送請求到系統(tǒng)響應(yīng)期間,若數(shù)據(jù)記錄系統(tǒng)檢測到L3 系統(tǒng)異常,則數(shù)據(jù)記錄終端應(yīng)保持記錄前一個異常事件,同時待記錄完成后判斷當(dāng)前系統(tǒng)狀態(tài)是否恢復(fù)正常,若未恢復(fù),則從此時開始向前瞬移一定時間進(jìn)行系統(tǒng)狀態(tài)記錄,同時向后順延一定時間結(jié)束記錄過程。當(dāng)觸發(fā)多個事件記錄時,則需按照事件觸發(fā)的時間先后及緊急狀態(tài)自動進(jìn)行歸類存儲。
數(shù)據(jù)記錄過程完成后,需要根據(jù)系統(tǒng)的存儲空間進(jìn)行上傳存儲,具體過程包括本地存儲空間檢測與上傳確認(rèn):
a.本地存儲空間檢測。當(dāng)檢測到DVR、GW、AVM存儲空間將滿時,則發(fā)出相應(yīng)的提示信息。自動駕駛數(shù)據(jù)與T-BOX 建立通信,將相應(yīng)的記錄數(shù)據(jù)上傳至TBOX,當(dāng)T-BOX 也存儲滿時,則進(jìn)行實際狀態(tài)轉(zhuǎn)發(fā),并將相應(yīng)的數(shù)據(jù)通過TSP上傳到云端。
b.上傳確認(rèn)。DVR、網(wǎng)關(guān)、AVM上傳時需要支持?jǐn)帱c續(xù)傳,無論是由于電源斷電還是網(wǎng)絡(luò)卡頓、中斷等,需要保留數(shù)據(jù)斷點信息,以便在系統(tǒng)電力或網(wǎng)絡(luò)恢復(fù)后重新接續(xù)上傳。同時,本地數(shù)據(jù)上傳完成后,需要定時刪除以保持相對應(yīng)的容量。由于最終記錄的數(shù)據(jù)會上傳至云端,其存在一定的數(shù)據(jù)泄密風(fēng)險,因此需要對數(shù)據(jù)信息進(jìn)行安全保護(hù),可以采用多重加密算法進(jìn)行數(shù)據(jù)加密。記錄數(shù)據(jù)的讀取方式可通過發(fā)送診斷請求形式,通過診斷口或?qū)S媒涌谧x取所記錄的數(shù)據(jù)。
隨著智能網(wǎng)聯(lián)技術(shù)在汽車行業(yè)深入發(fā)展、傳感器數(shù)量與精度的不斷提高,不僅是先進(jìn)的自動駕駛數(shù)據(jù)采集方法所收集的數(shù)據(jù)容量在增加,先進(jìn)的自動駕駛數(shù)據(jù)存儲方法所需處理與存儲的數(shù)據(jù)也在增多。按照當(dāng)前行業(yè)內(nèi)較為先進(jìn)的汽車數(shù)據(jù)采集設(shè)備估算,一輛自動駕駛汽車每小時采集的數(shù)據(jù)量可達(dá)1 TB。假定按照每天采集里程500 km,每天采集時長16 h(白天和夜晚各8 h)進(jìn)行測算,那么,單輛汽車在一個200天的測試周期中,數(shù)據(jù)采集量將高達(dá)3.2 PB。這些海量數(shù)據(jù)中含有大量相似或重復(fù)數(shù)據(jù),特征性不足,甚至是含有噪聲的低質(zhì)量數(shù)據(jù),給自動駕駛系統(tǒng)測試與驗證過程帶來復(fù)雜的問題和巨大的工作量,為系統(tǒng)性能的優(yōu)化帶來了新的阻礙,形成了自動駕駛系統(tǒng)的“大數(shù)據(jù)災(zāi)難”[79-81]。
2018 年2 月,特斯拉在遞交給加州交通管理局(California Transportation Authority,CTA)的報告中稱,該公司在2017年并未在加州州際公路上開展完全自動駕駛路測,但其Autopilot系統(tǒng)卻在持續(xù)記錄車輛真實的駕駛數(shù)據(jù)。2019 年4 月,特斯拉正式提出“影子模式(Shadow-mode)”的概念,如圖10所示。
圖10 特斯拉影子模式
影子模式的含義是自動駕駛算法伴隨人的駕駛一同運行但不實際控制車輛[82],其目的是希望共享所有特斯拉車輛的駕駛數(shù)據(jù),從而代替原本只采集少量特定試驗車的測試方案,同時也能改善自動駕駛測試場景過于局限等問題。
影子模式的工作機理是:當(dāng)自動駕駛算法產(chǎn)生的預(yù)期動作指令與真實駕駛員的實際控制指令存在差異時觸發(fā)系統(tǒng)記錄功能開啟,系統(tǒng)會計算產(chǎn)生的預(yù)期動作指令的實際正確率,針對高錯誤率的預(yù)期動作指令所對應(yīng)的場景,系統(tǒng)會記錄下相應(yīng)數(shù)據(jù)用于后續(xù)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練。也就是說,自動駕駛算法一直在持續(xù)模擬決策并且將決策結(jié)果與駕駛員的行為進(jìn)行對比,如果駕駛員的實際駕駛行為與自動駕駛算法輸出指令不一致,則觸發(fā)系統(tǒng)的記錄功能。
特斯拉的影子模式將一系列傳感器所捕獲的數(shù)據(jù)傳回云端用于算法的進(jìn)一步開發(fā)。盡管對于自動駕駛系統(tǒng)算法的開發(fā)而言,這樣的方法頗為有益,但隨之而來的是用戶的隱私問題。雖然沒有證據(jù)表明特斯拉收集的數(shù)據(jù)超出了該公司服務(wù)條款的范圍,但公眾也并不清楚特斯拉收集了哪些信息以及如何利用這些信息[83]。無論如何,特斯拉影子駕駛系統(tǒng)所提出的一種人機共駕下自動駕駛系統(tǒng)實時運行但不控制車輛的數(shù)據(jù)記錄方法仍值得研究。
隨著自動駕駛系統(tǒng)技術(shù)的升級與車輛自動化程度的提高,如何處理精確傳感器產(chǎn)生的大量冗余、低質(zhì)量數(shù)據(jù)已成為限制先進(jìn)的自動駕駛數(shù)據(jù)采集與存儲技術(shù)發(fā)展的主要問題,成為實現(xiàn)自動駕駛系統(tǒng)在無限場景下的測試與驗證的關(guān)鍵。開發(fā)出一種能夠?qū)崟r記錄行車數(shù)據(jù),并同步篩選出少量高質(zhì)量數(shù)據(jù)存儲用于責(zé)任劃分與算法升級的數(shù)據(jù)采集與存儲系統(tǒng),已成為先進(jìn)自動駕駛數(shù)據(jù)采集與存儲系統(tǒng)的趨勢。