孫德生
(深圳智者行天下科技有限公司,廣東 深圳 518133)
車輛的不斷增多造成了交通擁堵以及停車位的不足,汽車在倒車時(shí)極易引發(fā)碰撞,同時(shí)倒車的失誤會(huì)引發(fā)甚多交通事故的發(fā)生[1]。行車安全的受重視程度越來越高,倒車影像顯示功能在整個(gè)汽車電子市場中已經(jīng)占有了十分重要的比重,人們也越來越需求于便于行車安全的產(chǎn)品[2]。從2018年5月開始,在美國銷售的所有新車必須配備后視攝像系統(tǒng)[3]。倒車影像功能是在倒車時(shí)將倒車攝像頭圖形顯示到車載終端上,如中控主機(jī)、后視鏡,司機(jī)倒車時(shí)通過顯示屏幕觀察后方動(dòng)態(tài)。倒車時(shí)不僅僅要觀察車輛后方,司機(jī)還可能需要觀察左側(cè)、右側(cè)或前方的狀況,因此司機(jī)的視線可能會(huì)離開屏幕,在司機(jī)視野離開后方的時(shí)候,如果有行人、小孩、電動(dòng)車或其他車輛進(jìn)入車輛后方,司機(jī)觀察不及時(shí)容易發(fā)生交通事故。雖然車輛可能配備了倒車?yán)走_(dá),但輻射面有限,角度上還有死角,對這種快速橫穿進(jìn)來的物體也不能做到很好地及時(shí)提醒預(yù)警,因此目前的倒車影像功能對這種突發(fā)事件應(yīng)對還是存在不足,這個(gè)功能的作用和體驗(yàn)都需要得到進(jìn)一步的提高。在一些高端車配置的毫米波雷達(dá),可以快速識別出障礙物但無圖像顯示,但不清楚具體是什么障礙物,需司機(jī)下車確認(rèn),若遇雨天則體驗(yàn)感更加不好,測量效率和系統(tǒng)成本優(yōu)勢遠(yuǎn)高于攝像頭[4],基于視覺的ADAS系統(tǒng)市場應(yīng)用前景廣闊[5]。ADAS的市場空間也將隨著智能網(wǎng)聯(lián)汽車的發(fā)展保持持續(xù)性的增長[6]。
本文提出基于高級駕駛輔助系統(tǒng)(Advanced Driver Assistant System,ADAS)的汽車倒車防碰撞系統(tǒng),通過實(shí)時(shí)識別倒車時(shí)后視攝像頭圖像來監(jiān)控車輛后方可能突然出現(xiàn)的行人、小孩、電單車、其他汽車等,快速給出聲音與圖文的顯示提醒司機(jī),提高駕駛安全性,系統(tǒng)成本較低,便于普及應(yīng)用。
本文提出倒車防碰撞系統(tǒng)是運(yùn)行在智能后視鏡上,同樣適用于中控主機(jī),在倒車影像系統(tǒng)的基礎(chǔ)上,增加基于倒車攝像頭圖像分析的ADAS識別功能,在系統(tǒng)倒車的時(shí)候自動(dòng)運(yùn)行該ADAS功能,并且通過屏幕顯示和聲音輸出來預(yù)警提醒司機(jī)采取合適的操作,起到輔助司機(jī)安全倒車的作用。
在智能后視鏡系統(tǒng)中倒車影像顯示處理的硬件原理框圖如圖1所示。
圖1 系統(tǒng)倒車硬件原理框圖
高清倒車攝像頭Sensor捕捉車輛后面的圖像通過串行器轉(zhuǎn)化為AHD模擬高清信號,通過AHD傳輸線束接入到智能后視鏡,先通過解串器將模擬信號解碼轉(zhuǎn)換成 MIPI信號,再接入 SOC的 CSI模塊,CSI控制器將收到的攝像頭數(shù)字信號數(shù)據(jù)交給主控芯片的軟件系統(tǒng)再做其他的圖像處理,如顏色空間轉(zhuǎn)換、圖像翻轉(zhuǎn)、裁剪等,將處理好的視頻圖像信號通過MIPI信號輸出到顯示屏幕上。倒車信號的檢測是基于GPIO電平觸發(fā),倒車檢測線接到車輛的剎車信號線或者剎車燈上,有倒車系統(tǒng)將立即收到中斷信號再做倒車處理。倒車信號也可來自于汽車的CAN協(xié)議。
ADAS的發(fā)展將減少駕駛風(fēng)險(xiǎn),汽車出險(xiǎn)率將相應(yīng)下降[7],有很好的社會(huì)意義。本系統(tǒng)的ADAS算法基于AdaBoost迭代算法建造算法模型、訓(xùn)練分類器。倒車時(shí)車尾的車輛、行人等往往不能捕捉到全部特征,例如車只能看到側(cè)方、行人是半身或者就是高個(gè)子的大長腿,因此需要增加提取局部特征,如根據(jù)人體固有的特點(diǎn)將圖像劃分成頭、上身、下身幾個(gè)部分,構(gòu)建人體部位特征鄰接圖,對不同部位特征之間的關(guān)系進(jìn)行建模[8];車輛的局部特征有車輪、側(cè)方車前臉、局部車尾等,單一特征具有建模簡單、計(jì)算速度快的優(yōu)點(diǎn),但檢測正確率不穩(wěn)定[9]。針對倒車場景應(yīng)用的這些特點(diǎn),加強(qiáng)融合特征建模訓(xùn)練成豐富的分類器,可提升算法的識別準(zhǔn)確率。
ADAS算法引擎工作流程如圖2所示。
從倒車攝像頭中獲取到每一幀圖像的YUV數(shù)據(jù),然后確定圖像的 ROI區(qū)域(也就是感興趣區(qū)域),將訓(xùn)練好的分類器對ROI進(jìn)行復(fù)核,實(shí)現(xiàn)對目標(biāo)物體的檢測[10]。把圖像特征提取出來,在圖像每個(gè)區(qū)域遍歷,然后提取每個(gè)區(qū)域的特征,將這些特征輸入訓(xùn)練好的分類器中進(jìn)行分類,引擎通過比對能夠識別出進(jìn)入車輛后方圖像上的行人、小孩、電動(dòng)車、其他車輛等,通過比對識別,篩選定位標(biāo)識出物體類型,以及物體在圖像上的坐標(biāo)。遍歷篩選多個(gè)大小的目標(biāo)小區(qū)域,如24×24、36×36、48×48。多做幾種遍歷,識別出來的效果更好,但是消耗的CPU也會(huì)更多一點(diǎn)。本ADAS系統(tǒng)運(yùn)行在倒車時(shí),系統(tǒng)占CPU高的任務(wù)可以暫時(shí)讓出CPU,如語音識別,經(jīng)過完整的ADAS識別后把這些信息通過回調(diào)傳遞給應(yīng)用來處理[11]。
圖2 ADAS引擎工作流程
倒車防碰撞系統(tǒng)在倒車時(shí)運(yùn)行基于倒車攝像頭圖像ADAS識別算法,把算法識別結(jié)果通過系統(tǒng)的聲音和圖文提醒司機(jī),構(gòu)成了倒車防碰撞系統(tǒng)。
通過CPU數(shù)據(jù)處理模塊的硬件抽象層獲取倒車攝像頭圖像每一幀的原始數(shù)據(jù)送給ADAS算法預(yù)警診斷模塊,通過預(yù)警診斷模塊識別出行人、車輛、障礙物等物體的類型、坐標(biāo)等信息,再把識別出來的信息傳遞到APP應(yīng)用,APP應(yīng)用根據(jù)信息來制定預(yù)警提示的邏輯處理,根據(jù)預(yù)警級別交給處理人機(jī)交互語音模塊處理語音提醒功能[11]。防碰撞系統(tǒng)處理框架設(shè)計(jì)如圖3所示。
圖3 防碰撞系統(tǒng)處理框架
倒車防碰撞系統(tǒng)的運(yùn)行效果需要結(jié)合產(chǎn)品的實(shí)際安裝環(huán)境和運(yùn)行環(huán)境,才能有更精準(zhǔn)的效果、更友善的用戶體驗(yàn)。
在汽車后裝市場車型眾多,有小轎車、SUV、小貨車、大貨車等各種車型,因此倒車攝像頭安裝的位置就可能千差萬別。例如,有些車(如SUV)高一點(diǎn),攝像頭離地的高度就高一點(diǎn);有些車矮一些,攝像頭離地的高度就矮一點(diǎn)。攝像頭離地的高度也會(huì)影響后拉攝像頭成像的范圍與距離感的差異。即使是同一款車,也存在后拉攝像頭安裝位置的差異(在車輛中間位置、偏左、偏右),以及攝像頭安裝后的朝向角度一點(diǎn)點(diǎn)的差異都會(huì)導(dǎo)致成像的范圍和距離感有差異,要獲取識別物體的準(zhǔn)確距離是非常困難的。
針對這些復(fù)雜的場景結(jié)合倒車低速的特點(diǎn),制定了根據(jù)成像范圍來報(bào)警預(yù)警的方法。系統(tǒng)將倒車圖形分成兩部分:預(yù)警監(jiān)測區(qū)和預(yù)警報(bào)警區(qū),系統(tǒng)會(huì)默認(rèn)倒車圖像垂直方向的中間水平線為分界線,在預(yù)警監(jiān)測器只做目標(biāo)物體的跟蹤識別,目標(biāo)物體進(jìn)入預(yù)警報(bào)警區(qū)將引發(fā)系統(tǒng)的聲音和圖文的預(yù)警提醒信息。用戶可以調(diào)整這個(gè)分界線的位置來適配自己車的情況,也可以根據(jù)自己的駕駛水平來擴(kuò)大或縮小預(yù)警報(bào)警范圍。倒車ADAS預(yù)警區(qū)域劃分如圖4所示。
圖4 ADAS預(yù)警區(qū)域調(diào)整示意圖
根據(jù)ADAS算法給出的目標(biāo)物體的成像坐標(biāo)在預(yù)警報(bào)警區(qū)域內(nèi),則發(fā)出特別提示音,有確定類型的還可以增加TTS語音播報(bào)(如小心行人),及時(shí)提醒司機(jī)注意后方安全,同時(shí)還在顯示屏的右側(cè)畫出似雷達(dá)波的警示圖標(biāo)標(biāo)識危險(xiǎn)物體是在車尾的左后方、正后方、右后方,還是3個(gè)方向都有,便于司機(jī)注意查看狀況。
倒車防碰撞系統(tǒng)運(yùn)行效果與運(yùn)行的環(huán)境有直接關(guān)系,如天晴下雨、白天夜晚、逆光順光、雨霧等都對攝像頭圖像效果有直接的影響。本系統(tǒng)采用的攝像頭是基于SONY IMX307,針對各種環(huán)境場景均作了最佳配置的場測,因此圖像畫面的質(zhì)量是有保障的。實(shí)際測試的效果圖如圖 5~圖 7所示。
在非常惡劣的自然條件下,如狂風(fēng)暴雨情況下造成圖像模糊,使得基于攝像頭圖像分析的ADAS算法還是存在技術(shù)上的缺陷,融合激光雷達(dá)或毫米波雷達(dá)等障礙物測距技術(shù)將使得駕駛輔助作用更大。
圖5 停車場車輛識別效果
圖6 車輛及半身行人識別實(shí)際效果
圖7 全身行人和右側(cè)車輪識別效果
本文詳細(xì)分析了當(dāng)前倒車影像系統(tǒng)的不足和雷達(dá)的技術(shù)缺陷,以及高成本的毫米波雷達(dá)難以普及應(yīng)用的現(xiàn)狀,介紹了基于ADAS的汽車倒車防碰撞系統(tǒng)設(shè)計(jì)。針對系統(tǒng)倒車功能做了深入的原理分析,對基于后視攝像頭圖像分析的ADAS算法介紹了其技術(shù)關(guān)鍵點(diǎn)和基于倒車場景融合特征的創(chuàng)新應(yīng)用。算法識別效果精準(zhǔn)有效,針對車輛攝像頭安裝位置朝向角度的差異預(yù)留了靈活的預(yù)警和報(bào)警區(qū)域的調(diào)節(jié),極大地改善了該倒車防碰撞系統(tǒng)的用戶體驗(yàn)和實(shí)際作用。隨著消費(fèi)者對汽車智能化和安全性需求的逐步提升,ADAS技術(shù)正逐漸衍生出完善的主動(dòng)式安全防預(yù)解決方案[12]。