国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

車載眼動(dòng)追蹤技術(shù)應(yīng)用集成系統(tǒng)開(kāi)發(fā)

2019-02-25 07:26賈文偉張成陽(yáng)殷玉恩
汽車科技 2019年1期

賈文偉 張成陽(yáng) 殷玉恩

摘 要:眼動(dòng)追蹤技術(shù)[1][6]是當(dāng)代心理學(xué)研究的重要技術(shù),廣泛運(yùn)用于實(shí)驗(yàn)心理學(xué)、應(yīng)用心理學(xué)、工程心理學(xué)、認(rèn)知神經(jīng)科學(xué)等領(lǐng)域。當(dāng)人的眼睛看向不同方向時(shí),眼部會(huì)有細(xì)微的變化,這些變化會(huì)產(chǎn)生可以提取的特征,計(jì)算機(jī)可以通過(guò)圖像捕捉或掃描提取這些特征,從而實(shí)時(shí)追蹤眼睛的變化,預(yù)測(cè)人的狀態(tài)和需求,并進(jìn)行響應(yīng),達(dá)到用眼睛控制設(shè)備的目的。本研究結(jié)合眼動(dòng)追蹤識(shí)別技術(shù),研究在車載方面的應(yīng)用,實(shí)現(xiàn)了追蹤駕駛員眼球動(dòng)作控制智能后視鏡的開(kāi)啟和關(guān)閉的功能。

關(guān)鍵詞:眼動(dòng)追蹤; 頭部姿態(tài)識(shí)別; CAN總線通訊; 紅外攝像頭

中圖分類號(hào):TP391.4 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1005-2550(2019)01-0046-07

Abstract: The lower swing arm, the upper swing arm, the toe tie rod, the longitudinal arm and the sub-frame in the E-type multi-link rear suspension are flexed by the finite element software Hypermesh.They are imported into ADMAS/Car software for multi-body dynamics modeling and simulation analysis. The simulation results are compared with the experimental results. The analysis shows that the combination of different rigid-flexible components has a great influence on the change of toe angle.

Key Words: Eye-Tracking; Head Pose Recognition; CAN Bus Communication; Infrared Camera

1 前言

眼動(dòng)追蹤技術(shù)是當(dāng)代心理學(xué)研究的重要技術(shù),廣泛運(yùn)用于實(shí)驗(yàn)心理學(xué)、應(yīng)用心理學(xué)、工程心理學(xué)、認(rèn)知神經(jīng)科學(xué)等領(lǐng)域。當(dāng)人的眼睛看向不同方向時(shí),眼部會(huì)有細(xì)微的變化,這些變化會(huì)產(chǎn)生可以提取的特征,計(jì)算機(jī)可以通過(guò)圖像捕捉或掃描提取這些特征[2],從而實(shí)時(shí)追蹤眼睛的變化,預(yù)測(cè)人的狀態(tài)和需求,并進(jìn)行響應(yīng),達(dá)到用眼睛控制設(shè)備的目的。本系統(tǒng)采用眼動(dòng)追蹤技術(shù)追蹤駕駛員眼球的變化,實(shí)時(shí)監(jiān)測(cè)駕駛員的注視方向。通過(guò)監(jiān)聽(tīng)分析汽車CAN總線數(shù)據(jù)得到汽車的運(yùn)行狀態(tài)(車速、檔位),實(shí)現(xiàn)了眼動(dòng)追蹤技術(shù)控制汽車后視影像系統(tǒng),擴(kuò)大了駕駛員駕駛汽車時(shí)的視野,提高了駕駛的安全性。

本系統(tǒng)旨在研究掌握眼動(dòng)追蹤技術(shù)在汽車上集成的技術(shù)應(yīng)用規(guī)范和建立通用眼動(dòng)算法測(cè)試驗(yàn)證平臺(tái)。本文將從眼動(dòng)追蹤系統(tǒng)集成層面,從系統(tǒng)設(shè)計(jì)、硬件設(shè)計(jì)、結(jié)構(gòu)設(shè)計(jì)、問(wèn)題分析等方面進(jìn)行闡述。

2 系統(tǒng)架構(gòu)

本系統(tǒng)采用北汽紳寶C80為改裝平臺(tái),完整準(zhǔn)確的車型設(shè)計(jì)數(shù)據(jù)保證了系統(tǒng)總體設(shè)計(jì)方案的可行性,包括總線接口設(shè)計(jì)、攝像頭模組結(jié)構(gòu)設(shè)計(jì)、系統(tǒng)布置方案設(shè)計(jì)等。紅外攝像頭模組采用主動(dòng)紅外補(bǔ)光,保證眼動(dòng)識(shí)別系統(tǒng)白天和黑天都能正常工作,使得系統(tǒng)應(yīng)用場(chǎng)景更廣,實(shí)用性更強(qiáng);攝像頭模組和工控主機(jī)的結(jié)構(gòu)設(shè)計(jì)綜合考慮了安裝位置和安裝方法,滿足眼動(dòng)追蹤系統(tǒng)對(duì)攝像頭模組位置的要求,方便系統(tǒng)安裝調(diào)試,保證系統(tǒng)工作的可靠性;眼動(dòng)追蹤系統(tǒng)通過(guò)紅外攝像頭[3][7]實(shí)時(shí)傳輸駕駛員的眼部特征圖像給算法處理主機(jī),眼動(dòng)追蹤算法識(shí)別駕駛員的“眼神”。算法識(shí)別到駕駛員意圖通過(guò)車內(nèi)后視鏡觀測(cè)車后情況時(shí),算法處理主機(jī)發(fā)送指令給系統(tǒng)控制板,系統(tǒng)控制板結(jié)合車輛運(yùn)行狀態(tài)自動(dòng)控制車內(nèi)智能后視鏡打開(kāi)。本系統(tǒng)硬件模組包括攝像頭及照明模塊、接口控制板、算法工控主板和后視影像系統(tǒng),軟件模塊包括眼動(dòng)追蹤算法軟件、工控主機(jī)邏輯控制軟件、接口控制板總線接口軟件。系統(tǒng)整體架構(gòu)如圖1:

3 系統(tǒng)設(shè)計(jì)

3.1 攝像頭及補(bǔ)光模組設(shè)計(jì)

攝像頭模組安裝在試驗(yàn)車紳寶C80中控臺(tái)臺(tái)面上,攝像頭及補(bǔ)光模組的結(jié)構(gòu)設(shè)計(jì)考慮了攝像頭角度、補(bǔ)光燈照射角度、以及方便安裝等因素,外觀見(jiàn)圖2。

攝像頭及補(bǔ)光模組內(nèi)部主要包括攝像頭模組及紅外補(bǔ)光、LED指示燈板、USB視頻傳輸主板和對(duì)外接口板。詳見(jiàn)圖3、圖4:

攝像頭模組的關(guān)鍵器件是圖像傳感器,本系統(tǒng)攝像頭模組的圖像傳感器旋轉(zhuǎn)安森美AR0135AT, 該器件的主要技術(shù)參數(shù)如表1:

攝像頭模組選用上海科世達(dá)設(shè)計(jì)的車載攝像頭,其設(shè)計(jì)框圖如圖5,實(shí)物如圖6。

攝像頭圖像數(shù)據(jù)傳輸選擇Cypress Usb3.0傳輸芯片方案。紅外LED選擇三顆OSRAM的850nm波長(zhǎng)的紅外LED。LED驅(qū)動(dòng)芯片選擇TI的LM3409驅(qū)動(dòng)芯片。該

驅(qū)動(dòng)芯片既可以通過(guò)PWM調(diào)制LED的發(fā)射強(qiáng)度,也可以通過(guò)模擬電位計(jì)手動(dòng)調(diào)節(jié)紅外LED的發(fā)射亮度。本系統(tǒng)采用PWM方式調(diào)節(jié)LED的發(fā)射強(qiáng)度。驅(qū)動(dòng)芯片的典型電路如圖7:

3.2 工控主機(jī)方案

工控主機(jī)運(yùn)行眼動(dòng)追蹤算法軟件及邏輯控制軟件,采用了英特爾NUC迷你電腦,型號(hào)NUC5I7RYH(如圖 8)。主要參數(shù):Intel Core i7處理器,8GB DDR3內(nèi)存,2 x USB3.0接口。該主機(jī)能夠滿足本系統(tǒng)的對(duì)處理速度及接口的要求。

工控主機(jī)、總線接口控制板和電源模塊集成在同一個(gè)控制盒內(nèi)[8],設(shè)計(jì)的控制盒的結(jié)構(gòu)方便安裝布置,內(nèi)部結(jié)構(gòu)方便主機(jī),控制板和電源的固定,控制盒與外部的接口設(shè)計(jì)也方便插拔。電源模塊負(fù)責(zé)把車載12V電源轉(zhuǎn)換為19V電源給工控主機(jī)供電。控制盒的外觀如圖9,內(nèi)部結(jié)構(gòu)如圖10:

3.3 控制板方案

控制板的功能是連接汽車CAN總線,監(jiān)聽(tīng)汽車總線數(shù)據(jù)通過(guò)運(yùn)算得到汽車運(yùn)行狀態(tài)數(shù)據(jù),通過(guò)串口把數(shù)據(jù)傳輸給工控主機(jī),同時(shí)它還接收工控主機(jī)的命令,控制車內(nèi)智能后視鏡的打開(kāi)和關(guān)閉。除了數(shù)據(jù)命令的上傳下達(dá),它還輸出PWM信號(hào)控制補(bǔ)光模塊的開(kāi)關(guān)以及補(bǔ)光強(qiáng)度的調(diào)節(jié)。其功能框圖如圖11:

主控板的電源選用英飛凌的TLE4275D汽車級(jí)IC。CAN收發(fā)器選擇符合車規(guī)要求的NXP 芯片TJA1055(電路如圖12)。主控MCU選擇瑞薩車規(guī)級(jí)RL78/F1x系列芯片,其內(nèi)部功能及外設(shè)接口如圖13:

LED1和LED2是主控MCU的兩個(gè)通用輸入、輸出端口,可以分別控制兩個(gè)LED指示燈的亮、滅。LED1為綠色指示燈,LED2是紅色的指示燈,若系統(tǒng)上電正常工作,則紅色的指示燈LED2被點(diǎn)亮,綠色的指示燈LED1處于熄滅狀態(tài);當(dāng)系統(tǒng)檢測(cè)到駕駛員注視內(nèi)后視鏡區(qū)域一定時(shí)長(zhǎng)后,會(huì)觸發(fā)點(diǎn)亮綠色的指示燈LED1。

控制板的串口用來(lái)與工控主機(jī)通訊,雙方通過(guò)RS232串口線連接??刂瓢宓拇陔娖睫D(zhuǎn)換芯片選擇美信半導(dǎo)體的MAX232系列芯片,具體電路如下圖14:

3.4 后視影像系統(tǒng)

本系統(tǒng)后視影像系統(tǒng)選擇凌度智能后視鏡(圖15),其安裝布置示意圖如圖16。通過(guò)控制后視影音系統(tǒng)的后視攝像頭的LED電源電路,實(shí)現(xiàn)對(duì)其內(nèi)置顯示屏的后視影像功能的開(kāi)關(guān)控制。通常情況下,后視攝像頭的LED電源線是接到倒車燈的兩端,當(dāng)駕駛員掛上倒車檔位時(shí),倒車燈電源接通,同時(shí)后視倒車攝像頭的LED被點(diǎn)亮。同時(shí)后視鏡主機(jī)獲取到該信號(hào),觸發(fā)倒車輔助功能,顯示屏顯示后視攝像頭的影像。本系統(tǒng)利用控制板的輸出信號(hào)觸發(fā)該功能,控制原理如圖17:

3.5 眼動(dòng)追蹤算法

本系統(tǒng)采用供應(yīng)商提供的眼動(dòng)追蹤算法,包括人臉關(guān)鍵點(diǎn)對(duì)齊[4]、頭部姿態(tài)的估計(jì)、眼睛定位算法、視線方向分類算法等算法模塊。本項(xiàng)目開(kāi)發(fā)環(huán)境為VS2015,輔助開(kāi)源庫(kù)有opencv3.1,供應(yīng)商提供的眼動(dòng)算法庫(kù)libEyeGaze.dll,使用方法參考相關(guān)眼動(dòng)追蹤算法說(shuō)明及調(diào)用示例。

本項(xiàng)目供應(yīng)商提供的視線追蹤[5]算法需要前期進(jìn)行訓(xùn)練,供應(yīng)商提供算法訓(xùn)練軟件及方法。訓(xùn)練階段結(jié)束后會(huì)得到訓(xùn)練數(shù)據(jù)庫(kù)(train.xml),把該數(shù)據(jù)庫(kù)加載到眼動(dòng)追蹤算法軟件中,算法軟件就可以追蹤訓(xùn)練時(shí)眼睛注視的方向。測(cè)試人員訓(xùn)練數(shù)據(jù)庫(kù)時(shí),需坐在駕駛座上采集各個(gè)角度注視車內(nèi)后視鏡的數(shù)據(jù),算法訓(xùn)練軟件提取特征值得到該使用場(chǎng)景的訓(xùn)練數(shù)據(jù)庫(kù)。

4 系統(tǒng)測(cè)試

4.1 系統(tǒng)部署

本系統(tǒng)電源和CAN總線信號(hào)通過(guò)汽車OBD診斷接口獲得。系統(tǒng)結(jié)構(gòu)件部署安裝主要有三個(gè):后視影像系統(tǒng),眼動(dòng)攝像頭,主機(jī)控制器;安裝位置如圖 18,眼動(dòng)攝像頭②布置在中控臺(tái)面上,攝像頭和補(bǔ)光燈方向朝向駕駛員;后視影像系統(tǒng)①安裝在車內(nèi)后視鏡上;主機(jī)控制盒③部署在副駕駛雜貨箱內(nèi)。各個(gè)部件的連接線采用防火高溫膠布包裹,插接件選用車規(guī)級(jí)帶鎖扣的插接件,保證連接的可靠性。系統(tǒng)部件線束連接示意圖見(jiàn)圖19:

4.2 測(cè)試用例設(shè)計(jì)

測(cè)試用例分為幾類:正常功能測(cè)試,防誤動(dòng)作測(cè)試,頭部距離測(cè)試以及車輛狀態(tài)測(cè)試。系統(tǒng)部分功能測(cè)試用例如下表2(附后)。

5 結(jié)論

本文所述的眼動(dòng)追蹤技術(shù)應(yīng)用集成系統(tǒng)平臺(tái),能夠測(cè)試標(biāo)定眼動(dòng)追蹤識(shí)別技術(shù)的功能及性能。工控平臺(tái)方案完全滿足眼動(dòng)追蹤算法軟件對(duì)運(yùn)算速度的要求,紅外攝像頭的性能參數(shù)也完全滿足眼動(dòng)追蹤算法對(duì)圖像分辨率和幀率的要求,本系統(tǒng)為測(cè)試不同供應(yīng)商的眼動(dòng)追蹤算法提供了公共平臺(tái),通過(guò)本系統(tǒng)的開(kāi)發(fā)提高了后續(xù)眼動(dòng)追蹤算法的測(cè)試驗(yàn)證效率,推動(dòng)了眼動(dòng)追蹤技術(shù)的車載應(yīng)用進(jìn)程,為進(jìn)一步提高汽車的智能化水平,讓汽車更懂駕駛員提供了一種技術(shù)可能性。本系統(tǒng)所實(shí)現(xiàn)的眼動(dòng)追蹤技術(shù)車載功能,增強(qiáng)了車內(nèi)后視鏡的用途,車內(nèi)后視鏡除了觀察后排座椅情況外,還有就是觀察車輛后面的情況,但通過(guò)后車窗玻璃觀察車后情況視線有些受阻,本系統(tǒng)改善了這種情況。

參考文獻(xiàn):

[1]陳慶榮,周曦,韓靜,等.眼球追蹤:模式、技術(shù)和應(yīng)用[J].實(shí)驗(yàn)室研究與探索,2012,31(10):10-15.

[2]劉瑞安.單攝像機(jī)視線跟蹤技術(shù)研究[D].天津大學(xué),2007.

[3]周鋒宜.基于視頻圖像處理的視線追蹤技術(shù)研究[D].北京理工大學(xué),2015.

[4]徐國(guó)慶.在線模板的人臉特征點(diǎn)對(duì)齊[J].計(jì)算機(jī)工程與設(shè)計(jì),2013,34(11):4021-4026.

[5]遲健男,王志良,張闖.視線追蹤[M].機(jī)械工業(yè)出版社,2011.

[6]佚名.汽車加入眼球追蹤技術(shù) 注意力不集中就熄火[J].農(nóng)業(yè)裝備與車輛工程,2016(10):68-68.

[7]宮德麟.基于單目視覺(jué)的視線跟蹤技術(shù)研究[D]. 北京理工大學(xué),2016.

[8]劉亮.基于因特爾感知計(jì)算技術(shù)的眼球追蹤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].東南大學(xué),2015.