面向駕駛意圖識別的駕駛員頭、面部視覺特征提?。?/h1>
2019-03-04 03:26張立軍唐鑫孟德建
汽車技術(shù) 2019年2期
張立軍 唐鑫 孟德建
（同濟(jì)大學(xué)，上海 201804）
主題詞：駕駛意圖 機(jī)器視覺 特征提取 關(guān)聯(lián)性
1 前言
在“人-車-路”系統(tǒng)中，駕駛員是重要的參與者，其駕駛意圖和表現(xiàn)出的駕駛行為對整個(gè)系統(tǒng)的安全性具有至關(guān)重要的影響。統(tǒng)計(jì)表明，接近90%的道路交通安全事故都是由駕駛員直接或間接導(dǎo)致的[1]。戴姆勒公司認(rèn)為，提前0.5 s對駕駛員的危險(xiǎn)行為進(jìn)行示警可消除60%的追尾事故，提前1 s示警可消除90%的追尾事故[2]。因此，駕駛意圖的識別可用于碰撞預(yù)警，有效改善道路安全性。
駕駛行為是駕駛意圖的外在表現(xiàn)，汽車安全領(lǐng)域越來越多的學(xué)者希望通過識別駕駛員的駕駛意圖對其駕駛行為進(jìn)行早期預(yù)測。在駕駛意圖產(chǎn)生階段，其主要表征是頭部和眼部運(yùn)動狀態(tài)的變化。為了進(jìn)行駕駛意圖的識別，需要提取眼部和頭部的運(yùn)動狀態(tài)和特征。目前，基于駕駛員頭、面部視覺特征的駕駛意圖識別主要基于視覺特征，包括后視鏡注視時(shí)間、掃視持續(xù)時(shí)間、頭部水平和垂直轉(zhuǎn)角標(biāo)準(zhǔn)差等，所采用的方法主要是利用秩檢驗(yàn)等統(tǒng)計(jì)學(xué)檢驗(yàn)方法分析不同駕駛意圖下的視覺特征是否存在差異性，若差異性滿足閾值即認(rèn)為特征與意圖有較強(qiáng)的關(guān)聯(lián)關(guān)系，可以用于識別駕駛意圖[3-4]。但是，當(dāng)前研究對機(jī)器視覺特征的提取主要基于眼動儀，成本高，難以商業(yè)化。用于駕駛意圖識別的特征選擇主要依賴于主觀判斷，缺乏科學(xué)系統(tǒng)的依據(jù)。
在此背景下，本文進(jìn)行了自然駕駛整車道路試驗(yàn)，開發(fā)了基于機(jī)器視覺的視線方向及頭部姿態(tài)估計(jì)算法，并利用眼動儀驗(yàn)證了其有效性，構(gòu)建了包含駕駛員頭、面部視覺和運(yùn)動特征以及駕駛員行為/意圖的數(shù)據(jù)集，并使用T檢驗(yàn)方法分析了頭、面部機(jī)器視覺特征與駕駛意圖的關(guān)聯(lián)性，可為駕駛意圖識別的特征選擇提供科學(xué)依據(jù)。
2 自然駕駛整車道路試驗(yàn)
2.1 試驗(yàn)設(shè)計(jì)
2.1.1 試驗(yàn)平臺搭建
基于試驗(yàn)車輛、Smart Eye眼動儀、測力轉(zhuǎn)向盤、場景攝像頭等搭建的自然駕駛整車道路試驗(yàn)平臺及各儀器的連接關(guān)系如圖1所示，試驗(yàn)儀器的規(guī)格如表1所示。其中，Smart Eye眼動儀主要由3個(gè)視線追蹤攝像頭、采集卡和主機(jī)組成。攝像頭1與攝像頭3固連有近紅外光源，以提供穩(wěn)定照明，同時(shí)，紅外光源在眼睛中反射的耀點(diǎn)可以作為定位的參考點(diǎn)。采集卡用于攝像頭及紅外光源的供電和同步開閉。主機(jī)用于眼動儀采樣頻率、坐標(biāo)定義等參數(shù)設(shè)置，及導(dǎo)出攝像頭采集的視頻。
圖1 試驗(yàn)平臺
表1 道路試驗(yàn)設(shè)備
該平臺有3個(gè)功能：
a.利用眼動儀攝像頭采集駕駛員駕駛過程視頻圖像，利用開發(fā)的視覺算法計(jì)算駕駛員眼部及頭部的運(yùn)動狀態(tài)數(shù)據(jù)；同時(shí)，眼動儀內(nèi)置算法也可直接導(dǎo)出駕駛員眼部、頭部運(yùn)動狀態(tài)，作為真值驗(yàn)證視覺算法。
b.場景攝像頭采集駕駛過程中車外環(huán)境信息,判斷工況類別（左、右轉(zhuǎn)彎/直行）。
c.利用轉(zhuǎn)向盤力角測量儀采集試驗(yàn)過程中車輛的轉(zhuǎn)向盤轉(zhuǎn)角信號，作為判斷駕駛意圖產(chǎn)生的起始和終止時(shí)間的依據(jù)。
如圖2所示，在左、右后視鏡及前風(fēng)窗玻璃的邊緣布置標(biāo)定點(diǎn)，用于后續(xù)標(biāo)定確定各區(qū)域邊界。
圖2 標(biāo)定點(diǎn)
2.1.2 試驗(yàn)路段及試驗(yàn)人員
分別在上海市嘉定區(qū)的開放道路和半封閉道路進(jìn)行了試驗(yàn)。社會開放道路全程約38 km，包含城市道路、高速路、高架路等路段；半封閉道路為校園道路。本次試驗(yàn)共招募7位駕駛員，年齡22～43歲不等，駕齡均在3年以上，無散光。試驗(yàn)前24 h內(nèi)保持充足睡眠，避免用眼過度，以保持較好的駕駛狀態(tài)。
2.2 駕駛意圖數(shù)據(jù)集獲取
對于采集到的整段數(shù)據(jù)，通過觀察場景視頻推斷出車輛及駕駛員行為，粗選出左換道、右換道與直行樣本片段。在粗選時(shí)，保留換道前轉(zhuǎn)向盤轉(zhuǎn)角變化較小的一段數(shù)據(jù)。按照各粗選樣本的轉(zhuǎn)向盤轉(zhuǎn)角信號對其進(jìn)行精選。如圖3所示，計(jì)算平直段的轉(zhuǎn)向盤轉(zhuǎn)角均值與標(biāo)準(zhǔn)差σ，根據(jù)拉依達(dá)準(zhǔn)則，滿足|θt-|＞3σ的測定轉(zhuǎn)角θt對應(yīng)的起始時(shí)刻t即為換道行為的起點(diǎn)時(shí)刻，也是換道意圖的終點(diǎn)時(shí)刻。以2 s為意圖時(shí)窗大小，即認(rèn)為轉(zhuǎn)向盤開始大范圍轉(zhuǎn)動時(shí)刻為駕駛意圖終點(diǎn)，該時(shí)刻前2 s為產(chǎn)生駕駛意圖的起點(diǎn)[4-6]。對于直行片段來說，駕駛員沒有明顯的行為特征，且直行行為一般會持續(xù)一段時(shí)間，因此可根據(jù)場景攝像頭中的車輛行為及轉(zhuǎn)向盤轉(zhuǎn)角信號，按照與左、右換道相同的時(shí)窗選取一段直行數(shù)據(jù)。
按照上述原則截取意圖階段樣本數(shù)據(jù)，最終獲得470組樣本，其中左換道117組，右換道179組，直行174組。
3 視線方向及頭部姿態(tài)估計(jì)算法開發(fā)
駕駛意圖產(chǎn)生階段的主要表征是頭部和眼部運(yùn)動狀態(tài)的變化。為了進(jìn)行駕駛意圖識別，需要提取眼部和頭部的運(yùn)動狀態(tài)?；跈C(jī)器視覺的運(yùn)動狀態(tài)估計(jì)方法設(shè)備簡單、成本低、精度高且對駕駛員的干擾小，因此最適合用于研究駕駛員的行為。開發(fā)的視覺算法技術(shù)路線如圖4所示。
圖3 轉(zhuǎn)向盤轉(zhuǎn)角信號
圖4 視線方向及頭部姿態(tài)估計(jì)算法技術(shù)路線
3.1 人臉特征點(diǎn)定位
利用主動形狀模型（Active Shape Model，ASM）算法[7]進(jìn)行人臉特征點(diǎn)定位。ASM算法包括模型訓(xùn)練和搜索兩個(gè)階段。在模型訓(xùn)練階段，首先建立由若干個(gè)面部特征點(diǎn)坐標(biāo)組成的形狀向量作為面部的整體形狀模型，然后建立形狀向量中每個(gè)特征點(diǎn)的局部特征，用于調(diào)整整體形狀模型的位置，使模型更加貼合面部。訓(xùn)練完成后得到總體形狀模型和各點(diǎn)局部特征，就可以進(jìn)行模型搜索，完成定位。
如圖5所示為某正面人臉定位到的68個(gè)特征點(diǎn)，各特征點(diǎn)與面部較為貼合，可以認(rèn)為算法有效。
圖5 人臉特征點(diǎn)定位結(jié)果
3.2 視線方向估計(jì)
3.2.1 瞳孔中心與普爾欽斑定位
在人臉特征點(diǎn)定位基礎(chǔ)上，提取眼部感興趣區(qū)域如圖6a所示?？梢钥吹酵撞课坏幕叶戎蹬c周圍區(qū)域差別較大，為了準(zhǔn)確找出瞳孔與周圍區(qū)域的分界線，使用Canny算子[8]進(jìn)行邊緣檢測，如圖6b、圖6d～圖6h所示。結(jié)合瞳孔邊緣的形狀特點(diǎn)，使用霍夫變換[9]檢測瞳孔。為了減小霍夫空間的維數(shù)，使用改進(jìn)的2-1霍夫變換[10]，即把霍夫變換分為2個(gè)階段：檢測圖像中可能存在的圓心；根據(jù)找到的圓心計(jì)算圓的半徑。瞳孔中心檢測結(jié)果如圖6i所示。
圖6 瞳孔中心和普爾欽斑定位
普爾欽斑是近紅外光在用戶角膜上產(chǎn)生的高亮度反射點(diǎn)，如圖6a所示，其亮度明顯高于眼睛其他區(qū)域，故可以根據(jù)灰度值定位普爾欽斑。選擇合理的閾值，將眼部圖像二值化，普爾欽斑被較為準(zhǔn)確清晰地提取出來。同時(shí)，由于人的眼球是濕潤的球體，在轉(zhuǎn)動時(shí)，眼部其他區(qū)域可能同樣產(chǎn)生反光點(diǎn)，為了保證算法在復(fù)雜環(huán)境下的魯棒性，防止其他高亮度反光點(diǎn)的干擾，選擇離瞳孔中心最近的兩個(gè)普爾欽斑作為候選位置。最終，提取到的普爾欽斑如圖6c所示。
3.2.2 基于立體視覺的視線方向估計(jì)
為了計(jì)算駕駛員的三維視線，需要知道瞳孔中心及普爾欽斑的三維坐標(biāo)，該問題可以基于立體視覺計(jì)算：以空間中某個(gè)待求的點(diǎn)P(Xw,Yw,Zw)為例，假設(shè)該點(diǎn)在2個(gè)相機(jī)中分別成像P1(u1,v1)和P2(u2,v2)，并已知2個(gè)相機(jī)的投影矩陣為M1、M2，為3×4矩陣。根據(jù)相機(jī)的成像公式有：
式中，zc1和zc2為2個(gè)相機(jī)坐標(biāo)系下點(diǎn)P的z坐標(biāo)。
聯(lián)立式（1）和式（2）可消去zc1和zc2，利用最小二乘法求解得到P點(diǎn)坐標(biāo)(Xw,Yw,Zw)。
獲得瞳孔中心及2個(gè)普爾欽斑的三維坐標(biāo)后，利用圖7所示的眼球模型估計(jì)視線方向，其中O為角膜球面中心，P0為瞳孔虛像，為真實(shí)瞳孔，C1和C2為紅外光源所在點(diǎn)，P1和P2為紅外光源的虛像，即普爾欽斑。
圖7 眼球模型
O的位置可以通過求解直線C1P1與C2P2的交點(diǎn)得到，O與的連線即為視線方向。但是實(shí)際上是不可知的，而根據(jù)球面反射原理，瞳孔和折射產(chǎn)生的虛像在同一半徑方向上，即和P0都在眼睛光軸上。因此可以使用OP0代替[11-12]。理論上C1P1和C2P2相交于O，但是在實(shí)際求解中，由于誤差的存在，兩條空間直線不會恰好相交。因此，這里計(jì)算兩條空間直線的公垂線，將公垂線的中點(diǎn)作為點(diǎn)O。結(jié)合已求得的P0，向量OP0即為視線方向。
3.3 頭部姿態(tài)估計(jì)
使用比例正交投影迭代變換算法（Pose from Or?thography and Scaling with Iteration，POSIT）求解頭部的俯仰、橫擺和側(cè)傾角度，即頭部姿態(tài)。該算法一般用來估計(jì)空間中物體的姿態(tài)，輸入是物體上至少4個(gè)點(diǎn)的三維坐標(biāo)以及這些點(diǎn)在圖像上的對應(yīng)位置，輸出是待求物體的旋轉(zhuǎn)和平移矩陣[13]。其核心思想為：對待求的物體，使用弱透視投影模型代替透視投影模型，求解弱透視投影模型所產(chǎn)生的方程組，得出待求物體的旋轉(zhuǎn)和平移矩陣，以此作為初值。然后使用該初值更新弱透視投影模型，該模型相對于前述弱透視模型更加逼近透視模型，對其進(jìn)行求解得到新的估計(jì)值。不斷迭代直至估計(jì)值的變化小于閾值。
如圖8所示，攝像機(jī)坐標(biāo)系的原點(diǎn)在攝像機(jī)的光心Q，坐標(biāo)系的XC軸和YC軸分別與圖像物理坐標(biāo)系的兩軸平行，坐標(biāo)系的軸ZC是攝像機(jī)的光軸，各軸的單位方向向量分別為i、j、k。攝像機(jī)的成像平面為G，光心距離為f。假設(shè)已知待檢測物體上若干點(diǎn)M0,M1,…,Mn-1的三維坐標(biāo)，在物體上以M0為原點(diǎn)建立物體局部坐標(biāo)系。則要求取的問題轉(zhuǎn)換為求解該局部坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的平移和旋轉(zhuǎn)矩陣。求解過程具體的算法流程如圖9所示，其中n為迭代次數(shù)，εk(n)為第n次迭代的估計(jì)值，xk、yk為特征點(diǎn)Mk透視投影的像點(diǎn)坐標(biāo)，x0、y0為特征點(diǎn)M0透視投影的像點(diǎn)坐標(biāo)，x′、y′為特征點(diǎn)Mk弱透視投影的像點(diǎn)坐標(biāo)，Z0為M0的ZC軸坐標(biāo)。
圖8 POSIT算法
圖9 POSIT算法流程
計(jì)算得到旋轉(zhuǎn)矩陣R的3個(gè)分量i、j、k：
根據(jù)旋轉(zhuǎn)矩陣可以求出頭部繞3個(gè)坐標(biāo)軸旋轉(zhuǎn)的角度：
3.4 算法評價(jià)
為了保證視覺算法能夠有效提取自然駕駛試驗(yàn)中駕駛員的視線方向與頭部姿態(tài)，需要進(jìn)行算法有效性驗(yàn)證。
對視線方向估計(jì)的精度進(jìn)行評價(jià)時(shí)，由于視線方向是由3個(gè)分量組成的單位向量，為了方便比較誤差，將各視線向量轉(zhuǎn)化為水平和垂直方向角：
式中，x、y、z分別為視線向量的3個(gè)分量；α為水平方向角；β為垂直方向角。
將眼動儀采集到的視線方向作為真值，基于視覺算法估計(jì)得到的視線方向作為估計(jì)值，分別繪制水平視角與垂直視角隨時(shí)間變化的曲線，如圖10所示。由圖10可見，估計(jì)視角與真實(shí)視角基本重合，可以體現(xiàn)被試人員的運(yùn)動規(guī)律。同樣繪制頭部姿態(tài)俯仰角、側(cè)傾角和橫擺角3個(gè)分量的估計(jì)值與真值隨時(shí)間的變化曲線，如圖11所示。
圖10 視線方向估計(jì)值與真值
圖11 頭部姿態(tài)角估計(jì)值與真值
計(jì)算視線方向估計(jì)、頭部姿態(tài)角估計(jì)的誤差均值與方差，如表2所示，估計(jì)值相對于真值的誤差較小，驗(yàn)證了算法的有效性。
表2 視線及頭部姿態(tài)估計(jì)誤差
4 頭、面部機(jī)器視覺特征提取
4.1 數(shù)據(jù)清洗
由于圖像采集以及處理過程中會存在誤差，基于視覺算法提取后的數(shù)據(jù)中依然可能存在“臟數(shù)據(jù)”。如果在分析時(shí)不加選擇地使用這些數(shù)據(jù)，可能會產(chǎn)生錯(cuò)誤的分析結(jié)果，因此需要清洗數(shù)據(jù)以便后續(xù)分析。
4.1.1 異常數(shù)據(jù)剔除
試驗(yàn)中眼動儀攝像頭通過膠接固定在攝像頭上，行駛過程中的車輛振動以及駕駛員異常操作都可能引起拍攝圖像異常，需要對這些異常值進(jìn)行剔除。根據(jù)拉依達(dá)準(zhǔn)則，將樣本中與平均值的偏差超過3倍標(biāo)準(zhǔn)差的測定值視為高度異常值，予以剔除。剔除前后的視線方向如圖12a所示，對比可見，通過異常值剔除，消除了明顯離群的視點(diǎn)。
4.1.2 缺失值填充
在圖像采集過程中，某些姿態(tài)下面部特征點(diǎn)不可見；此外，當(dāng)檢測不到駕駛員或駕駛員眼睛閉合，無法計(jì)算視線方向時(shí)，視線方向的3個(gè)分量都將置為0，從而產(chǎn)生缺失值。為了恢復(fù)這部分?jǐn)?shù)據(jù)，需要對數(shù)據(jù)中的缺失值進(jìn)行填充?？紤]到人運(yùn)動的連續(xù)性，對于缺失值前、后2幀的值求均值，作為該幀的值。圖12b以水平視角為例，展示了缺失值填充后的圖像，補(bǔ)充了曲線缺失的部分，填充后的曲線較為完整。
4.1.3 濾波
缺失值填充后的各運(yùn)動狀態(tài)均值與真值較為接近，但是還存在一些高頻噪聲干擾。由于后續(xù)還要通過差分計(jì)算各運(yùn)動的速度與加速度，為了減小這些衍生量的誤差，需對得到的數(shù)據(jù)進(jìn)行濾波，這里選擇中值濾波對數(shù)據(jù)進(jìn)行處理。仍以水平視角為例，濾波前、后的曲線如圖12c所示，高頻噪聲被明顯減小。
4.2 運(yùn)動特征提取
對清洗后的數(shù)據(jù)提取眼部水平、垂直運(yùn)動特征和頭部俯仰、橫擺、側(cè)傾運(yùn)動特征。對于眼部運(yùn)動特征，提取清洗后的水平和垂直視角，結(jié)合幀率進(jìn)行差分，獲得水平運(yùn)動速度和垂直運(yùn)動速度，對運(yùn)動速度再進(jìn)行差分即為運(yùn)動加速度。對于每個(gè)意圖片段均得出其角度、速度及加速度變化的數(shù)據(jù)，然后分別統(tǒng)計(jì)最大值、最小值、算術(shù)平均值、幾何平均值、調(diào)和平均值、截尾平均值、中位數(shù)、下四分位數(shù)、上四分位數(shù)、極差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度和峰度等14項(xiàng)常用統(tǒng)計(jì)特征。頭部運(yùn)動特征的提取方法與眼部運(yùn)動特征的提取較為類似，同樣統(tǒng)計(jì)上述14項(xiàng)統(tǒng)計(jì)特征。
圖12 數(shù)據(jù)清洗
4.3 注視與掃視特征提取
4.3.1 視野平面劃分
試驗(yàn)前需進(jìn)行標(biāo)定，使用開發(fā)的立體視覺視線估計(jì)算法獲取各標(biāo)定點(diǎn)坐標(biāo)，然后使用式（7）、式（8）將注視向量轉(zhuǎn)化為水平和垂直方向角，以這些標(biāo)定點(diǎn)的方向角作為各視野區(qū)域的邊界。將各視野區(qū)域邊界與視線方向角疊加到同一圖中，如圖13所示。
4.3.2 注視與掃視區(qū)分
駕駛員在觀察環(huán)境時(shí)，有3種基本的眼部運(yùn)動：注視、掃視和眨眼。注視是視線對準(zhǔn)某一區(qū)域并保持相對靜止的運(yùn)動，通過注視提取環(huán)境中的關(guān)鍵信息。掃視發(fā)生于駕駛員對行車過程中的感興趣目標(biāo)的搜索過程或切換不同注視目標(biāo)時(shí)。眨眼是一種不自主運(yùn)動，在駕駛過程中與環(huán)境信息的獲取和處理無關(guān)。本文只研究注視和掃視這兩種基本眼動形式。
圖13 視野平面劃分及注視、掃視區(qū)分
以眼球運(yùn)動狀態(tài)作為注視和掃視的劃分依據(jù)，將眼動速度的閾值設(shè)置為100°/s[14-16]，即眼動速度小于100°/s則認(rèn)為是注視行為。如圖13所示，注視點(diǎn)大部分集中在前風(fēng)窗玻璃中央、左、右后視鏡和組合儀表等需要駕駛員視線稍作停留以提取信息的位置，而掃視點(diǎn)大部分在各注視區(qū)域之間，這也比較符合實(shí)際駕駛行為。根據(jù)視點(diǎn)類型與幀率進(jìn)行計(jì)算，提取各區(qū)域的注視次數(shù)、注視時(shí)間、掃視次數(shù)、平均掃視時(shí)間、平均掃視角度和平均掃視速度等特征。
5 視覺特征與駕駛意圖的關(guān)聯(lián)性分析
為了研究視覺特征與駕駛意圖之間的關(guān)聯(lián)性，需要分析不同駕駛意圖下的視覺特征是否存在差異性，若差異性滿足閾值即認(rèn)為特征與意圖有較強(qiáng)關(guān)聯(lián)關(guān)系，可以用于識別駕駛意圖。
箱線圖是利用數(shù)據(jù)中的最大值、上四分位數(shù)、中位數(shù)、下四分位數(shù)與最小值來描述數(shù)據(jù)的一種方法，可以直觀地表示差異性。以總注視次數(shù)為例，用箱線圖表示其在左換道、右換道和直行情況下的數(shù)據(jù)分布，如圖14所示，可以看出在不同駕駛意圖下，總注視次數(shù)的分布雖然存在略微差異，但大體相同。
圖14 總注視次數(shù)箱線圖
對于差異性較小的樣本，箱線圖很難直觀地判斷樣本是否存在差異性，這里使用獨(dú)立樣本T檢驗(yàn)計(jì)算不同駕駛意圖樣本兩兩之間的差異性水平，如果差異性均小于閾值，則認(rèn)為該特征與駕駛意圖存在關(guān)聯(lián)關(guān)系。計(jì)算不同駕駛意圖下總注視次數(shù)的差異性：左換道-右換道、左換道-直行、右換道-直行之間的T檢驗(yàn)結(jié)果分別是0.847、0.787、0.904。根據(jù)經(jīng)驗(yàn)值選擇差異性水平閾值0.05，可以看出各特征間的差異性水平均大于閾值，即不同駕駛意圖間總注視次數(shù)的分布不具有差異性，因此總注視次數(shù)這一特征與駕駛意圖沒有關(guān)聯(lián)關(guān)系。
采用相同的方法分析4.2和4.3節(jié)中提取的各個(gè)特征在不同駕駛意圖下的差異性。結(jié)果表明：
a. 駕駛員注視特征中左、右后視鏡注視次數(shù)、注視時(shí)間與駕駛意圖有關(guān)聯(lián)關(guān)系，掃視特征中平均掃視時(shí)間、平均掃視角度、平均掃視速度與駕駛意圖有關(guān)聯(lián)關(guān)系。
b.駕駛員眼部運(yùn)動特征中，水平運(yùn)動的部分特征與駕駛意圖有關(guān)聯(lián)關(guān)系，而垂直運(yùn)動特征與駕駛意圖沒有關(guān)聯(lián)關(guān)系；駕駛員頭部運(yùn)動特征中，橫擺、側(cè)傾運(yùn)動的部分特征與駕駛意圖有關(guān)聯(lián)關(guān)系，而俯仰運(yùn)動特征與駕駛意圖沒有關(guān)聯(lián)關(guān)系。具體結(jié)果如表3所示。
表3 眼部、頭部運(yùn)動特征與駕駛意圖的關(guān)聯(lián)性
6 結(jié)束語
本文基于自然駕駛試驗(yàn)采集到的場景視頻、駕駛員視頻和轉(zhuǎn)向盤轉(zhuǎn)角信號，開發(fā)了基于機(jī)器視覺的視線方向及頭部姿態(tài)估計(jì)算法，并用眼動儀驗(yàn)證算法的有效性；經(jīng)過數(shù)據(jù)清洗后，使用箱線圖和獨(dú)立樣本T檢驗(yàn)統(tǒng)計(jì)了駕駛員的注視、掃視特征、眼部和頭部運(yùn)動特征與駕駛意圖的關(guān)聯(lián)性。
后續(xù)研究中：可引入車輛CAN信號中的轉(zhuǎn)向盤轉(zhuǎn)角、轉(zhuǎn)向燈狀態(tài)、車速等信息，對直行、換道等駕駛行為進(jìn)行更準(zhǔn)確的判斷；視覺算法可基于幀間的運(yùn)動特征進(jìn)行目標(biāo)跟蹤，提高檢測速度和準(zhǔn)確率；可對各個(gè)特征與意圖之間的關(guān)聯(lián)性強(qiáng)弱進(jìn)行排序，選取關(guān)聯(lián)性較強(qiáng)的特征使用隱式馬爾科夫模型識別駕駛意圖。
猜你喜歡
基于ShuffleNet V2算法的三維視線估計(jì)計(jì)算技術(shù)與自動化(2022年1期)2022-04-15 要去就去視線盡頭的山特區(qū)文學(xué)·詩(2021年6期)2021-12-22 自動駕駛走向L4 企業(yè)頭部效應(yīng)顯現(xiàn)汽車零部件(2021年9期)2021-09-29 那座山青年文學(xué)家(2020年22期)2020-08-31 窺見眼部瑜伽瘋狂英語·讀寫版(2019年6期)2019-09-10 旅行休憩小頭枕發(fā)明與創(chuàng)新·大科技(2017年9期)2017-09-14 視線岷峨詩稿(2014年3期)2014-11-15 蠔殼巧制作早期教育(美術(shù)教育)(2010年7期)2010-06-28 美目莫忘眉中國化妝品·下半月(2006年7期)2006-07-27 敲打孩子頭部會引起癲癇嗎？為了孩子（孕0～3歲）(2001年3期)2001-06-13
張立軍 唐鑫 孟德建
（同濟(jì)大學(xué)，上海 201804）
主題詞：駕駛意圖 機(jī)器視覺 特征提取 關(guān)聯(lián)性
1 前言
在“人-車-路”系統(tǒng)中，駕駛員是重要的參與者，其駕駛意圖和表現(xiàn)出的駕駛行為對整個(gè)系統(tǒng)的安全性具有至關(guān)重要的影響。統(tǒng)計(jì)表明，接近90%的道路交通安全事故都是由駕駛員直接或間接導(dǎo)致的[1]。戴姆勒公司認(rèn)為，提前0.5 s對駕駛員的危險(xiǎn)行為進(jìn)行示警可消除60%的追尾事故，提前1 s示警可消除90%的追尾事故[2]。因此，駕駛意圖的識別可用于碰撞預(yù)警，有效改善道路安全性。
駕駛行為是駕駛意圖的外在表現(xiàn)，汽車安全領(lǐng)域越來越多的學(xué)者希望通過識別駕駛員的駕駛意圖對其駕駛行為進(jìn)行早期預(yù)測。在駕駛意圖產(chǎn)生階段，其主要表征是頭部和眼部運(yùn)動狀態(tài)的變化。為了進(jìn)行駕駛意圖的識別，需要提取眼部和頭部的運(yùn)動狀態(tài)和特征。目前，基于駕駛員頭、面部視覺特征的駕駛意圖識別主要基于視覺特征，包括后視鏡注視時(shí)間、掃視持續(xù)時(shí)間、頭部水平和垂直轉(zhuǎn)角標(biāo)準(zhǔn)差等，所采用的方法主要是利用秩檢驗(yàn)等統(tǒng)計(jì)學(xué)檢驗(yàn)方法分析不同駕駛意圖下的視覺特征是否存在差異性，若差異性滿足閾值即認(rèn)為特征與意圖有較強(qiáng)的關(guān)聯(lián)關(guān)系，可以用于識別駕駛意圖[3-4]。但是，當(dāng)前研究對機(jī)器視覺特征的提取主要基于眼動儀，成本高，難以商業(yè)化。用于駕駛意圖識別的特征選擇主要依賴于主觀判斷，缺乏科學(xué)系統(tǒng)的依據(jù)。
在此背景下，本文進(jìn)行了自然駕駛整車道路試驗(yàn)，開發(fā)了基于機(jī)器視覺的視線方向及頭部姿態(tài)估計(jì)算法，并利用眼動儀驗(yàn)證了其有效性，構(gòu)建了包含駕駛員頭、面部視覺和運(yùn)動特征以及駕駛員行為/意圖的數(shù)據(jù)集，并使用T檢驗(yàn)方法分析了頭、面部機(jī)器視覺特征與駕駛意圖的關(guān)聯(lián)性，可為駕駛意圖識別的特征選擇提供科學(xué)依據(jù)。
2 自然駕駛整車道路試驗(yàn)
2.1 試驗(yàn)設(shè)計(jì)
2.1.1 試驗(yàn)平臺搭建
基于試驗(yàn)車輛、Smart Eye眼動儀、測力轉(zhuǎn)向盤、場景攝像頭等搭建的自然駕駛整車道路試驗(yàn)平臺及各儀器的連接關(guān)系如圖1所示，試驗(yàn)儀器的規(guī)格如表1所示。其中，Smart Eye眼動儀主要由3個(gè)視線追蹤攝像頭、采集卡和主機(jī)組成。攝像頭1與攝像頭3固連有近紅外光源，以提供穩(wěn)定照明，同時(shí)，紅外光源在眼睛中反射的耀點(diǎn)可以作為定位的參考點(diǎn)。采集卡用于攝像頭及紅外光源的供電和同步開閉。主機(jī)用于眼動儀采樣頻率、坐標(biāo)定義等參數(shù)設(shè)置，及導(dǎo)出攝像頭采集的視頻。
圖1 試驗(yàn)平臺
表1 道路試驗(yàn)設(shè)備
該平臺有3個(gè)功能：
a.利用眼動儀攝像頭采集駕駛員駕駛過程視頻圖像，利用開發(fā)的視覺算法計(jì)算駕駛員眼部及頭部的運(yùn)動狀態(tài)數(shù)據(jù)；同時(shí)，眼動儀內(nèi)置算法也可直接導(dǎo)出駕駛員眼部、頭部運(yùn)動狀態(tài)，作為真值驗(yàn)證視覺算法。
b.場景攝像頭采集駕駛過程中車外環(huán)境信息,判斷工況類別（左、右轉(zhuǎn)彎/直行）。
c.利用轉(zhuǎn)向盤力角測量儀采集試驗(yàn)過程中車輛的轉(zhuǎn)向盤轉(zhuǎn)角信號，作為判斷駕駛意圖產(chǎn)生的起始和終止時(shí)間的依據(jù)。
如圖2所示，在左、右后視鏡及前風(fēng)窗玻璃的邊緣布置標(biāo)定點(diǎn)，用于后續(xù)標(biāo)定確定各區(qū)域邊界。
圖2 標(biāo)定點(diǎn)
2.1.2 試驗(yàn)路段及試驗(yàn)人員
分別在上海市嘉定區(qū)的開放道路和半封閉道路進(jìn)行了試驗(yàn)。社會開放道路全程約38 km，包含城市道路、高速路、高架路等路段；半封閉道路為校園道路。本次試驗(yàn)共招募7位駕駛員，年齡22～43歲不等，駕齡均在3年以上，無散光。試驗(yàn)前24 h內(nèi)保持充足睡眠，避免用眼過度，以保持較好的駕駛狀態(tài)。
2.2 駕駛意圖數(shù)據(jù)集獲取
對于采集到的整段數(shù)據(jù)，通過觀察場景視頻推斷出車輛及駕駛員行為，粗選出左換道、右換道與直行樣本片段。在粗選時(shí)，保留換道前轉(zhuǎn)向盤轉(zhuǎn)角變化較小的一段數(shù)據(jù)。按照各粗選樣本的轉(zhuǎn)向盤轉(zhuǎn)角信號對其進(jìn)行精選。如圖3所示，計(jì)算平直段的轉(zhuǎn)向盤轉(zhuǎn)角均值與標(biāo)準(zhǔn)差σ，根據(jù)拉依達(dá)準(zhǔn)則，滿足|θt-|＞3σ的測定轉(zhuǎn)角θt對應(yīng)的起始時(shí)刻t即為換道行為的起點(diǎn)時(shí)刻，也是換道意圖的終點(diǎn)時(shí)刻。以2 s為意圖時(shí)窗大小，即認(rèn)為轉(zhuǎn)向盤開始大范圍轉(zhuǎn)動時(shí)刻為駕駛意圖終點(diǎn)，該時(shí)刻前2 s為產(chǎn)生駕駛意圖的起點(diǎn)[4-6]。對于直行片段來說，駕駛員沒有明顯的行為特征，且直行行為一般會持續(xù)一段時(shí)間，因此可根據(jù)場景攝像頭中的車輛行為及轉(zhuǎn)向盤轉(zhuǎn)角信號，按照與左、右換道相同的時(shí)窗選取一段直行數(shù)據(jù)。
按照上述原則截取意圖階段樣本數(shù)據(jù)，最終獲得470組樣本，其中左換道117組，右換道179組，直行174組。
3 視線方向及頭部姿態(tài)估計(jì)算法開發(fā)
駕駛意圖產(chǎn)生階段的主要表征是頭部和眼部運(yùn)動狀態(tài)的變化。為了進(jìn)行駕駛意圖識別，需要提取眼部和頭部的運(yùn)動狀態(tài)?；跈C(jī)器視覺的運(yùn)動狀態(tài)估計(jì)方法設(shè)備簡單、成本低、精度高且對駕駛員的干擾小，因此最適合用于研究駕駛員的行為。開發(fā)的視覺算法技術(shù)路線如圖4所示。
圖3 轉(zhuǎn)向盤轉(zhuǎn)角信號
圖4 視線方向及頭部姿態(tài)估計(jì)算法技術(shù)路線
3.1 人臉特征點(diǎn)定位
利用主動形狀模型（Active Shape Model，ASM）算法[7]進(jìn)行人臉特征點(diǎn)定位。ASM算法包括模型訓(xùn)練和搜索兩個(gè)階段。在模型訓(xùn)練階段，首先建立由若干個(gè)面部特征點(diǎn)坐標(biāo)組成的形狀向量作為面部的整體形狀模型，然后建立形狀向量中每個(gè)特征點(diǎn)的局部特征，用于調(diào)整整體形狀模型的位置，使模型更加貼合面部。訓(xùn)練完成后得到總體形狀模型和各點(diǎn)局部特征，就可以進(jìn)行模型搜索，完成定位。
如圖5所示為某正面人臉定位到的68個(gè)特征點(diǎn)，各特征點(diǎn)與面部較為貼合，可以認(rèn)為算法有效。
圖5 人臉特征點(diǎn)定位結(jié)果
3.2 視線方向估計(jì)
3.2.1 瞳孔中心與普爾欽斑定位
在人臉特征點(diǎn)定位基礎(chǔ)上，提取眼部感興趣區(qū)域如圖6a所示?？梢钥吹酵撞课坏幕叶戎蹬c周圍區(qū)域差別較大，為了準(zhǔn)確找出瞳孔與周圍區(qū)域的分界線，使用Canny算子[8]進(jìn)行邊緣檢測，如圖6b、圖6d～圖6h所示。結(jié)合瞳孔邊緣的形狀特點(diǎn)，使用霍夫變換[9]檢測瞳孔。為了減小霍夫空間的維數(shù)，使用改進(jìn)的2-1霍夫變換[10]，即把霍夫變換分為2個(gè)階段：檢測圖像中可能存在的圓心；根據(jù)找到的圓心計(jì)算圓的半徑。瞳孔中心檢測結(jié)果如圖6i所示。
圖6 瞳孔中心和普爾欽斑定位
普爾欽斑是近紅外光在用戶角膜上產(chǎn)生的高亮度反射點(diǎn)，如圖6a所示，其亮度明顯高于眼睛其他區(qū)域，故可以根據(jù)灰度值定位普爾欽斑。選擇合理的閾值，將眼部圖像二值化，普爾欽斑被較為準(zhǔn)確清晰地提取出來。同時(shí)，由于人的眼球是濕潤的球體，在轉(zhuǎn)動時(shí)，眼部其他區(qū)域可能同樣產(chǎn)生反光點(diǎn)，為了保證算法在復(fù)雜環(huán)境下的魯棒性，防止其他高亮度反光點(diǎn)的干擾，選擇離瞳孔中心最近的兩個(gè)普爾欽斑作為候選位置。最終，提取到的普爾欽斑如圖6c所示。
3.2.2 基于立體視覺的視線方向估計(jì)
為了計(jì)算駕駛員的三維視線，需要知道瞳孔中心及普爾欽斑的三維坐標(biāo)，該問題可以基于立體視覺計(jì)算：以空間中某個(gè)待求的點(diǎn)P(Xw,Yw,Zw)為例，假設(shè)該點(diǎn)在2個(gè)相機(jī)中分別成像P1(u1,v1)和P2(u2,v2)，并已知2個(gè)相機(jī)的投影矩陣為M1、M2，為3×4矩陣。根據(jù)相機(jī)的成像公式有：
式中，zc1和zc2為2個(gè)相機(jī)坐標(biāo)系下點(diǎn)P的z坐標(biāo)。
聯(lián)立式（1）和式（2）可消去zc1和zc2，利用最小二乘法求解得到P點(diǎn)坐標(biāo)(Xw,Yw,Zw)。
獲得瞳孔中心及2個(gè)普爾欽斑的三維坐標(biāo)后，利用圖7所示的眼球模型估計(jì)視線方向，其中O為角膜球面中心，P0為瞳孔虛像，為真實(shí)瞳孔，C1和C2為紅外光源所在點(diǎn)，P1和P2為紅外光源的虛像，即普爾欽斑。
圖7 眼球模型
O的位置可以通過求解直線C1P1與C2P2的交點(diǎn)得到，O與的連線即為視線方向。但是實(shí)際上是不可知的，而根據(jù)球面反射原理，瞳孔和折射產(chǎn)生的虛像在同一半徑方向上，即和P0都在眼睛光軸上。因此可以使用OP0代替[11-12]。理論上C1P1和C2P2相交于O，但是在實(shí)際求解中，由于誤差的存在，兩條空間直線不會恰好相交。因此，這里計(jì)算兩條空間直線的公垂線，將公垂線的中點(diǎn)作為點(diǎn)O。結(jié)合已求得的P0，向量OP0即為視線方向。
3.3 頭部姿態(tài)估計(jì)
使用比例正交投影迭代變換算法（Pose from Or?thography and Scaling with Iteration，POSIT）求解頭部的俯仰、橫擺和側(cè)傾角度，即頭部姿態(tài)。該算法一般用來估計(jì)空間中物體的姿態(tài)，輸入是物體上至少4個(gè)點(diǎn)的三維坐標(biāo)以及這些點(diǎn)在圖像上的對應(yīng)位置，輸出是待求物體的旋轉(zhuǎn)和平移矩陣[13]。其核心思想為：對待求的物體，使用弱透視投影模型代替透視投影模型，求解弱透視投影模型所產(chǎn)生的方程組，得出待求物體的旋轉(zhuǎn)和平移矩陣，以此作為初值。然后使用該初值更新弱透視投影模型，該模型相對于前述弱透視模型更加逼近透視模型，對其進(jìn)行求解得到新的估計(jì)值。不斷迭代直至估計(jì)值的變化小于閾值。
如圖8所示，攝像機(jī)坐標(biāo)系的原點(diǎn)在攝像機(jī)的光心Q，坐標(biāo)系的XC軸和YC軸分別與圖像物理坐標(biāo)系的兩軸平行，坐標(biāo)系的軸ZC是攝像機(jī)的光軸，各軸的單位方向向量分別為i、j、k。攝像機(jī)的成像平面為G，光心距離為f。假設(shè)已知待檢測物體上若干點(diǎn)M0,M1,…,Mn-1的三維坐標(biāo)，在物體上以M0為原點(diǎn)建立物體局部坐標(biāo)系。則要求取的問題轉(zhuǎn)換為求解該局部坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的平移和旋轉(zhuǎn)矩陣。求解過程具體的算法流程如圖9所示，其中n為迭代次數(shù)，εk(n)為第n次迭代的估計(jì)值，xk、yk為特征點(diǎn)Mk透視投影的像點(diǎn)坐標(biāo)，x0、y0為特征點(diǎn)M0透視投影的像點(diǎn)坐標(biāo)，x′、y′為特征點(diǎn)Mk弱透視投影的像點(diǎn)坐標(biāo)，Z0為M0的ZC軸坐標(biāo)。
圖8 POSIT算法
圖9 POSIT算法流程
計(jì)算得到旋轉(zhuǎn)矩陣R的3個(gè)分量i、j、k：
根據(jù)旋轉(zhuǎn)矩陣可以求出頭部繞3個(gè)坐標(biāo)軸旋轉(zhuǎn)的角度：
3.4 算法評價(jià)
為了保證視覺算法能夠有效提取自然駕駛試驗(yàn)中駕駛員的視線方向與頭部姿態(tài)，需要進(jìn)行算法有效性驗(yàn)證。
對視線方向估計(jì)的精度進(jìn)行評價(jià)時(shí)，由于視線方向是由3個(gè)分量組成的單位向量，為了方便比較誤差，將各視線向量轉(zhuǎn)化為水平和垂直方向角：
式中，x、y、z分別為視線向量的3個(gè)分量；α為水平方向角；β為垂直方向角。
將眼動儀采集到的視線方向作為真值，基于視覺算法估計(jì)得到的視線方向作為估計(jì)值，分別繪制水平視角與垂直視角隨時(shí)間變化的曲線，如圖10所示。由圖10可見，估計(jì)視角與真實(shí)視角基本重合，可以體現(xiàn)被試人員的運(yùn)動規(guī)律。同樣繪制頭部姿態(tài)俯仰角、側(cè)傾角和橫擺角3個(gè)分量的估計(jì)值與真值隨時(shí)間的變化曲線，如圖11所示。
圖10 視線方向估計(jì)值與真值
圖11 頭部姿態(tài)角估計(jì)值與真值
計(jì)算視線方向估計(jì)、頭部姿態(tài)角估計(jì)的誤差均值與方差，如表2所示，估計(jì)值相對于真值的誤差較小，驗(yàn)證了算法的有效性。
表2 視線及頭部姿態(tài)估計(jì)誤差
4 頭、面部機(jī)器視覺特征提取
4.1 數(shù)據(jù)清洗
由于圖像采集以及處理過程中會存在誤差，基于視覺算法提取后的數(shù)據(jù)中依然可能存在“臟數(shù)據(jù)”。如果在分析時(shí)不加選擇地使用這些數(shù)據(jù)，可能會產(chǎn)生錯(cuò)誤的分析結(jié)果，因此需要清洗數(shù)據(jù)以便后續(xù)分析。
4.1.1 異常數(shù)據(jù)剔除
試驗(yàn)中眼動儀攝像頭通過膠接固定在攝像頭上，行駛過程中的車輛振動以及駕駛員異常操作都可能引起拍攝圖像異常，需要對這些異常值進(jìn)行剔除。根據(jù)拉依達(dá)準(zhǔn)則，將樣本中與平均值的偏差超過3倍標(biāo)準(zhǔn)差的測定值視為高度異常值，予以剔除。剔除前后的視線方向如圖12a所示，對比可見，通過異常值剔除，消除了明顯離群的視點(diǎn)。
4.1.2 缺失值填充
在圖像采集過程中，某些姿態(tài)下面部特征點(diǎn)不可見；此外，當(dāng)檢測不到駕駛員或駕駛員眼睛閉合，無法計(jì)算視線方向時(shí)，視線方向的3個(gè)分量都將置為0，從而產(chǎn)生缺失值。為了恢復(fù)這部分?jǐn)?shù)據(jù)，需要對數(shù)據(jù)中的缺失值進(jìn)行填充?？紤]到人運(yùn)動的連續(xù)性，對于缺失值前、后2幀的值求均值，作為該幀的值。圖12b以水平視角為例，展示了缺失值填充后的圖像，補(bǔ)充了曲線缺失的部分，填充后的曲線較為完整。
4.1.3 濾波
缺失值填充后的各運(yùn)動狀態(tài)均值與真值較為接近，但是還存在一些高頻噪聲干擾。由于后續(xù)還要通過差分計(jì)算各運(yùn)動的速度與加速度，為了減小這些衍生量的誤差，需對得到的數(shù)據(jù)進(jìn)行濾波，這里選擇中值濾波對數(shù)據(jù)進(jìn)行處理。仍以水平視角為例，濾波前、后的曲線如圖12c所示，高頻噪聲被明顯減小。
4.2 運(yùn)動特征提取
對清洗后的數(shù)據(jù)提取眼部水平、垂直運(yùn)動特征和頭部俯仰、橫擺、側(cè)傾運(yùn)動特征。對于眼部運(yùn)動特征，提取清洗后的水平和垂直視角，結(jié)合幀率進(jìn)行差分，獲得水平運(yùn)動速度和垂直運(yùn)動速度，對運(yùn)動速度再進(jìn)行差分即為運(yùn)動加速度。對于每個(gè)意圖片段均得出其角度、速度及加速度變化的數(shù)據(jù)，然后分別統(tǒng)計(jì)最大值、最小值、算術(shù)平均值、幾何平均值、調(diào)和平均值、截尾平均值、中位數(shù)、下四分位數(shù)、上四分位數(shù)、極差、標(biāo)準(zhǔn)差、變異系數(shù)、偏度和峰度等14項(xiàng)常用統(tǒng)計(jì)特征。頭部運(yùn)動特征的提取方法與眼部運(yùn)動特征的提取較為類似，同樣統(tǒng)計(jì)上述14項(xiàng)統(tǒng)計(jì)特征。
圖12 數(shù)據(jù)清洗
4.3 注視與掃視特征提取
4.3.1 視野平面劃分
試驗(yàn)前需進(jìn)行標(biāo)定，使用開發(fā)的立體視覺視線估計(jì)算法獲取各標(biāo)定點(diǎn)坐標(biāo)，然后使用式（7）、式（8）將注視向量轉(zhuǎn)化為水平和垂直方向角，以這些標(biāo)定點(diǎn)的方向角作為各視野區(qū)域的邊界。將各視野區(qū)域邊界與視線方向角疊加到同一圖中，如圖13所示。
4.3.2 注視與掃視區(qū)分
駕駛員在觀察環(huán)境時(shí)，有3種基本的眼部運(yùn)動：注視、掃視和眨眼。注視是視線對準(zhǔn)某一區(qū)域并保持相對靜止的運(yùn)動，通過注視提取環(huán)境中的關(guān)鍵信息。掃視發(fā)生于駕駛員對行車過程中的感興趣目標(biāo)的搜索過程或切換不同注視目標(biāo)時(shí)。眨眼是一種不自主運(yùn)動，在駕駛過程中與環(huán)境信息的獲取和處理無關(guān)。本文只研究注視和掃視這兩種基本眼動形式。
圖13 視野平面劃分及注視、掃視區(qū)分
以眼球運(yùn)動狀態(tài)作為注視和掃視的劃分依據(jù)，將眼動速度的閾值設(shè)置為100°/s[14-16]，即眼動速度小于100°/s則認(rèn)為是注視行為。如圖13所示，注視點(diǎn)大部分集中在前風(fēng)窗玻璃中央、左、右后視鏡和組合儀表等需要駕駛員視線稍作停留以提取信息的位置，而掃視點(diǎn)大部分在各注視區(qū)域之間，這也比較符合實(shí)際駕駛行為。根據(jù)視點(diǎn)類型與幀率進(jìn)行計(jì)算，提取各區(qū)域的注視次數(shù)、注視時(shí)間、掃視次數(shù)、平均掃視時(shí)間、平均掃視角度和平均掃視速度等特征。
5 視覺特征與駕駛意圖的關(guān)聯(lián)性分析
為了研究視覺特征與駕駛意圖之間的關(guān)聯(lián)性，需要分析不同駕駛意圖下的視覺特征是否存在差異性，若差異性滿足閾值即認(rèn)為特征與意圖有較強(qiáng)關(guān)聯(lián)關(guān)系，可以用于識別駕駛意圖。
箱線圖是利用數(shù)據(jù)中的最大值、上四分位數(shù)、中位數(shù)、下四分位數(shù)與最小值來描述數(shù)據(jù)的一種方法，可以直觀地表示差異性。以總注視次數(shù)為例，用箱線圖表示其在左換道、右換道和直行情況下的數(shù)據(jù)分布，如圖14所示，可以看出在不同駕駛意圖下，總注視次數(shù)的分布雖然存在略微差異，但大體相同。
圖14 總注視次數(shù)箱線圖
對于差異性較小的樣本，箱線圖很難直觀地判斷樣本是否存在差異性，這里使用獨(dú)立樣本T檢驗(yàn)計(jì)算不同駕駛意圖樣本兩兩之間的差異性水平，如果差異性均小于閾值，則認(rèn)為該特征與駕駛意圖存在關(guān)聯(lián)關(guān)系。計(jì)算不同駕駛意圖下總注視次數(shù)的差異性：左換道-右換道、左換道-直行、右換道-直行之間的T檢驗(yàn)結(jié)果分別是0.847、0.787、0.904。根據(jù)經(jīng)驗(yàn)值選擇差異性水平閾值0.05，可以看出各特征間的差異性水平均大于閾值，即不同駕駛意圖間總注視次數(shù)的分布不具有差異性，因此總注視次數(shù)這一特征與駕駛意圖沒有關(guān)聯(lián)關(guān)系。
采用相同的方法分析4.2和4.3節(jié)中提取的各個(gè)特征在不同駕駛意圖下的差異性。結(jié)果表明：
a. 駕駛員注視特征中左、右后視鏡注視次數(shù)、注視時(shí)間與駕駛意圖有關(guān)聯(lián)關(guān)系，掃視特征中平均掃視時(shí)間、平均掃視角度、平均掃視速度與駕駛意圖有關(guān)聯(lián)關(guān)系。
b.駕駛員眼部運(yùn)動特征中，水平運(yùn)動的部分特征與駕駛意圖有關(guān)聯(lián)關(guān)系，而垂直運(yùn)動特征與駕駛意圖沒有關(guān)聯(lián)關(guān)系；駕駛員頭部運(yùn)動特征中，橫擺、側(cè)傾運(yùn)動的部分特征與駕駛意圖有關(guān)聯(lián)關(guān)系，而俯仰運(yùn)動特征與駕駛意圖沒有關(guān)聯(lián)關(guān)系。具體結(jié)果如表3所示。
表3 眼部、頭部運(yùn)動特征與駕駛意圖的關(guān)聯(lián)性
6 結(jié)束語
本文基于自然駕駛試驗(yàn)采集到的場景視頻、駕駛員視頻和轉(zhuǎn)向盤轉(zhuǎn)角信號，開發(fā)了基于機(jī)器視覺的視線方向及頭部姿態(tài)估計(jì)算法，并用眼動儀驗(yàn)證算法的有效性；經(jīng)過數(shù)據(jù)清洗后，使用箱線圖和獨(dú)立樣本T檢驗(yàn)統(tǒng)計(jì)了駕駛員的注視、掃視特征、眼部和頭部運(yùn)動特征與駕駛意圖的關(guān)聯(lián)性。
后續(xù)研究中：可引入車輛CAN信號中的轉(zhuǎn)向盤轉(zhuǎn)角、轉(zhuǎn)向燈狀態(tài)、車速等信息，對直行、換道等駕駛行為進(jìn)行更準(zhǔn)確的判斷；視覺算法可基于幀間的運(yùn)動特征進(jìn)行目標(biāo)跟蹤，提高檢測速度和準(zhǔn)確率；可對各個(gè)特征與意圖之間的關(guān)聯(lián)性強(qiáng)弱進(jìn)行排序，選取關(guān)聯(lián)性較強(qiáng)的特征使用隱式馬爾科夫模型識別駕駛意圖。
猜你喜歡
計(jì)算技術(shù)與自動化(2022年1期)2022-04-15
特區(qū)文學(xué)·詩(2021年6期)2021-12-22
汽車零部件(2021年9期)2021-09-29
青年文學(xué)家(2020年22期)2020-08-31
瘋狂英語·讀寫版(2019年6期)2019-09-10
發(fā)明與創(chuàng)新·大科技(2017年9期)2017-09-14
岷峨詩稿(2014年3期)2014-11-15
早期教育(美術(shù)教育)(2010年7期)2010-06-28
中國化妝品·下半月(2006年7期)2006-07-27
為了孩子（孕0～3歲）(2001年3期)2001-06-13
