趙志林， 趙歆波， 閆琳婕， 梁子麟

(西北工業(yè)大學 計算機學院， 西安 710129)

0 引言

眼動跟蹤是近年發(fā)展起來的一種獲取人眼注視點和追蹤視線的高新技術(shù)，作為一種新型的視覺感知與認知研究的基礎(chǔ)方法，眼動跟蹤已成為當前心理學、計算機科學、人機交互等學科的研究熱點，并在多個場景中應(yīng)用廣泛。在航空航天方面，它可用于飛行員培訓與操作支持，太空任務(wù)中的操作幫助以及人機界面設(shè)計優(yōu)化。同時，在醫(yī)療保健領(lǐng)域，該技術(shù)可監(jiān)測患者的目光移動，為醫(yī)生提供更深入的認知和神經(jīng)疾病之間關(guān)系的了解。而在交通安全領(lǐng)域，它有助于監(jiān)控疲勞駕駛和分心駕駛，以提升駕駛員的注意力和行車安全。此外，該技術(shù)還在虛擬現(xiàn)實和增強現(xiàn)實應(yīng)用中表現(xiàn)出色，能夠?qū)崟r追蹤用戶的視線，提升互動體驗。除此之外，眼動跟蹤技術(shù)在人機界面優(yōu)化、心理研究、市場營銷、教育和培訓等多個領(lǐng)域都擁有很高的創(chuàng)新應(yīng)用潛力。

目前眼動跟蹤普遍采用基于模型的三維方法來實現(xiàn)。Lai等[1]通過提前對兩個相機和兩個光源進行位置標定，計算出三維視線。Mikka等[2]在左右眼各配備一個眼部相機和六個紅外燈，建立了以瞳孔和角膜中心為主的三維眼球模型，同時使用卡爾曼濾波對注視點進行估算和降噪，實現(xiàn)了精度在0.62°左右的三維視線估計。Sun等[3]使用四個提前標定的紅外光源來捕捉左右眼的反射亮斑，并以眼球中心到四個亮斑的方向向量作為特征向量擬合視線方向，平均誤差為0.6°。上述方法均需要對相機和光源位置進行復雜的配準，計算量較大同時設(shè)備繁重。

為減少設(shè)備重量，Swirski[4]提出了一種僅使用單目相機的三維眼球重建方法。不過，該方法只是對仿真環(huán)境中合成的人眼圖像進行了模型評估，從眼部相機到場景相機的映射精度的真實性能并沒有被量化。為了解決映射帶來的誤差，Wang[5]嘗試通過假設(shè)眼球的生理參數(shù)來建模角膜折射，但由于眼球的生理參數(shù)因人而異，導致性能不穩(wěn)定。Xia[6]在頭部坐標系中準確估計眼球中心和相機光學中心，并建立了兩個方向特征之間的映射關(guān)系來計算視覺軸的方向。通過準確估計參數(shù)，降低映射關(guān)系的復雜性，實現(xiàn)了更好的擬合性能。另一方面，為了計算注視深度信息，Mikka在獲得雙眼視線方向后，計算其在場景圖像中的交叉點深度信息，實驗結(jié)果表明，其在60 cm以內(nèi)具有良好的測量效果。針對設(shè)備滑移帶來的誤差，Larsson等[7]嘗試使用慣性測量單元(Inertial Measurement Unit，IMU)來對頭戴式設(shè)備的滑移進行補償，處理后誤差下降了40%左右，驗證了IMU補償?shù)挠行浴?/p>

綜上所述，配準復雜、計算量大、設(shè)備繁重是現(xiàn)有基于多攝像機多紅外燈的三維眼動跟蹤系統(tǒng)難以克服的瓶頸，難以在要求輕量化和高精度的航空航天領(lǐng)域獲得應(yīng)用。

為此，本文提出并實現(xiàn)了一種單相機單光源輕量化高精度三維眼動追蹤系統(tǒng)。針對Wang等現(xiàn)有方法眼球參數(shù)估計難的問題，采用單目相機和單紅外光源獲取瞳孔輪廓，通過逆投影法向量求交方法精確計算眼球中心；為了彌補Swirski方法標定映射精度低的缺陷，首選采用平滑尾隨的方式進行快速標定；其次，為了解決Mikka方法有效測量深度較短的缺陷，通過結(jié)合雙眼視線方向和場景圖像交叉以獲取注視深度信息，有效測量深度提升了20 cm；最后，提出了一種IMU滑移補償算法對設(shè)備滑移誤差進行校正，提高了系統(tǒng)的可靠性和魯棒性。

本系統(tǒng)的實現(xiàn)不僅呈現(xiàn)了一種輕量化的三維眼動追蹤解決方案，同時也極大地提高了系統(tǒng)在測量深度范圍與準確性方面的表現(xiàn)。這些特點使得本系統(tǒng)在航空航天、醫(yī)療保健、交通安全、虛擬現(xiàn)實與增強現(xiàn)實和人機界面優(yōu)化等多領(lǐng)域擁有廣泛的應(yīng)用前景。

1 方法介紹

1.1 系統(tǒng)組成

本文硬件系統(tǒng)組成如圖1所示，系統(tǒng)由一個場景相機、兩組眼部相機、紅外燈以及一個IMU組成。場景相機(1920×1080，75 fps)位于框架中心位置，使用23 mm焦距廣角鏡頭模仿人眼正常視場。紅外燈的波長為910 mm，在此光照環(huán)境下，瞳孔與虹膜之間的對比度更明顯且更易區(qū)分。為避免被試者視線遮擋，兩個紅外眼部相機(640×480，75 fps)位于眼球斜下方位置。

圖1 系統(tǒng)硬件組成

系統(tǒng)整體流程如圖2 所示。系統(tǒng)首先對眼部圖像進行瞳孔特征提取，根據(jù)瞳孔時序序列計算出眼球中心和實時瞳孔中心，再由眼球中心和瞳孔之間的位置關(guān)系估算出三維視線。通過標定映射獲得注視點坐標并且計算左右眼視線方向與場景圖像的交點獲得注視深度，最后對設(shè)備滑移造成的誤差進行校正。

圖2 系統(tǒng)流程

1.2 單相機單光源三維眼動追蹤技術(shù)

本文基于文獻[4]構(gòu)建了眼球模型，其中眼球是一個近似球體，瞳孔是一個與眼球表面相切的三維圓，視線方向為從眼球中心指向瞳孔中心的三維方向矢量。

1.2.1 瞳孔輪廓提取

對Haar-like模板[8]優(yōu)化改進以實現(xiàn)眼部區(qū)域快速定位。如圖3所示，黑白相間的中心環(huán)繞特征設(shè)計與左右分布的特征模板，提升了瞳孔和虹膜區(qū)分度，進而實現(xiàn)快速定位；且有效減少了眼瞼和睫毛遮擋帶來的干擾。

圖3 Haar-like 特征模板對瞳孔快速定位

對定位后的眼部圖像進行邊緣檢測，根據(jù)瞳孔在眼眶中的位置特性、瞳孔橢圓長短軸之比的形狀特性與瞳孔與虹膜相比的灰度特性，對候選邊緣進行評估和篩選。

對篩選后的最佳邊緣進行最小二乘擬合[9]，如式(1)所示。

F(A，B，C，D，E)=

(1)

式中，(xi，yi)表示邊緣上的已知像素點，A、B、C、D、E為標準瞳孔橢圓的五個參數(shù)。

分別對參數(shù)求偏導計算極值點，得瞳孔橢圓參數(shù)，如式(2)所示，

(2)

1.2.2 計算眼球中心

令上節(jié)得到的瞳孔橢圓時序序列為Ii，0≤i≤300。擬定瞳孔半徑r，對序列Ii進行三維圓擬合，利用單目視覺位姿測量算法[10]得到橢圓逆投影，進而求得三維圓序列，如圖4所示。

圖4 瞳孔逆投影求交計算眼球中心

其中，r與瞳孔三維圓的位置相關(guān)，與其法向量ni無關(guān)，且每組法向量總會相交于一點，即三維眼球中心c。

計算迭代優(yōu)化后的法向量交點，在法向量集合LN中隨機抽取M條直線集合LM擬合一個眼球中心的投影cm，如式(3)所示。

統(tǒng)計與cm相距指定范圍內(nèi)的直線數(shù)量，從中取M條直線并計算其交點。選取閾值距離內(nèi)直線數(shù)量最多的一組，并將組內(nèi)符合閾值條件的直線再次計算交點。當擬合結(jié)果穩(wěn)定時，該組直線擬合的交點即為眼球中心c。

1.2.3 求解瞳孔中心

圖5 計算眼球半徑

(3)

圖6 求解實時瞳孔中心

(5)

式中，L和d的長度分別由式(6)和式(7)求得。

(6)

(7)

最終計算出眼球中心到瞳孔中心的三維矢量即為視線方向：

(8)

1.2.4 標定與映射

通過平滑尾隨的一點式標定，按照均勻分布的收集路線移動視線收集足夠多的標定點，并對數(shù)據(jù)進行九參數(shù)映射多項式回歸，其注視點與視線方向角的映射關(guān)系如公式(9)和公式(10)所示：

(9)

(10)

式中，xi和yi為標定點坐標，αi和βi分別為視線方向nreal-time轉(zhuǎn)換而來俯仰角和偏航角，由于眼球繞Z軸旋轉(zhuǎn)，故不考慮滾轉(zhuǎn)角。

1.3 計算注視深度

由于對三維視線進行二維注視點映射缺乏注視深度信息，本文設(shè)計了一種雙目視線空間求交法來計算注視深度。

圖7 注視點-眼球模型

求解雙目的注視距離δL與δR，如式(11)與式(12)所示。

(11)

(12)

將δL與δR代入式(13)計算左右眼注視點的中點，即為場景坐標系下三維注視點的坐標VPoG(x，y，z)。

(13)

式中，CL與CR分別為左右眼眼球中心的坐標，注視點坐標z分量即為注視深度信息。

1.4 滑移補償

使用頭戴式測量設(shè)備時，設(shè)備滑動會對后續(xù)的眼動測量結(jié)果產(chǎn)生較大誤差，為此本文設(shè)計了一種IMU 滑移補償算法來進行誤差進行校正。

當發(fā)生滑動時，系統(tǒng)記錄的運動信號是真實注視點運動和設(shè)備滑動的運動組合。水平和垂直方向滑移補償后的結(jié)果可表示為：

ex(n)=sx(n)-px(n)

(14)

ey(n)=sy(n)-py(n)

(15)

式中，e(n)代表當前真實注視點坐標，s(n)為系統(tǒng)得到的注視點坐標，p(n)表示設(shè)備滑動導致的偏移量。

使用慣性測量單元(IMU)記錄滑移數(shù)據(jù)來補償px(n)和py(n)，其中IMU包括了加速度計、陀螺儀和磁力計三種傳感器[12]。將三種傳感器信號結(jié)合成包含每個歐拉角方向的三維信號(φ，θ，ψ)[13]，并依據(jù)式(16)計算注視點坐標系中的α，β，如圖8 所示。

圖8 映射后的歐拉角示意圖

(16)

計算滑動偏移量p(n)，見公式(17)

(17)

式中，(xmax，ymax)為場景相機的分辨率，(αmax，βmax)為水平和垂直方向上的最大角度視圖。

當眼動儀的眼部攝像機檢測到眼部圖像發(fā)生變化時，即說明發(fā)生滑動，系統(tǒng)開始對此后的注視點數(shù)據(jù)進行校正。在式(14)、式(15)中減去估計的滑動運動px(n)和py(n)，得到真實的眼動數(shù)據(jù)e(n)，減小滑動帶來的誤差。

2 實驗過程與結(jié)果

2.1 實驗設(shè)計

本文設(shè)置6組實驗，分別從注視點精度、注視深度可用性、滑移補償效能三個方面對本系統(tǒng)進行驗證。

表1展示了四種三維眼動追蹤系統(tǒng)的硬件對比。表1表明在使用相同材質(zhì)框架的情況下，本文使用的單相機單光源設(shè)備重量僅為85克，與Tobii最新款頭戴式眼動儀glass3 pro保持在同一水平，相比于其他眼動跟蹤設(shè)備更為輕量化。

表1 不同三維眼動追蹤系統(tǒng)硬件對比

圖9 實驗測試點分布

(18)

為驗證注視深度計算方法的可用性，在燈光明亮的房間里，被試者注視預設(shè)定的六個測量點，每個點凝視2 s以上，在每個注視點中隨機抽取100幀的數(shù)據(jù)。設(shè)置六種觀察距離(分別在0.4 m、 0.6 m、 0.8 m、 1 m、 1.2 m、 3 m處)，這些不同的注視距離用來測試校準距離之外的設(shè)備性能，注視點采用圓點進行視覺刺激且每個注視點的數(shù)據(jù)分開采樣，以Mikka的深度測量方法作為對照。

為驗證滑移補償算法，模擬使用過程中發(fā)生的滑動。在距刺激網(wǎng)格屏幕1.5 m處，要求被試者注視網(wǎng)格中的標記，網(wǎng)格大小(水平和垂直)為105 cm × 73 cm(從1.5 m的距離看，相當于40 cm × 28 cm)。被試者雙手握住眼動儀在水平和垂直四個方向上進行模擬滑動，以約1 Hz的速率移動眼動儀1～2 cm。并與Larsson提出的滑移補償效果進行對比。

為了評估眼動追蹤數(shù)據(jù)中補償眼鏡滑移運動的效果，計算了四種不同情況下注視穩(wěn)定目標時的標準差：

(1)正常使用眼動儀注視測量點后，不進行滑移運動補償；

(2)正常使用眼動儀注視測量點后，進行滑移運動補償；

(3)當注視測量點時刻意模擬使用過程中發(fā)生的滑動，并且不進行滑移運動補償；

(4)當注視測量點時刻意模擬使用過程中發(fā)生的滑動，并且進行了滑移運動補償。

實驗數(shù)據(jù)的計算如式(19)所示

(19)

2.2 實驗結(jié)果

注視點精度實驗，選用目前最新且精度較高的文獻[3]中Sun設(shè)計的雙目多紅外燈系統(tǒng)，來與本系統(tǒng)作對比。圖10 中(a)和(b)分別展示了本文的算法與Sun算法的注視點分布，其中紅點表示測試基準點，綠點表示該算法得到的注視點。通過計算得到兩種算法誤差對比，如表2 所示，表明本文EyeSecret系統(tǒng)平均誤差為0.582°，相比于Sun算法的0.613°提升了0.031°。

表2 本文與Sun方法注視點誤差對比

圖10 兩種方法的實驗注視點分布

表3給出了不同注視距離的情況下的精度對比結(jié)果，可以看出本文方法在0.8 m測量范圍內(nèi)的精確度明顯優(yōu)于Mikka算法，而隨著距離的增大，三維視線的匯聚角度逐步縮小，兩種方法的精度誤差也隨之增大，但對這些距離處的二維投影映射的影響非常小，二維注視點精度依然能夠保持在較高水平。

表3 實際距離與估計的凝視距離(平均、中值和標準差)

滑移前后使用補償算法的系統(tǒng)精準度對比如表4 所示。當測試人員被要求不刻意移動設(shè)備，并且進行滑移運動補償后，注視點的標準偏差從0.7°降至0.6°左右；當設(shè)備發(fā)生滑移后，水平方向的標準差從2.39°降至1.13°，垂直方向的標準差從1.99°降至0.85°。相比Larsson算法在補償前后分別在水平方向提升了0.09和0.65、垂直方向提升了0.06和0.48。

表4 滑移前后使用補償算法的系統(tǒng)精準度對比(標準差)

實驗表明，本系統(tǒng)相比Sun方案減少了一個眼部相機、三個紅外燈和大部分連接線材，重量僅為其1/4左右，更符合輕量化的要求；由于不存在多相機與紅外燈之間配準誤差的問題，本系統(tǒng)擁有更高的注視精準度；當注視范圍在0.8米以內(nèi)時，系統(tǒng)能夠精確地測量注視深度信息；此外，使用本文設(shè)計的滑移補償算法，可以將設(shè)備滑移帶來的誤差減少53%。

3 結(jié)論

本文設(shè)計了一種輕量化、高精度、具備深度信息測量和滑移補償能力的EyeSecret三維眼動追蹤系統(tǒng)。該系統(tǒng)使用單目相機和單紅外光源對眼球進行建模，計算出雙眼視線方向和注視點信息，并通過左右眼視線交叉得到注視點深度，同時使用IMU滑移補償算法對設(shè)備滑移誤差進行校正。實驗表明，本文的系統(tǒng)在僅重85 g的條件下注視精準度能夠達到0.58°，能夠有效測量80 cm內(nèi)的注視點深度距離，且可以使設(shè)備滑移帶來的誤差減小53%，從而滿足了輕量化和高精度的要求。該系統(tǒng)的設(shè)計和實現(xiàn)，可以為航空航天等特殊領(lǐng)域的三維眼動跟蹤方向的研究提供一種全新的解決方案，因而具有廣闊的應(yīng)用前景。