羅來曦 朱漁

摘 要：眼動跟蹤技術(shù)作為人機(jī)交互方式的重要補(bǔ)充，其可有效提升用戶的沉浸感，對于解決虛擬現(xiàn)實(shí)頭盔中的諸多技術(shù)問題具有十分重要的意義?，F(xiàn)階段面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤技術(shù)的研究仍處于起步階段，因此，文章面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤系統(tǒng)設(shè)計(jì)構(gòu)建了虛擬現(xiàn)實(shí)硬件平臺、眼動跟蹤軟件模塊及圖像采集硬件模塊，有效提升了虛擬現(xiàn)實(shí)頭盔的實(shí)用性。

關(guān)鍵詞：虛擬現(xiàn)實(shí)頭盔;眼動跟蹤技術(shù);眼圖處理模塊;視線估計(jì)模塊

0 引言

眼球的運(yùn)動直觀反映了個體的思維活動，通過追蹤眼球運(yùn)動可實(shí)現(xiàn)個體思考模式與感知能力的分析。在虛擬現(xiàn)實(shí)環(huán)境下，個體往往會因方向感的缺失而產(chǎn)生不適感，繼而對沉浸式體驗(yàn)過程造成不良影響，為了解決這一問題，開發(fā)者通常會以小地圖、箭頭、覆蓋路徑等方式為用戶提供導(dǎo)航，但又不可避免地導(dǎo)致顯示器可見范圍被占用。為了解決這一問題，開發(fā)人員試圖利用眼動跟蹤技術(shù)的引入分析用戶眼動數(shù)據(jù)，繼而預(yù)測其對導(dǎo)航的需求，為用戶提供自適應(yīng)輔助導(dǎo)航功能。因此，本文重點(diǎn)面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤技術(shù)進(jìn)行研究，以期提升虛擬現(xiàn)實(shí)頭盔的用戶體驗(yàn)。

1 ? 眼動跟蹤對虛擬現(xiàn)實(shí)頭盔的意義

眼動跟蹤技術(shù)是虛擬現(xiàn)實(shí)頭盔中關(guān)鍵的技術(shù)之一，其不僅有助于提升VR世界的視覺廣度，緩解用戶肢體疲勞，還可提升注視點(diǎn)分辨率，及時響應(yīng)環(huán)境感知，強(qiáng)化人機(jī)交互效果。

1.1 ?緩解用戶肢體疲勞

現(xiàn)階段，虛擬現(xiàn)實(shí)頭盔因技術(shù)的局限性仍較為笨重，用戶佩戴與交互操作過程中需要借助一系列肢體動作，如通過操作手柄選擇虛擬菜單、以手持續(xù)滑動虛擬界面等，這無疑對用戶體驗(yàn)感造成了極大影響。而眼動跟蹤技術(shù)的引入解放了用戶的雙手，很多疲勞動作均可以用眼神操作加以替代，這使得用戶在虛擬場景中動作敏捷、反應(yīng)迅速、判斷精準(zhǔn)，只需瞄準(zhǔn)目標(biāo)即可完成對應(yīng)操作，配合虛擬現(xiàn)實(shí)頭盔的頭動追蹤裝置，可有效降低用戶的肢體動作。此外，眼動跟蹤技術(shù)還可定義用戶虛擬形象，并增添眨眼等表情，為虛擬社交的生動演繹提供了途徑。

1.2 ?提升注視點(diǎn)分辨率

現(xiàn)階段，虛擬現(xiàn)實(shí)頭盔應(yīng)用受阻的重要原因之一在于其價(jià)格高昂，這使得普通消費(fèi)群體望而卻步，而虛擬現(xiàn)實(shí)頭盔成本高昂主要是由于其屏幕的高分辨率要求。就人眼視覺原理而言，個體在觀察目標(biāo)物時僅僅集中在目標(biāo)對象極小范圍的區(qū)域，對于遠(yuǎn)離目標(biāo)對象的區(qū)域往往選擇主動忽略。從這一角度來看，眼動跟蹤技術(shù)可根據(jù)用戶需求主動調(diào)節(jié)注視點(diǎn)區(qū)域高分辨度，對于遠(yuǎn)離注視點(diǎn)的區(qū)域則逐級降低其分辨率，如此不僅保障了人眼對目標(biāo)物體的觀察，還極大地降低了對顯示屏的硬性需求，有利于縮減虛擬現(xiàn)實(shí)頭盔的成本。

1.3 ?及時響應(yīng)環(huán)境感知

在虛擬現(xiàn)實(shí)頭盔中，部分?jǐn)?shù)據(jù)分析與操作需要一定的時間方可完成，如通過線上數(shù)據(jù)庫搜索目標(biāo)，若用戶對特定方向進(jìn)行掃視，要求人機(jī)交互前系統(tǒng)后臺就要成功讀取和分析數(shù)據(jù)。而眼動跟蹤技術(shù)所提供的數(shù)據(jù)預(yù)取功能無疑滿足了虛擬現(xiàn)實(shí)頭盔的自然交互需求，其不僅有效改善了用戶在沉浸式環(huán)境中的感知響應(yīng)度，還為人機(jī)交互實(shí)時性的實(shí)現(xiàn)提供了技術(shù)支持，這對于移動數(shù)據(jù)網(wǎng)絡(luò)尤為有效。

2 ? 面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤系統(tǒng)

面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤系統(tǒng)，既要對該技術(shù)應(yīng)用場景的差異性進(jìn)行分析，又要構(gòu)建整個眼動跟蹤系統(tǒng)平臺，還要在虛擬現(xiàn)實(shí)環(huán)境下精準(zhǔn)追蹤和定位瞳孔，獲取瞳孔識別算法，并根據(jù)用戶佩戴頭盔的不適性進(jìn)行注視點(diǎn)校正，眼動跟蹤系統(tǒng)設(shè)計(jì)架構(gòu)如圖1所示。根據(jù)上述要求，需要構(gòu)建虛擬現(xiàn)實(shí)硬件平臺、眼動跟蹤軟件模塊、圖像采集硬件模塊。其中，圖像采集、眼動跟蹤軟件兩大模塊為整個系統(tǒng)的重中之重，后者涉及眼圖處理模塊、視線估計(jì)模塊兩方面。

2.1 ?虛擬現(xiàn)實(shí)硬件平臺的搭建

硬件平臺負(fù)責(zé)提供三維空間模擬功能，為用戶打造沉浸式交互效果，其主要涉及VR眼鏡處理器、VR眼鏡視頻現(xiàn)實(shí)器、VR眼鏡外部結(jié)構(gòu)3方面，既要確保所選處理器滿足視頻圖像處理性能要求，又要科學(xué)利用光學(xué)顯示模塊，還要確保結(jié)構(gòu)設(shè)計(jì)滿足用戶佩戴舒適度要求。因此，本文選用樂相科技的大朋VR頭盔作為虛擬現(xiàn)實(shí)硬件平臺，其采用的CPU為三星Exynos 7420，使用ARM四核Cortex-A57、Cortex-A53，不僅沉浸效果佳，而且運(yùn)算功能強(qiáng)，有助于保障交互過程的流暢性。不僅如此，該平臺采用的圖像處理器為MaliT760 MP8，頻率約772MHz，具有較強(qiáng)的圖像處理功能，加上屏幕高對比度和基于人體工程學(xué)的結(jié)構(gòu)設(shè)計(jì)，不僅有效降低了畫面余暉，還有效提升了佩戴舒適度，滿足系統(tǒng)對硬件平臺的要求[1]。

2.2 ?圖像采集硬件模塊的實(shí)現(xiàn)

本文構(gòu)建的是基于光反射類檢測算法、視頻圖形處理的眼動跟蹤系統(tǒng)，因而需要結(jié)合眼動環(huán)境差異科學(xué)選擇近紅外光源、CCD傳感器等，以構(gòu)建強(qiáng)大的圖像采集硬件模塊，既不對用戶眼睛造成傷害，又能獲取高質(zhì)量原始眼動圖像。為了提高用戶對圖像的識別效果，系統(tǒng)選擇采取波長為850 nm、輻射強(qiáng)度為350 mw/sr、直徑為5 mm、發(fā)射角度為 ? ? ? ?30?的近紅外光源作為環(huán)境光照的補(bǔ)充，該參數(shù)下的近紅外光源對人眼是安全的。對于紅外攝像頭的選型，本系統(tǒng)選擇的是對近紅外光線敏感的CCD攝像頭傳感器進(jìn)行原始眼動圖像的獲取，該傳感器具有光照范圍廣、分辨率高等特點(diǎn)，加上虛擬現(xiàn)實(shí)頭盔對傳感器的體積要求，系統(tǒng)采用的是中星微S900超小型紅外攝像頭，為了確保眼動圖像光線的均勻性，附加6個紅外LED光源[2]。

2.3 ?眼動跟蹤軟件模塊的實(shí)現(xiàn)

該模塊是眼動跟蹤系統(tǒng)的最重要模塊，其主要包括眼圖處理模塊與視線估計(jì)兩大部分，前者負(fù)責(zé)對眼動圖像進(jìn)行失真處理，并提取瞳孔的坐標(biāo)位置，后者則根據(jù)獲取眼動數(shù)據(jù)將瞳孔坐標(biāo)一一映射到屏幕坐標(biāo)系，完成人眼注視點(diǎn)的估計(jì)。

眼球圖像的處理主要通過圖像預(yù)處理、眼圖區(qū)域檢測及特征提取、瞳孔中心定位等完成對人眼瞳孔的識別。其中，眼動圖像預(yù)處理涉及OpenCV對原始眼球圖像的濾波處理，還需借助直方圖均衡化增強(qiáng)圖像灰度值兼具，確保圖像的清晰度;眼圖區(qū)域檢測需要借助分水嶺思想對原始眼動圖像進(jìn)行二值化分析，獲取最大穩(wěn)定極值區(qū)域，再利用橢圓擬合對各區(qū)域進(jìn)行處理，獲取穩(wěn)定區(qū)域的特征并予以提取;最后采用穩(wěn)定區(qū)域檢測與像素點(diǎn)、灰度特征相融合的方式對瞳孔進(jìn)行精準(zhǔn)定位。

眼動跟蹤的目標(biāo)集中在人的視線方向，因此，視線估計(jì)模塊必不可少，可根據(jù)眼圖數(shù)據(jù)進(jìn)行目光建模，確定人眼的視線方向與凝視點(diǎn)，再借助映射函數(shù)將圖像坐標(biāo)中的點(diǎn)映射到屏幕坐標(biāo)系中。為了實(shí)現(xiàn)視線估計(jì)，一方面需要結(jié)合已知眼動數(shù)據(jù)確定瞳孔坐標(biāo)系、屏幕坐標(biāo)系及二者關(guān)系，另一方面需要獲取實(shí)時眼動數(shù)據(jù)應(yīng)用到求出坐標(biāo)系的關(guān)系，繼而對人眼視線點(diǎn)進(jìn)行即時測量，常用視線估計(jì)方法包括二維估計(jì)法、三維估計(jì)法，前者適用于能夠獲得穩(wěn)定眼動數(shù)據(jù)的系統(tǒng)，后者則適用于多攝像機(jī)眼動跟蹤系統(tǒng)，應(yīng)用時需根據(jù)設(shè)計(jì)要求靈活選擇[3]。

3 ? 結(jié)語

綜上，眼動跟蹤技術(shù)是虛擬現(xiàn)實(shí)頭盔的必備技術(shù)之一，對于緩解用戶肢體疲勞、提升注視點(diǎn)分辨率、增強(qiáng)人機(jī)交互效果、及時響應(yīng)環(huán)境感知、提升虛擬現(xiàn)實(shí)頭盔的綜合性能意義重大。面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤系統(tǒng)構(gòu)建需要結(jié)合系統(tǒng)設(shè)計(jì)目標(biāo)及需求分析，開發(fā)和實(shí)現(xiàn)VR硬件平臺、圖像采集硬件、眼動跟蹤軟件三大模塊，然而，現(xiàn)階段面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤技術(shù)仍存在諸多不足之處，如采集瞳孔中心數(shù)據(jù)時因人眨眼頻率的不同，導(dǎo)致系統(tǒng)魯棒性較差，因此，還需進(jìn)一步加強(qiáng)眼動跟蹤技術(shù)的研究，以持續(xù)改善虛擬現(xiàn)實(shí)頭盔的應(yīng)用性能。

[參考文獻(xiàn)]

[1]]李永強(qiáng).面向智能頭顯的眼動跟蹤技術(shù)的研究[D].廣州：廣東工業(yè)大學(xué)，2019.

[2]李永強(qiáng).一種用于智能頭顯的眼動跟蹤系統(tǒng)[J].現(xiàn)代計(jì)算機(jī)，2019（13）：84-89.

[3]熊小峰.面向虛擬現(xiàn)實(shí)頭盔的眼動跟蹤系統(tǒng)研究[D].成都：電子科技大學(xué)，2017.

（編輯 王雪芬）