馬衛(wèi)華

摘 ?要： 為了解決面向移動(dòng)設(shè)備的眼動(dòng)跟蹤技術(shù)存在的計(jì)算效率低、跟蹤誤差大等問(wèn)題，采用改進(jìn)眼動(dòng)跟蹤技術(shù)的方法，開(kāi)展人機(jī)交互系統(tǒng)的研究。主要內(nèi)容包含系統(tǒng)總體架構(gòu)、系統(tǒng)用戶登錄、系統(tǒng)功能實(shí)現(xiàn)等內(nèi)容設(shè)計(jì)，并對(duì)系統(tǒng)功能實(shí)現(xiàn)展開(kāi)分析。研究結(jié)果表明，系統(tǒng)各功能及界面實(shí)現(xiàn)均滿足用戶要求，可用于指導(dǎo)新手用戶對(duì)重要信息的瀏覽，提升用戶理解效率。

關(guān)鍵詞： 人機(jī)交互; 人眼跟蹤技術(shù); 圖像處理; 移動(dòng)設(shè)備; 眼動(dòng)數(shù)據(jù); 標(biāo)定

中圖分類號(hào)： TN911.73?34; TP314.8 ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）13?0065?04

Research on real?time human eye tracking technology for

human?computer interaction system

MA Weihua

（College of Computer Science and Engineering， Cangzhou Normal University， Cangzhou 061001， China）

Abstract： Since the eye movement tracking technology oriented to mobile devices has the problems of low computational efficiency and large tracking error， the improved eye movement tracking technology is proposed to carry out the research of human?computer interaction system. The main contents include the design of system overall architecture， system user login and system function realization， in which the system function realization is analyzed. The research results show that all functions and interface realization of the system meet the user requirements， and the system can be used to guide the novice users to browse the important information and improve the user understanding efficiency.

Keywords： human?computer interaction; human eye tracking technology; image processing; mobile device; eye movement data; calibration

0 ?引 ?言

隨著科學(xué)技術(shù)的迅速發(fā)展，各類智能設(shè)備逐漸融入廣大民眾生活的各個(gè)方面，它們的出現(xiàn)和應(yīng)用能大幅度提高人們的工作及其學(xué)習(xí)效率。雖然智能移動(dòng)設(shè)備為居民日常生活帶來(lái)諸多便利，但也會(huì)出現(xiàn)一系列的問(wèn)題。因此，如何高效率、安全應(yīng)用智能移動(dòng)設(shè)備成為重要的問(wèn)題。

依托眼動(dòng)跟蹤技術(shù)設(shè)計(jì)的人機(jī)交互系統(tǒng)與傳統(tǒng)交互方法相比較，展現(xiàn)出更直接、高效等優(yōu)勢(shì)，從而順利實(shí)現(xiàn)所見(jiàn)即所得這一人機(jī)交互思想。在此基礎(chǔ)上，借助移動(dòng)設(shè)備運(yùn)用眼動(dòng)跟蹤技術(shù)，采用視線注視點(diǎn)替代手工操作，全方面分析用戶的視覺(jué)注意力，從而更便捷地完成人機(jī)交互。但智能移動(dòng)設(shè)備下的眼動(dòng)跟蹤技術(shù)受到硬件配置的限制，例如：攝像頭分辨率、內(nèi)存等，還難以順利實(shí)現(xiàn)精確的眼動(dòng)跟蹤，一般只是借助外部硬件設(shè)備支持，但這種情況又會(huì)加大成本。

因此，本文提出依托移動(dòng)設(shè)備的眼動(dòng)跟蹤方法，并研發(fā)與之對(duì)應(yīng)的人機(jī)交互系統(tǒng)，以期實(shí)現(xiàn)高效的眼動(dòng)跟蹤。

1 ?系統(tǒng)整體架構(gòu)設(shè)計(jì)

本次研究中選取服務(wù)器?客戶端建立應(yīng)用原始系統(tǒng)，其網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如圖1所示。該系統(tǒng)中主要包含兩類設(shè)備：一類為服務(wù)器，其主要功能用于對(duì)用戶賬號(hào)、上傳及下載數(shù)據(jù)進(jìn)行保存;另一類則是客戶端，用于計(jì)算、存儲(chǔ)用戶眼動(dòng)數(shù)據(jù)并展現(xiàn)眼動(dòng)數(shù)據(jù)可視化結(jié)果[1?2]。

所用智能移動(dòng)設(shè)備大多都配置相應(yīng)的前置攝像頭，均采用本文所用方法實(shí)現(xiàn)眼動(dòng)跟蹤。采用客戶端?服務(wù)器結(jié)構(gòu)能順利完成用戶之間的眼動(dòng)數(shù)據(jù)分享。在用戶采用移動(dòng)設(shè)備時(shí)，詳細(xì)記錄用戶的眼動(dòng)數(shù)據(jù)，隨之完成眼動(dòng)數(shù)據(jù)可視化結(jié)果分享，從而提升用戶瀏覽、理解視覺(jué)信息的水平[3?4]。

系統(tǒng)的總體架構(gòu)設(shè)計(jì)如圖2所示。共劃分為4個(gè)層次，其中，數(shù)據(jù)獲取層依托智能移動(dòng)設(shè)備的前置攝像頭獲得用戶使用場(chǎng)景的具體步驟;核心計(jì)算層則是該系統(tǒng)視線眼動(dòng)跟蹤計(jì)算過(guò)程，包含人眼檢測(cè)、特征值計(jì)算等;網(wǎng)絡(luò)傳輸層旨在完成客戶端和服務(wù)器之間的通信，客戶端依托網(wǎng)絡(luò)傳輸層完成登錄、上傳數(shù)據(jù)等操作;交互應(yīng)用層則是詳細(xì)記錄、分析可視化用戶瀏覽相關(guān)信息的眼動(dòng)數(shù)據(jù)，最終通過(guò)眼動(dòng)數(shù)據(jù)用于指導(dǎo)用戶獲得重要信息，提升交互信息傳遞水平[5?7]。

圖1 ?移動(dòng)設(shè)備眼動(dòng)跟蹤人際交互系統(tǒng)拓?fù)浣Y(jié)構(gòu)

圖2 ?系統(tǒng)總體架構(gòu)設(shè)計(jì)

2 ?系統(tǒng)功能及界面實(shí)現(xiàn)

本文的應(yīng)用系統(tǒng)功能包含用戶登錄、眼動(dòng)跟蹤數(shù)據(jù)實(shí)現(xiàn)等部分。面向人際交互設(shè)計(jì)的眼動(dòng)跟蹤系統(tǒng)依托Java語(yǔ)言完成開(kāi)發(fā)，開(kāi)放工具主要為MyEclipse，Eclipse。其中，MyEclipse主要功能在于完成服務(wù)器開(kāi)發(fā)工作;Eclipse旨在用來(lái)完成移動(dòng)設(shè)備客戶端開(kāi)發(fā)工作;服務(wù)器依托tomcat 7.0實(shí)現(xiàn)搭建，并完成數(shù)據(jù)存儲(chǔ)。

2.1 ?用戶登錄功能

為促使系統(tǒng)操作起來(lái)更方便、快捷，所設(shè)計(jì)的系統(tǒng)包含登錄界面布局和驗(yàn)證服務(wù)器端設(shè)計(jì)兩個(gè)方面的內(nèi)容。設(shè)計(jì)登錄頁(yè)面時(shí)，要依據(jù)登錄具體流程實(shí)施布局，主要由用戶名、密碼等控件組成，使用者輸入自己的賬號(hào)及密碼后，進(jìn)一步打開(kāi)該類型用戶的操作和權(quán)限功能[8]。登錄模塊操作流程如圖3所示。

為確保所設(shè)計(jì)系統(tǒng)操作更方便，設(shè)計(jì)的系統(tǒng)登錄界面對(duì)不同角色保留一些相似之處，只存在部分視覺(jué)方面的差異。用戶輸入自己的賬號(hào)及密碼后，系統(tǒng)會(huì)自動(dòng)判定用戶的身份類型，快速打開(kāi)該類型用戶的操作權(quán)限[9]。普通用戶順利進(jìn)入系統(tǒng)后，其具有的功能包括查閱相關(guān)信息;管理者登錄系統(tǒng)后，具有管理登錄用戶、公布相關(guān)信息等功能[10]。

圖3 ?用戶執(zhí)行登錄實(shí)現(xiàn)流程

2.2 ?系統(tǒng)功能實(shí)現(xiàn)

本次研究中利用標(biāo)定實(shí)現(xiàn)移動(dòng)設(shè)備的眼動(dòng)跟蹤，隨之，挑選詳細(xì)的功能，完成瀏覽后，用戶方能有選擇的將眼動(dòng)數(shù)據(jù)傳送至服務(wù)器，實(shí)現(xiàn)流程如圖4所示。

圖4 ?系統(tǒng)實(shí)現(xiàn)流程示意圖

借助該系統(tǒng)獲取的眼動(dòng)數(shù)據(jù)均是大量抽象的坐標(biāo)數(shù)據(jù)，如果直接把眼動(dòng)數(shù)據(jù)展示給用戶，一般情況下用戶很難對(duì)其實(shí)施快速、直觀的理解和分析。因此，必須針對(duì)眼動(dòng)數(shù)據(jù)展開(kāi)分析，并直觀表示眼動(dòng)數(shù)據(jù)特征，便于用戶理解。

本次研究把專家用戶的眼動(dòng)數(shù)據(jù)可視化結(jié)果展示給用戶，用來(lái)指導(dǎo)新手用戶對(duì)重要信息完成瀏覽，提升用戶的理解效率。

具體步驟如下：

1） 對(duì)數(shù)據(jù)實(shí)施過(guò)濾處理。在求解眼動(dòng)注視點(diǎn)過(guò)程中，因用戶頭部姿勢(shì)改變或環(huán)境突然發(fā)生變化、眼動(dòng)跟蹤系統(tǒng)自身有一定的誤差，導(dǎo)致注視點(diǎn)計(jì)算結(jié)果也會(huì)發(fā)生誤差。這種情況下，比對(duì)那些明顯的錯(cuò)誤數(shù)據(jù)實(shí)施過(guò)濾，本研究中對(duì)坐標(biāo)位置超越用戶瀏覽邊界的數(shù)據(jù)進(jìn)行刪除。

2） 繪制熱區(qū)圖。熱區(qū)圖代表用戶視線注意力累積分布狀況，也是最直接的表達(dá)方法。本研究中依托求解單個(gè)像素的透明度改變情況，并將鄰近像素間的影響考慮在內(nèi)，順利完成相應(yīng)的熱區(qū)圖繪制操作，單個(gè)像素透明度求解公式如下：

假設(shè)包含[n]個(gè)有待繪制的注視點(diǎn)，熱區(qū)圖中單個(gè)像素完成[i]個(gè)注視點(diǎn)繪制后的透明度為[Ti（i=1，2，…，n）]，[D]表示這個(gè)像素點(diǎn)至注視點(diǎn)之間的距離，[S]表示靈敏度，本研究中設(shè)置[S]為50。用戶注視比較多的區(qū)域更亮，而用戶注視少的區(qū)域比較暗，其效果如圖5所示。

圖5 ?熱區(qū)圖和AOI標(biāo)記結(jié)果

3） 在熱區(qū)圖對(duì)感興趣的區(qū)域進(jìn)行標(biāo)記，代表該區(qū)域重復(fù)查看次數(shù)。這一步驟中，圖片內(nèi)的感興趣區(qū)域已實(shí)現(xiàn)好劃分，每一張圖片內(nèi)可以有多個(gè)感興趣區(qū)域，包含多種內(nèi)容區(qū)域。因用戶有時(shí)需要對(duì)整個(gè)圖片實(shí)施掃視，但這種行為并非用戶觀察某個(gè)細(xì)節(jié)的區(qū)域，因此，必須將那些短暫的視線停留數(shù)據(jù)排除在外。本次研究中連續(xù)設(shè)置4個(gè)以上的注視點(diǎn)落到同一個(gè)感興趣區(qū)域內(nèi)，認(rèn)為用戶正在查看這一區(qū)域。在用戶進(jìn)行視線切換時(shí)，視線會(huì)暫時(shí)離開(kāi)感興趣區(qū)域的起始位置，并進(jìn)行轉(zhuǎn)移，當(dāng)用戶每一次切換視線，會(huì)對(duì)終點(diǎn)感興趣區(qū)域回看次數(shù)加1。完成所有感興趣區(qū)域回看次數(shù)統(tǒng)計(jì)工作，根據(jù)回看次數(shù)自高至低依次為紅、黃、綠三種標(biāo)簽。

4） 最終，對(duì)感興趣區(qū)域間的視線轉(zhuǎn)換圖進(jìn)行繪制，展現(xiàn)出不同感興趣區(qū)域之間的轉(zhuǎn)換關(guān)系。求解感興趣區(qū)域回看次數(shù)時(shí)，本次研究中詳細(xì)記錄各種感興趣區(qū)域間的轉(zhuǎn)換次數(shù)，并繪制相應(yīng)的視線轉(zhuǎn)換圖，展示各種感興趣區(qū)域的關(guān)系，如圖6所示。

圖6 ?感興趣區(qū)域間的視線轉(zhuǎn)換關(guān)系效果

2.3 ?系統(tǒng)界面實(shí)現(xiàn)

本次研究所設(shè)計(jì)的面向人機(jī)交互的眼動(dòng)跟蹤系統(tǒng)，在云端創(chuàng)建相應(yīng)的服務(wù)器，用來(lái)存儲(chǔ)用戶信息及相關(guān)的眼動(dòng)數(shù)據(jù)。

系統(tǒng)客戶端開(kāi)啟界面就是用戶的登錄界面，在這個(gè)界面中，如果用戶并未注冊(cè)賬號(hào)，可通過(guò)鼠標(biāo)點(diǎn)擊注冊(cè)按鈕，順利進(jìn)入用戶的注冊(cè)界面，輸入相應(yīng)的用戶名、密碼，并根據(jù)自身身份完成注冊(cè)。如果用戶已有賬號(hào)，可利用準(zhǔn)確的賬號(hào)和密碼完成登錄，順利進(jìn)入系統(tǒng)主界面，如圖7所示。

圖7 ?系統(tǒng)主界面示意圖

在主界面內(nèi)，依托“+”“-”按鈕恰當(dāng)調(diào)節(jié)人眼區(qū)域二值化閾值，點(diǎn)擊“二值圖”在屏幕右側(cè)展現(xiàn)人眼區(qū)域二值圖，如圖8所示。

在合理調(diào)節(jié)閾值后，通過(guò)點(diǎn)擊“標(biāo)定”按鈕，對(duì)前置攝像頭所捕捉的圖像實(shí)施最小化處理，并對(duì)其完成標(biāo)定處理。標(biāo)定順利完成后，點(diǎn)擊屏幕中的任意一個(gè)位置就能返回至系統(tǒng)主界面，通過(guò)點(diǎn)擊瀏覽按鈕對(duì)圖片進(jìn)行瀏覽操作。

圖8 ?二值圖顯示效果

3 ?結(jié) ?語(yǔ)

眼動(dòng)跟蹤技術(shù)主要用來(lái)分析、記錄用戶注視點(diǎn)坐標(biāo)，并在心理學(xué)、人機(jī)交互等方面得到廣泛的使用。本次研究中面向人機(jī)交互設(shè)計(jì)眼動(dòng)跟蹤系統(tǒng)，在概述系統(tǒng)設(shè)計(jì)架構(gòu)的基礎(chǔ)上，對(duì)其用戶登錄、系統(tǒng)功能實(shí)現(xiàn)等展開(kāi)設(shè)計(jì)，為類似研究提供一定的參考。

參考文獻(xiàn)

[1] 程時(shí)偉，孫志強(qiáng)，陸煜華，等.面向多設(shè)備交互的眼動(dòng)跟蹤方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2016，28（7）：1094?1104.

CHENG Shiwei， SUN Zhiqiang， LU Yuhua， et al. Eye tracking method for multi?device interaction [J]. Journal of computer?aided design and graphics， 2016， 28（7）： 1094?1104.

[2] 程時(shí)偉，蔡紅剛，曹斌，等.基于群智感知服務(wù)的眼動(dòng)數(shù)據(jù)眾包計(jì)算[J].計(jì)算機(jī)集成制造系統(tǒng)，2017，23（5）：1103?1112.

CHENG Shiwei， CAI Honggang， CAO Bin， et al. Crowdsour?cing of eye movement data based on group intelligence perception service [J]. Computer integrated manufacturing systems， 2017， 23（5）： 1103?1112.

[3] 楊慶華，張達(dá)磊，荀一，等.面向人機(jī)交互的眼動(dòng)跟蹤方法研究[J].機(jī)電工程，2016，33（7）：904?908.

YANG Qinghua， ZHANG Dalei， XUN Yi， et al. Research on eye tracking method for human?computer interaction [J]. Journal of mechanical & electrical engineering， 2016， 33（7）： 904?908.

[4] 程時(shí)偉，孫煜杰.面向閱讀教學(xué)的眼動(dòng)數(shù)據(jù)可視化批注方法[J].浙江工業(yè)大學(xué)學(xué)報(bào)，2017，45（6）：610?614.

CHENG Shiwei， SUN Yujie. Visual annotation method of eye movement data for reading teaching [J]. Journal of Zhejiang University of Technology， 2017， 45（6）： 610?614.

[5] 王佳雯，管業(yè)鵬.基于人眼注視非穿戴自然人機(jī)交互[J].電子器件，2016，39（2）：253?257.

WANG Jiawen， GUAN Yepeng. Based on human eye gaze non?wearable natural human?computer interaction [J]. Electronic devices， 2016， 39（2）： 253?257.

[6] 潘世豪，趙新?tīng)N，王雅萍，等.人體自由運(yùn)動(dòng)狀態(tài)下的視線追蹤算法研究[J].計(jì)算機(jī)應(yīng)用研究，2017，34（3）：911?914.

PAN Shihao， ZHAO Xincan， WANG Yaping， et al. Research on eye tracking algorithm under human free movement [J]. Application research of computers， 2017， 34（3）： 911?914.

[7] 張遠(yuǎn)輝，李顏，李孝祿，等.基于雙眼同步運(yùn)動(dòng)特征約束的Kalman瞳孔跟蹤算法[J].傳感技術(shù)學(xué)報(bào)，2018，31（1）：78?83.

ZHANG Yuanhui， LI Yan， LI Xiaolu， et al. Kalman pupil tracking algorithm based on binocular synchronous motion constraint [J]. Chinese journal of sensors and actuators， 2018， 31（1）： 78?83.

[8] 郭政業(yè)，胡雯薔，朱李瑾，等.基于眼球重建異面直線模型的雙目視線跟蹤算法[J].計(jì)算機(jī)應(yīng)用研究，2016，33（4）：1249?1252.

GUO Zhengye， HU Wenqiang， ZHU Lijin， et al. Binocular line?of?sight tracking algorithm based on eyeball reconstruction heteroplanar linear model [J]. Application research of computers， 2016， 33（4）： 1249?1252.

[9] 張琴.基于瞳孔定位技術(shù)的視覺(jué)跟蹤系統(tǒng)的研究[J].微型機(jī)與應(yīng)用，2016，35（4）：54?56.

ZHANG Qin. Research on visual tracking system based on pupil location technology [J]. Microcomputer and its applications， 2016， 35（4）： 54?56.

[10] 鄒云海，關(guān)蒲駿，楊波，等.基于FPGA與投影算法的快速眼動(dòng)跟蹤系統(tǒng)實(shí)現(xiàn)[J].四川大學(xué)學(xué)報(bào)（工程科學(xué)版），2016，48（3）：100?106.

ZOU Yunhai， GUAN Pujun， YANG Bo， et al. Implementation of fast eye movement tracking system based on FPGA and projection algorithm [J]. Journal of Sichuan University （Engineering science edition）， 2016， 48（3）： 100?106.