楊文珍, 張 昊, 吳新麗, 邵明朝, 金中正

(浙江理工大學(xué) 虛擬現(xiàn)實實驗室,浙江 杭州 310018)

?

面向移動終端人機交互的指尖點擊力

楊文珍, 張 昊, 吳新麗, 邵明朝, 金中正

(浙江理工大學(xué) 虛擬現(xiàn)實實驗室,浙江 杭州 310018)

為了實現(xiàn)智能移動終端基于指尖力的自然人機交互,以指尖點擊交互為研究對象,按3種指尖點擊力(輕點擊力、正常點擊力和重點擊力)開展實驗研究,探究指尖點擊交互時點擊力和點擊面積的內(nèi)在機理,試圖依據(jù)指尖點擊面積區(qū)別出這3種點擊力的交互行為.實驗結(jié)果如下：1) 大拇指、食指、中指和無名指都能夠施加有明顯區(qū)分度的輕點擊力、正常點擊力和重點擊力,特別是對輕點擊力均有很好的控制能力；2) 點擊力和點擊面積之間不存在滿映射關(guān)系,但是存在強相關(guān)性；3) 依據(jù)點擊面積可以很好地區(qū)分出指尖的輕點擊力和重點擊力.

指尖交互；點擊力；點擊面積；力覺交互；移動終端

目前,智能移動終端主要是通過監(jiān)測指尖在觸摸屏上的二維位置,進行交互操作,尚不能依據(jù)指尖力完成人們的交互意圖[1-2].所謂的“智能”只是停滯在指尖交互動作多樣性和機械性的層面上,遠(yuǎn)遠(yuǎn)沒有達(dá)到“以人為中心”的人機交互要求.

有些學(xué)者通過力傳感器直接測量指尖力,操作移動終端.Heo等[3]開發(fā)了一個裝有11個力傳感器的手機殼原型設(shè)備,力傳感器可以檢測到手指力,進而定義指尖力的交互行為.Lee等[4]通過力感應(yīng)層和彈性層,實現(xiàn)了移動終端指尖力輸入的性能.Stewart等[5]用Force Sensing Resistor,研發(fā)了一個可以感知壓力的手機[6].Heo等[7]設(shè)計出一種新型觸摸板,能夠跟蹤手指懸停和測量指尖力.John等[8]通過壓力傳感裝置測量了手指力,運用FE模型分析了指尖力抓持模型.

通過肌腱伸縮量[9]、肌電信號[10-11]、指甲顏色[12-15]、振動信號[16]和指尖形變[17-18]等方法,學(xué)者們研究了間接測量和分析指尖力,操作移動終端.Odagaki等[10]開發(fā)了一個移動終端3D touch界面,通過肌電放大器測量人手肌電信號,估計出指尖力.Liu等[11]測量了前臂肌的肌電信號,推測出指尖力.Mascaro等[12]研發(fā)了指甲傳感器,監(jiān)測指甲下的血容量,推算出指尖力.Chen等[13]通過照相機獲取指甲圖像,可以比較精確地求出指尖力.依據(jù)移動終端內(nèi)置的加速器可以吸收振動的原理,Hwang等[14]提出實時估計指尖力算法.依據(jù)紅外光譜照相機能夠得到指尖形變后的圖像[15],Soneda等[16]提出基于指尖形變的指尖感知性能分析方法,分析了指尖的振動閥值和觸覺分辨.Akihito等[17]用普通照相機,開發(fā)了一個基于指尖形變的指尖力測量裝置.

指尖力直接測量的方法需要利用外部設(shè)備,不利于在移動終端設(shè)備上的集成.指尖力間接測量的方法無需外部設(shè)備可以獲取指尖力,是較佳的方法.在基于指尖接觸面積的指尖力測量方法的基礎(chǔ)上[18],著重分析指尖點擊交互時指尖力的測量、指尖力的區(qū)分度、指尖力的接觸面積以及指尖力和接觸面積的相關(guān)性等,探索在不增加任何硬件的條件下,研發(fā)面向移動終端基于指尖力交互的可行性.

1 實驗設(shè)計

構(gòu)建指尖力和指尖接觸面積的測量平臺,設(shè)計指尖點擊力交互的實驗內(nèi)容,開展3種點擊力交互的實驗測量,記錄點擊力和點擊面積的實驗數(shù)據(jù),分析點擊力、點擊面積以及兩者之間的關(guān)系.

當(dāng)用3種指尖點擊力(輕點擊力、正常點擊力和重點擊力)表達(dá)不同交互意圖時,通過實驗研究試圖發(fā)現(xiàn)：1)人手指尖能否有效控制和施加有明顯區(qū)分度的這3種點擊力？2)在這3種點擊力下,能否得到有明顯區(qū)別度的3種點擊面積？3)能否找出點擊力和點擊面積之間的關(guān)系,以便移動終端能夠通過獲取不同的點擊面積,解析出不同的點擊力,進而定義出不同的交互意圖.

1.1 實驗平臺的構(gòu)建

實驗裝置采用美國Tekscan公司Grip握力壓力分布測量系統(tǒng),開展指尖點擊力交互的實驗研究,測量點擊力和點擊面積的實驗數(shù)據(jù).該系統(tǒng)的硬件為基于計算機的A/D轉(zhuǎn)換電路和高靈敏度的壓阻式感測片,軟件為基于Windows操作系統(tǒng)的壓力顯示和分析軟件Grip Research 6.51,實驗平臺如圖1所示.

圖1 指尖力和指尖接觸面積的測量平臺Fig.1 Instruments for measuring fingertip forces and its contact areas

點擊實驗時,感測片貼著在測試手指的指腹上,感測片的電阻會隨著點擊力的變化而變化,進而導(dǎo)致電流的變化.軟件通過分析電流變化的情況,測得點擊力；通過分析電阻變化的區(qū)域,測得點擊面積.該平臺具有較高的測量精度和響應(yīng)速度,能夠?qū)崟r動態(tài)地記錄與顯示指尖的作用力和作用面積,可以將測量的數(shù)據(jù)導(dǎo)出到其他數(shù)據(jù)分析軟件,具有較好的兼容性.

1.2 實驗測試者和實驗內(nèi)容

1.2.1 實驗的測試者 由于不同人的指尖有個性化差異,比如指尖形狀、指尖皮膚彈性、點擊力的控制能力等,實驗的測試者對實驗結(jié)果有一定的影響.為了確保實驗數(shù)據(jù)的一致性,實驗測試者均為成年人.邀請了5個測試者(3男2女,22～27歲)參與實驗,他們手指健全、無畸形并且慣用手為右手.測試者均沒有受過有關(guān)手指力方面的專業(yè)訓(xùn)練,不具有超常的手指作用力,身體健康狀況良好,在最近3個月中,測試者手指沒有發(fā)生骨折或者扭傷之類的運動性損傷,并且在實驗的前一天沒有參加劇烈的運動,沒有出現(xiàn)肌肉酸痛疲勞的情況.

1.2.2 實驗內(nèi)容 在要求測試者有意識地控制指尖點擊力情況下,開展指尖輕點擊力動作、指尖正常點擊力動作和指尖重點擊力動作的實驗測量.輕點擊力動作是指測試者故意施加較小的指尖力,點擊移動終端觸摸屏的行為；正常點擊力動作是指測試者不故意控制指尖力,點擊移動終端觸摸屏的行為；重點擊力動作是指測試者故意施加較大的指尖力,點擊移動終端觸摸屏的行為.如表1所示為設(shè)計的實驗內(nèi)容.

表1 指尖點擊力測量的實驗內(nèi)容

圖2 各手指點擊動作的姿態(tài)Fig.2 Gestures of fingertip tapping

1.2.3 實驗測量過程 測試者在最近的24 h內(nèi)手指沒有高強度運動,試驗過程中要保持手指指腹皮膚干燥.在約20 ℃室溫下,校準(zhǔn)Grip握力壓力分布測量系統(tǒng)后,開展點擊動作的點擊力及對應(yīng)的點擊面積的測量.考慮到小拇指的點擊動作不夠靈活,平常人們很少用小拇指與移動終端進行點擊交互,實驗只測量測試者左、右手的大拇指、食指、中指和無名指的實驗數(shù)據(jù).

測試者按手指日常點擊交互的姿勢(手指與觸摸屏平面大致構(gòu)成約30°角),進行點擊實驗,不能使用腕部和手臂力量進行點擊.對于大拇指而言,人們通常是在握持觸摸屏狀態(tài)下行點擊交互,如圖2(a)所示,因此實驗測量過程中采用該姿態(tài).對于食指、中指和無名指,人們通常是在觸摸屏平放狀態(tài)下進行點擊交互,如圖2(b)～(d)所示,因此實驗測量過程中采用平放的姿態(tài).

為了避免手指肌肉疲勞對實驗測量數(shù)據(jù)的影響,設(shè)定每次實驗的采集時間為15 s(為了讓測試者能夠熟悉實驗流程,預(yù)實驗的時間為20 s),兩次實驗之間的間隔不少于2 min,采集頻率設(shè)置為500 Hz.在正式測量時,測試者對每個實驗項目的每個手指須進行4次實驗,以獲取大樣本的實驗數(shù)據(jù)(預(yù)實驗中,為了使測試者熟悉實驗內(nèi)容和實驗要求,實驗次數(shù)有所增加).點擊力為F,點擊面積為S.每次實驗測量時間為T.實驗數(shù)據(jù)量為N.

2 實驗數(shù)據(jù)的處理

由于采集頻率為500 Hz,在指尖一次點擊時,Grip握力壓力分布測量系統(tǒng)可以測得多個點擊力數(shù)據(jù),取點擊力的峰值作為該次點擊力,同時取該時刻的面積數(shù)據(jù)作為該次點擊的點擊面積.例如,如圖3所示為某測試者在某次大拇指重點擊力測量的點擊力數(shù)據(jù),在該實驗測量過程中,該測試者共有25次的重點擊力動作,取這25個峰值作為該次實驗的測量數(shù)據(jù).

為了排除人們左、右手指靈活度的差異,提示點擊力和點擊面積的一般規(guī)律,不區(qū)別左右手,以大拇指、食指、中指和無名指為單元,處理實驗數(shù)據(jù).通過實驗測量,得到了5名測試者大拇指、食指、中指和無名指的點擊力和點擊面積的原始數(shù)據(jù),如圖4～7所示.各手指測得的數(shù)據(jù)量如表2所示.

表2 各手指測得的數(shù)據(jù)量

圖3 某次大拇指重點擊力的測量數(shù)據(jù)Fig.3 Thumb heavy tapping forces data of one test

圖4 大拇指的點擊力和點擊面積數(shù)據(jù)Fig.4 Data of thumb tapping forces and tapping areas

圖5 食指的點擊力和點擊面積數(shù)據(jù)Fig.5 Data of index finger tapping forces and tappingareas

圖6 中指的點擊力和點擊面積數(shù)據(jù)Fig.6 Data of middle finger tapping forces and tappingareas

圖7 無名指點的點擊力和點擊面積數(shù)據(jù)Fig.7 Data of ring finger tapping forces and tapping areas

從圖4～7可以發(fā)現(xiàn)：1) 4個手指輕點擊力的區(qū)間很窄,表明測試者均能夠較好地控制4個手指的輕點擊力；2) 4個手指重點擊力的區(qū)間較寬,是因為在重點擊力實驗過程中,只要求測試者用較大的點擊力,導(dǎo)致重點擊力比較分散；3) 對比4個手指的重點擊力區(qū)間,大拇指的重點擊力區(qū)間更分散,表明在作用較大力時,大拇指相對不夠靈巧,與日常生活經(jīng)驗一致；4) 4個手指的點擊力和點擊面積,均有較好的區(qū)分度；5) 4個手指的測量數(shù)據(jù)均表現(xiàn)出輕點擊力時點擊面積小,正常點擊力時點擊面積較大,重?fù)袅r點擊面積最大的這一特點,與日常生活經(jīng)驗一致.另外,在實驗過程中發(fā)現(xiàn),正常點擊力時手指的點擊頻率最高,輕點擊力時其次,重點擊力時最低,表明測試者在有意識控制手指點擊力時會降低手指的點擊頻率,而且手指的點擊力越大,手指的點擊頻率越低,符合人們的日常生活經(jīng)驗.

這些實驗數(shù)據(jù)樣本是可信、有效的,正確記錄了指尖點擊動作時的點擊力和點擊面積.

3 實驗數(shù)據(jù)的分析

通過Origin軟件,分析實驗數(shù)據(jù).Origin軟件是國際公認(rèn)的圖形可視化和數(shù)據(jù)分析軟件,滿足指尖點擊交互的數(shù)據(jù)分析需要.

3.1 點擊力的數(shù)據(jù)分析

Origin軟件呈現(xiàn)了4個手指的點擊力數(shù)據(jù),如圖8所示.可以看出：1)4個手指的輕點擊力、正常點擊力和重點擊力沒有重疊區(qū)域,表明4個手指均能很好地區(qū)別且施加這3種點擊力.2)相對于重點擊力數(shù)據(jù)和正常點擊力數(shù)據(jù),4個手指的輕點擊力數(shù)據(jù)更集中,表明4個手指均能很好地施加輕點擊力.從這些樣本數(shù)據(jù)中可以得出人們不同的交互意圖可以通過輕點擊力、正常點擊力和重點擊力這3種不同的指尖點擊力來表達(dá),特別是人們能夠通過輕點擊力正確地表達(dá)出交互意圖,人機交互的正確率很高.

圖8 四個手指的點擊力數(shù)據(jù)Fig.8 Fingertip tapping forces data of four fingers

3.2 點擊面積的數(shù)據(jù)分析

Origin軟件統(tǒng)計分析了4個手指的點擊面積數(shù)據(jù),如圖9所示.由于Grip握力壓力分布測量系統(tǒng)的面積分辨率為0.16 cm2,實驗測得的點擊面積數(shù)據(jù)以0.16 cm2為單位跳躍.

在輕點擊力交互時,點擊面積集中分布在0.32～0.64 cm2,占總數(shù)據(jù)量的91%,說明測試者在施加穩(wěn)定的輕點擊力的同時,點擊面積數(shù)據(jù)較集中且數(shù)值小.在重點擊力交互時,點擊面積數(shù)據(jù)分布范圍較廣,大部分?jǐn)?shù)據(jù)集中在1.28～1.92 cm2,占總數(shù)據(jù)量的92%,這和重點擊力分布較廣、波動較大有著直接的關(guān)系,同時說明重點擊力數(shù)據(jù)和重點擊面積數(shù)據(jù)分布具有較好的相關(guān)性.正常點擊力交互的面積數(shù)據(jù)的分布情況介于輕點交互和重點交互之間,符合常識.

和點擊力數(shù)據(jù)不同的是,這3種點擊交互的面積數(shù)據(jù)之間具有一定的重合度.1)對于輕點擊力交互和正常點擊力交互,在0.64～0.96 cm2區(qū)間點擊面積有重疊,但重疊區(qū)的數(shù)據(jù)比例較?。?)對于正常點擊力交互和重點擊力交互,在0.96～1.60 cm2區(qū)間點擊面積有重疊,重疊區(qū)的數(shù)據(jù)比例較大；3)對于輕點擊力交互和重點擊力交互,在0.96 cm2處略有重疊,重疊區(qū)的數(shù)據(jù)比例很小.上述現(xiàn)象可能的原因是因為手指接觸力和接觸面積存在指數(shù)函數(shù)關(guān)系[20].在輕點擊交互時,手指力和所產(chǎn)生的形變較小,但是隨著點擊力的增加,手指接觸面積的變化率會不斷降低,從而導(dǎo)致正常點擊交互和重點擊交互所對應(yīng)的面積數(shù)據(jù)重合度相對較大.

圖9 4個手指的點擊面積數(shù)據(jù)Fig.9 Fingertip tapping area data of four fingers

3.3 點擊面積的區(qū)分度分析

由于0.16 cm2的面積分辨率較低,影響了用點擊面積來區(qū)別這3種點擊力交互的精度.從圖9可以看出2種不同點擊力交互的點擊面積重疊區(qū)所占的概率均不高.基于這兩點,剔除了點擊面積發(fā)生概率小于3%的數(shù)據(jù),保留其他數(shù)據(jù),如表3所示.表中，Nt、Ni、Nm、Np分別為大拇指、食指、中指、無名指的數(shù)據(jù)量.

引入點擊面積區(qū)分度η,量化表征點擊面積區(qū)分這3種點擊力交互的程度.

(1)

式中：p、q分別為某種點擊力交互的點擊面積重疊區(qū)的實驗數(shù)據(jù)數(shù)目,P、Q為p、q對應(yīng)的某種點擊力交互的實驗數(shù)據(jù)數(shù)目.比如,對于輕點擊力交互和正常點擊力交互,食指的點擊面積區(qū)分度η=89.53%,可由p=118,q=128,P=72+317+231+210+118=948和Q=128+361+498+306+109=1 402求得.

表3 剔除點擊面積發(fā)生概率小于3%數(shù)據(jù)后的實驗數(shù)據(jù)量

表4列出了各手指的點擊面積區(qū)分度.可以得出,依據(jù)點擊面積能夠很好地區(qū)別出輕點擊力交互和重點擊力交互或者輕點擊力交互和正常點擊力交互,但是依據(jù)點擊面積不能較好地區(qū)別出正常點擊力交互和重點擊力交互.

表4 各手指不同類型點擊交互之間數(shù)據(jù)區(qū)分度

Tab.4 Distinguishment of three type tapping force interactions

手指η輕點擊交互和正常點擊交互重點擊交互和正常點擊交互輕點擊交互和重點擊交互大拇指100.00%31.91%100.00%食指89.53%67.28%100.00%中指100.00%41.78%100.00%無名指100.00%41.91%100.00%

4 結(jié) 語

指尖力可以表達(dá)出人們豐富的情感信息和交互意圖,然而,目前智能移動終端無法依據(jù)指尖力進行自然的人機交互.為此,開展了指尖點擊交互時點擊力和點擊面積的實驗研究,

依據(jù)實驗樣本數(shù)據(jù),可以得出以下結(jié)論：1) 大拇指、食指、中指和無名指都能施加有明顯區(qū)分度的輕點擊力、正常點擊力和重點擊力；2) 四指對輕點擊力均有很好的控制能力；3) 點擊力和點擊面積之間不存在一一映射關(guān)系,但是存在較強的相關(guān)性；4) 點擊面積在一定程度上可以區(qū)別出3種點擊力交互；5) 依據(jù)點擊面積可以很好地區(qū)分出輕點擊力交互和重點擊力交互.

在不增加任何硬件條件下,研發(fā)基于指尖力的移動終端人機交互技術(shù)是可行的,而且具有很大的發(fā)展前景.

[1] HEO S, GU J, LEE G. Expanding touch input vocabulary by using consecutive distant taps [C]∥ ACM Conference on Human Factors in Computing Systems. Toronto: ACM, 2014: 2597-2606.

[2] ARIF A S, MAZALEK A, STUERZLINGER W. The use of pseudo pressure in authenticating smartphone users [C] ∥ MOBIQUITOUS’14. London: IEEE, 2014: 151-160.

[3] HEO S, LEE G. Force gestures: augmented touch screen gestures using normal and tangential force[C] ∥ UIST’11. New York: ACM, 2011: 621-626.

[4] LEE B, LEE H, LIM S, et al. Evaluation of human tangential force input performance [C]∥ ACM Conference on Human Factors in Computing Systems. New York: ACM, 2012: 3121-3130.

[5] STEWART C, ROHS M, KRATZ S, et al. Characteristics of pressure-based input for mobile devices [C]∥ ACM Conference on Human Factors in Computing Systems. Atlanta: ACM, 2010: 801-810.

[6] STEWART C, HOGGAN E, HAVERINEE L, et al. An exploration of inadvertent variations in mobile pressure input [C] ∥ MobileHCI’12. San Francisco: ACM, 2012: 1-5.

[7] HEO S, HAN J, LEE G. Designing rich touch interaction through proximity and 2.5D force sensing touchpad [C]∥ Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration. New York: ACM, 2013: 401-404.

[8] JOHN W, REN D, CHRISTOPHER W, et al. Analysis of the effects of surface stiffness on the contact interaction between a finger and a cylindrical handle using a three-dimensional hybrid model [J]. Medical Engineering and Physics, 2014, 36 (7): 831-841.

[9] HEO P, KIM J. Finger flexion force sensor based on volar displacement of flexor tendon [C]∥ ICRA’12. Saint Paul: IEEE, 2012: 1392-1397.

[10] ODAGAKI M, TAURA T, HARAKAWA T. Touch interface for sensing fingertip force in mobile device using electromyogram [C]∥ EMBS’13. Osaka: IEEE, 2013: 3443-3446.

[11] LIU P, MARTEL F, RANCOURT D, et al. Fingertip force estimation from forearm muscle electrical activity [C]∥ ICASSP’14. Florence: IEEE, 2014: 2069-2073.

[12] MASCARO S A, ASADA H. Measurement of finger posture and three-axis fingertip touch force using fingernail sensors [J]. IEEE Transactions on Robotics and Automation, 2004, 2(1): 26-35.

[13] CHEN N, URBAN S, BAYER, et al. Measuring fingertip forces from camera images for random fingerposes [C]∥ IROS’15. Hamburg: IEEE, 2015: 1-6.

[14] HWANG S, BIANCHI A, WOHN K Y. Vibpressestimation pressure input using vibration absorption on mobile devices [C]∥ MobileHCI′13. Munich: ACM, 2013: 27-30.

[15] KURITA Y, IKEDA A, UEDA J, et al. A fingerprint pointing device utilizing the deformation of the fingertip during the incipient slip [J]. IEEE Transaction onRobotics, 2005, 21 (5): 801-811.

[16] SONEDA T, NAKANO K. Investigation of vibrotactile sensation of human fingerpads by observation of contact zones [J]. International Tribology, 2010,43(1): 210-217.

[17] AKIHITO K, TSUJI T, KURITA Y. Fingertip force estimation based on the deformation of the fingertip [M]∥ HIROYUKI K, HIDEYUKI A, KI-UK K. Haptic interaction. Japan: Springer, 2015: 201-205.

[18] 楊文珍, 高曙明, 萬華根, 等. 基于人手指力學(xué)特性的虛擬手接觸力生成[J]. 浙江大學(xué)學(xué)報：工學(xué)版, 2008, 42(12): 2145-2150.

YANG Wen-zhen, GAO Shu-ming, WAN Hua-gen, et al. Contact force rendering of virtual hand interaction based on human fingers’ force characteristics [J]. Journal of Zhejiang University: Engineering Science, 2008, 42(12): 2145-2150.

Fingertip tapping force analysis for mobile devices HCI

YANG Wen-zhen, ZHANG Hao, WU Xin-li, SHAO Ming-chao, JIN Zhong-zheng

(VirtualRealityLaboratory,ZhejiangSci-TechUniversity,Hangzhou310018,China)

Three type tapping forces (gentle tapping force, normal tapping force and heavy tapping force) and their corresponding tapping contact areas were measured and analyzed to explore the fingertip tapping forces interaction behaviors in order to realize the natural human-computer interaction (HCI) on the smart mobile devices by fingertip forces. Experimental results were as follows. 1) Thumb, index finger, middle finger, and ring finger have strong abilities to control their fingertip forces with gentle, normal, and heavy tapping actions, and more clearly. Every finger can act precise general tapping forces. 2) The gentle tapping force and the heavy tapping force can be definitely recognized by their tapping contact areas, although there is no exact full mapping correlations between the tapping forces and the tapping contact areas. 3) In some extents, three types tapping forces can be distinguished by their corresponding tapping contact areas.

fingertip interaction; tapping force; tapping contact area; haptic interaction; smart mobiledevice

2015-11-10.

浙江省自然科學(xué)基金資助項目(LY14F020048)；浙江省科技廳公益資助項目(2016C33174)；國家自然科學(xué)基金資助項目(61332017)；國家“863”高技術(shù)研究發(fā)展計劃資助項目(2013AA013703).

楊文珍(1976—),男,副教授,從事人機交互和機器人的研究. ORCID: 0000-0002-0068-1497. E-mail: ywz@zstu.edu.cn

10.3785/j.issn.1008-973X.2016.10.021

TP 391

A

1008-973X(2016)10-1995-07

浙江大學(xué)學(xué)報(工學(xué)版)網(wǎng)址： www.zjujournals.com/eng