牛亞峰　薛澄岐　彭寧玥　周　蕾　吳聞宇　官　?！〗稹?/p>

(1東南大學(xué)機械工程學(xué)院, 南京 211189)(2中國石油大學(xué)(華東)機電工程學(xué)院, 青島 266580)

基于ERP技術(shù)的數(shù)字界面布局認知與評估

牛亞峰1薛澄岐1彭寧玥1周蕾1吳聞宇1官睿1金濤2

(1東南大學(xué)機械工程學(xué)院, 南京 211189)(2中國石油大學(xué)(華東)機電工程學(xué)院, 青島 266580)

摘要:為了探索用戶對數(shù)字界面不同布局形式的比較和評估的認知過程,根據(jù)事件相關(guān)電位技術(shù),采用較高相似度界面布局與較低相似度界面布局的Oddball實驗范式,并結(jié)合腦電數(shù)據(jù)與行為數(shù)據(jù),分析比較了2種相似度條件下N2b成分、P300成分的波幅和潛伏期變化情況．結(jié)果表明:在靶刺激認知早期階段,N2b成分的波幅與靶刺激和標準刺激的偏差程度呈正相關(guān)關(guān)系;進入較深層次加工過程后,靶刺激所誘發(fā)的P300成分的波幅與靶刺激和標準刺激的相似程度呈正相關(guān)關(guān)系．研究結(jié)論可拓展應(yīng)用于界面的迭代評估過程中,為實際項目中數(shù)字界面產(chǎn)品風(fēng)格繼承性評估提供重要的參考依據(jù)．

關(guān)鍵詞:事件相關(guān)電位(ERP);P300;N2b;界面布局;評估

隨著數(shù)字化和信息化時代的到來,數(shù)字界面已逐步取代傳統(tǒng)的硬件界面,成為人機交互的主要媒介與載體．?dāng)?shù)字界面由文字、符號、形狀等視覺元素構(gòu)成,其主要功能是實現(xiàn)系統(tǒng)與用戶之間的交流和信息傳遞．在影響數(shù)字界面可用性和美觀性的眾多因素中,界面布局形式在很大程度上影響了用戶搜索和獲取信息的效率．利用眼動追蹤技術(shù)可以獲取用戶訪問界面以及用戶與界面交互過程中所采取的認知策略,生理測評法[1]和主觀評價法也通常運用于數(shù)字界面評估中．事件相關(guān)電位(event-related potential)技術(shù)通過對頭皮相關(guān)電位的正負波進行腦電波形成像,反饋用戶細微的腦部認知活動,連續(xù)且精確地描述和分析用戶對數(shù)字界面的認知過程,從而將神經(jīng)生理學(xué)與認知過程緊密聯(lián)系．

在視覺Oddball范式中,用戶對靶刺激的識別過程包含工作記憶、注意、刺激評估和模式匹配等[2],靶刺激的出現(xiàn)會誘發(fā)較為顯著的P300成分．Kok[3]認為P300成分的波幅與刺激識別任務(wù)的難度呈正相關(guān),并反映了認知資源的分配情況．Kutas等[4]研究發(fā)現(xiàn)在要求被試保證高正確率的前提下,P300成分潛伏期與反應(yīng)時間之間存在較高的正相關(guān)性．Azizian等[5]通過低水平圖形刺激探究P300成分的波幅與圖形相似度之間的正相關(guān)關(guān)系．P300成分的潛伏期長短可以作為衡量刺激評估時間的指標;此外,頂葉、顳葉和枕葉電極位置的N200成分潛伏期也會隨刺激評估時間而變化．在N200成分出現(xiàn)的時間范圍內(nèi),存在N2a,N2b和N2pc三種較為典型的腦電成分[6]．其中,N2b成分反映了用戶對于Oddball范式中小概率靶刺激的選擇性注意[7],且波幅與靶刺激和標準刺激的偏差程度呈正相關(guān),N2b成分的波幅與所呈現(xiàn)的刺激和工作記憶的失匹配程度相關(guān)．

本文以不同評估等級下具備不同相似性和布局形式且圖形復(fù)雜程度較高的數(shù)字界面作為實驗研究對象,采用Oddball實驗范式,探索用戶在不同相似性的界面認知與評估過程中所誘發(fā)的腦電生理特征．通過得到的腦生理指標的屬性變化,揭示用戶對于不同界面圖形的認知規(guī)律,幫助設(shè)計師進行界面優(yōu)化設(shè)計,為產(chǎn)品迭代過程提供參考依據(jù)．

1界面布局認知與實驗假設(shè)

1.1界面布局認知

界面布局形式的多樣性和豐富性大大改變了信息獲取的模式．?dāng)?shù)字界面布局設(shè)計的研究對象是考量如何將信息排布在有限的空間中．若設(shè)計過程中未將界面布局設(shè)計指導(dǎo)性原則考慮周全,則會影響用戶的操作績效和交互體驗．影響界面布局設(shè)計的主要因素如下:① 空間分配不合理;② 層級混亂,主次不明確;③ 缺乏有效的視覺引導(dǎo);④ 分屏布局,擾亂視覺;⑤ 缺乏特色,主題不突出．

選取某音樂播放界面作為研究素材,相對于低維度圖形而言,音樂播放界面中包含的元素豐富,功能劃分明確,功能區(qū)之間具備層次嵌套關(guān)系,且被試對于該界面熟悉,因而可以在實驗中減少學(xué)習(xí)和認知成本．在相似性評估過程中,各部件所占權(quán)重因子均不相同．對該音樂播放界面的功能和界面元素進行分析,將該頁面劃分為若干功能區(qū)(見圖1)．通過改變界面中若干功能區(qū)域的相對位置和尺寸,篩選得出3組界面形式．方案A保留了原始界面中的尺寸和空間位置關(guān)系,所得界面為優(yōu)秀界面;方案B保留了界面功能框架,改變了主功能區(qū)的大小,使得界面視覺失衡,所得界面為較差界面;方案C 在改變主功能區(qū)尺寸大小的前提下,同時改變了工具欄和菜單欄的空間位置和比例關(guān)系,使得界面功能層級紊亂,視覺失衡,所得界面為最差界面．

圖1　音樂播放界面功能區(qū)域劃分

實驗前基于Visual Studio構(gòu)建了界面方案相似性評估系統(tǒng)(見圖2)．邀請50人參與調(diào)查(包含20名腦電實驗被試),通過7級Likert量表,對該音樂播放界面不同布局形式之間的相似性認可度進行評估．針對該音樂播放界面的3個方案如圖3所示．方案A與方案B的界面相似性認可度約為69.32%,方案C與方案B的界面相似性認可度約為38.25%．基于該主觀評測結(jié)果對界面布局認知與評估機理進行進一步探索．

圖2　界面相似性認可度評估系統(tǒng)界面

(a) 方案A

(b) 方案B

(c) 方案C

1.2實驗假設(shè)

根據(jù)實驗準備環(huán)節(jié)中的主觀測評結(jié)果,用戶對于方案A和方案B的相似性認可度高于方案C與方案B的認可度,由此預(yù)測在Oddball實驗范式中,靶刺激的出現(xiàn)會誘發(fā)較為顯著的P300成分．將方案A與方案B的Oddball實驗編號為實驗1,方案C與方案B的Oddball實驗編號為實驗2．受靶刺激與標準刺激的相似度對于刺激辨識復(fù)雜程度的影響,實驗1中誘發(fā)的P300成分平均波幅高于實驗2．P300成分的潛伏期反映了用戶對于刺激的認知加工時間,因此,在辨識難度較高的實驗1中P300成分的潛伏期較長．

在辨識目標刺激的過程中,涉及的腦電成分還包含早期的注意成分,N2b成分與該注意過程有關(guān)．由于模塊中的靶刺激與存儲于工作記憶中的標準刺激均存在差異,故在實驗過程中可能觀察到N2b成分[7]．方案C與標準刺激(方案B)的差異性較大,由此可預(yù)測,在實驗2中N2b成分的平均波幅將高于實驗1．

2腦電實驗

2.1被試

共招募具備工業(yè)設(shè)計學(xué)科教育背景的被試20人,被試年齡分布為22～27歲,平均年齡為25歲,男女被試比例為1∶1,均為右利手,且矯正視力正常,無色盲,無精神疾?。畬嶒炃案嬷辉噷嶒?zāi)康?并承諾測量數(shù)據(jù)不予以透露和用作其他目的．被試自愿同意參加實驗后,對被試進行培訓(xùn),讓其熟悉實驗和操作流程．實驗結(jié)束后,給予被試一定的報酬作為獎勵．

2.2實驗方法

采用Oddball實驗范式,為避免因靶刺激呈現(xiàn)概率變化而導(dǎo)致P300成分波幅不同,在2組實驗?zāi)K中靶刺激數(shù)量和標準刺激數(shù)量占刺激總數(shù)的比例恒定,分別為20%和80%．為排除色彩、圖標等相關(guān)因素的干擾,所有刺激圖片均進行去色處理,放置在屏幕中央?yún)^(qū)域內(nèi),背景色為黑色,以突出刺激界面主體,便于讀取刺激圖片．刺激呈現(xiàn)于17英寸的顯示屏中,被試坐在距顯示屏55～60 cm處,正視電腦屏幕．實驗程序由心理學(xué)軟件E-prime編寫,并對行為數(shù)據(jù)進行采集．

2.3實驗程序

實驗開始時,電腦屏幕呈現(xiàn)實驗指導(dǎo)語,被試在閱讀后按任意鍵進入實驗階段,實驗分為練習(xí)和正式實驗2個部分,其中正式實驗由2組實驗?zāi)K構(gòu)成,每組實驗僅有1個靶刺激,分別為方案A或方案C．在每組模塊中,首先于空屏中央出現(xiàn)十字視覺引導(dǎo)中心500 ms,然后隨機出現(xiàn)標準刺激和靶刺激．在抽象素材實驗研究中, Azizian等[5]將刺激呈現(xiàn)時間設(shè)定為500 ms,鑒于實驗中界面圖形認知元素數(shù)量較多且相對復(fù)雜,故將刺激呈現(xiàn)時間設(shè)置為1 000 ms,刺激間隔為500 ms,以消除視覺殘留．被試被告知以最快的速度做出反應(yīng),其中,實驗1中按“A”鍵對靶刺激做出反應(yīng),實驗2中按“L”鍵對靶刺激做出反應(yīng)．2組實驗中標準刺激均出現(xiàn)160次(標準刺激數(shù)量占刺激序列總數(shù)的80%),靶刺激均出現(xiàn)40次(靶刺激數(shù)量占刺激序列總數(shù)的20%),實驗流程如圖4所示．被試在實驗1完成后休息15 s再進入實驗2,整個實驗流程約12 min．

圖4　實驗流程圖

2.4EEG記錄和數(shù)據(jù)分析方法

使用BP腦電記錄系統(tǒng)完成實驗數(shù)據(jù)采集和數(shù)據(jù)分析,利用32導(dǎo)電極帽記錄靶刺激誘發(fā)的腦電波．實驗中電極阻抗維持在5 kΩ以下,濾波器帶通設(shè)定為0.5～100 Hz,采樣率為1 kHz,以雙耳乳突作為參考電極．完成連續(xù)EEG記錄后對數(shù)據(jù)進行離線處理,并對數(shù)據(jù)進行分段,選擇靶刺激出現(xiàn)前200 ms到出現(xiàn)后1 000 ms的時間段作為腦電分段時間．自動校正眼電偽跡,并排除超出±80 μV的偽跡．根據(jù)文獻[8]中對于P300成分的描述以及總波形圖可知,在0～800 ms這一時間范圍內(nèi),中央頂葉、頂葉以及枕葉的腦區(qū)激活度最大,故選取頂葉P3,P4,Pz,中央頂葉CP1,CP2,頂葉-枕葉聯(lián)合區(qū)POz六個電極進行分析(見圖5)．運用SPSS統(tǒng)計軟件對波幅和潛伏期進行方差分析．

3實驗結(jié)果與分析

3.1行為數(shù)據(jù)

表1中統(tǒng)計了2組實驗行為數(shù)據(jù)，其中有效樣本共20個．由表可知,實驗1的平均反應(yīng)時間較實驗2的平均反應(yīng)時間長,但實驗1的反應(yīng)時間離散程度較小(實驗1中標準差S1=48.611 6 ms,實驗2中標準差S2=55.660 1 ms)．2組實驗的正確率

圖5　電極圖

均超過98%,說明被試在2組實驗?zāi)K中均保持了較高的正確率．由于2組實驗的平均反應(yīng)時間和正確率差異度均較小,故不再進行深入交互效應(yīng)分析．

表1　2組實驗的行為數(shù)據(jù)描述性統(tǒng)計

3.2腦電數(shù)據(jù)

圖6為0～800 ms時間窗口內(nèi)P3,P4,Pz,POz四個電極的腦電波形圖．

(a) P3電極

(b) Pz電極

(c) P4電極

(d) POz電極

3.2.1P300成分分析

表2顯示了靶刺激出現(xiàn)后200～500 ms內(nèi)P3,P4,CP1,CP2,Pz,POz六個電極的P300成分波幅均值．2組實驗中,P300成分在中央頂葉(CP2)、頂葉(Pz,P4)電極位置處波幅達到最大值．實驗1和實驗2中誘發(fā)的P300成分平均波幅為8.917 9和8.543 6 μV．由方差分析得出,實驗條件對于P300成分的平均波幅影響顯著(F=16.014,p=0.010<0.05),電極位置對于P300成分的平均波幅影響顯著(F=12.025,p=0.008<0.05),說明P300成分的波幅可以作為反映圖形相似程度的有效指標．

為了進一步探究靶刺激與標準刺激的潛伏期差異,對6個電極位置處的P300成分潛伏期進行了方差分析．結(jié)果表明,實驗條件對于P300成分潛伏期無影響(F=0.148,p=0.716>0.05),電極位置對于P300成分潛伏期也無顯著影響(F=3.012,p=0.126>0.05)．

表2　P300成分在不同電極位置處的平均波幅　μV

3.2.2N2b成分分析

表3顯示了靶刺激出現(xiàn)后200～500 ms內(nèi)P3,P4,CP1,CP2,Pz,POz六個電極的N2b成分波幅均值．2組實驗中,N2b成分在頂葉(Pz,P4)和頂葉-枕葉聯(lián)合區(qū)(POz)電極位置處波幅達到最大值．由多元方差分析得出,實驗條件對N2b成分的波幅影響十分顯著(F=51.726,p=0.001<0.05),對潛伏期影響則相對較弱,但仍達到顯著水平(F=7.544,p=0.040<0.05)．相比之下,電極位置對N2b成分波幅影響顯著(F=10.630,p=0.011<0.05),對其潛伏期則無影響(F=0.425,p=0.815>0.05)．

表3　N2b成分在不同電極位置處的平均波幅　μV

4討論

本實驗中,在較高相似度和較低相似度的實驗條件下,靶刺激均能誘發(fā)較為顯著的P300成分．Donchin等[9]認為P300成分與認知圖式更新有關(guān),當(dāng)靶刺激圖形與工作記憶中存儲的標準刺激圖形出現(xiàn)偏差時,即可誘發(fā)P300成分．分析2組不同相似度的界面布局形式所誘發(fā)的P300成分的平均波幅后發(fā)現(xiàn),實驗1中采用方案A作為靶刺激所誘發(fā)的P300成分平均波幅大于采用方案C作為靶刺激時的情況．2組實驗中P300成分波幅均值的差異可能是由辨識靶刺激的難易程度所引起的,P300成分的波幅與辨識和匹配過程中所消耗的認知資源有關(guān)．在被試對靶刺激做出反應(yīng)之前,小概率出現(xiàn)的靶刺激與標準刺激之間的相似度越高,則匹配度越高,從刺激序列中辨識靶刺激的難度越大,所消耗的認知資源越多,P300成分波幅越大,即靶刺激所誘發(fā)的P300成分波幅與靶刺激和標準刺激的相似程度呈正相關(guān)關(guān)系．

根據(jù)文獻[7-8]對P300成分的定義和描述,P300成分出現(xiàn)在靶刺激后300～600 ms;在本文的2組實驗中,P300成分的平均潛伏期約為425 ms．Tetsuto等[10]認為P300成分的潛伏期與任務(wù)難度呈正相關(guān)．在本實驗中,用戶對靶刺激進行識別,所誘發(fā)的P300成分潛伏期有所延遲．但對2組實驗中的P300成分潛伏期進行組間比較發(fā)現(xiàn),實驗條件對于P300成分的潛伏期影響并不顯著．

相比實驗2,實驗1中靶刺激誘發(fā)的N2b成分波幅較?。甋ams等[11]認為N2b成分可以作為模式失匹配的一種正向映射關(guān)系．對目標刺激進行識別時,首先需要對單個物理屬性進行識別,即早期注意加工過程,該過程可作為后期深入加工的準備環(huán)節(jié)．相比方案B,方案C中的菜單欄、工具欄和列表導(dǎo)航的尺寸和空間位置均發(fā)生了變化,這3大模塊位于視覺搜索路徑的起始點,且集成了用戶對于音樂播放行為的主要功能細分,功能性地位突出．對采用方案A和方案C作為靶刺激時的2種實驗條件進行分析比較后發(fā)現(xiàn),方案C中界面布局樣式和工作記憶存儲的標準刺激(方案B)的失匹配度和偏差度均較大．由此表明,N2b成分的波幅與靶刺激和標準刺激的偏差程度呈正相關(guān)關(guān)系．

腦電實驗數(shù)據(jù)結(jié)果顯示,2組實驗中N2b成分在枕葉和枕頂枕聯(lián)合區(qū)達到波幅峰值,腦區(qū)激活度較高,這與文獻[12]中的結(jié)論一致．

5結(jié)語

本文采用Oddball實驗范式對具備不同相似度的數(shù)字界面認知過程進行探索,并對N2b成分和P300成分進行定量分析．結(jié)果顯示,P300成分的波幅與靶刺激和標準刺激之間的相似程度有關(guān)．N2b成分作為考察靶刺激相對于標準刺激偏差程度的指標,可反映目標識別的注意導(dǎo)向過程．P300成分可以作為評估系統(tǒng)一致性的有效指標,N2b成分可用于評估界面視覺引導(dǎo)的有效指標,將兩者相結(jié)合可對界面的可用性進行客觀且全面的定量分析和考察．下一步將把研究結(jié)論拓展應(yīng)用于界面的迭代評估過程中,對數(shù)字界面產(chǎn)品風(fēng)格繼承性評估進行腦電閾值探索,構(gòu)建數(shù)字界面與腦電指標的深層次關(guān)系．

參考文獻 (References)

[1]Giraudet L, Imbert J P, Bérenger M, et al. The neuroergonomic evaluation of human machine interface design in air traffic control using behavioral and EGG/ERP measures[J].BehaviouralBrainResearch, 2015, 294: 246-253. DOI:10.1016/j.bbr.2015.07.041.

[2]Potts G F, Tucker D M. Frontal evaluation and posterior representation in target detection[J].CognitiveBrainResearch, 2001, 11(1): 147-156.

[3]Kok A. Event-related-potential (ERP) reflections of mental resources: A review and synthesis[J].BiologicalPsychology, 1997, 45(1/2/3):19-56.

[4]Kutas M, Mccarthy G, Donchin E. Augmenting mental chronometry: The P300 as a measure of stimulus evaluation time[J].Science, 1977, 197(4305): 792-795.

[5]Azizian A, Freitas A L, Watson T D, et al. Electrophysiological correlates of categorization: P300 amplitude as index of target similarity[J].BiologicalPsychology, 2006, 71(3): 278-288. DOI:10.1016/j.biopsycho.2005.05.002.

[6]N??t?nen R, Picton T W. N2 and automatic versus controlled processes[J].Electroencephalography&ClinicalNeurophysiology, 1986, 38: 169-186.

[7]Patel S H, Azzam P N. Characterization of N200 and P300: Selected studies of the event-related potential[J].InternationalJournalofMedicalSciences, 2005, 2(4): 147-154.

[8]Picton T W. The P300 wave of the human event-related potential[J].JournalofClinicalNeurophysiology, 1992, 9(4):456-479.

[9]Donchin E, Coles M G. Is the P300 component a manifestation of context updating[J].BehavioralandBrainSciences, 1988, 11(3): 357-427.

[10]Tetsuto M, Kimiko G, Michiteru K, et al. Asymmetry of P3 amplitude during oddball tasks reflects the unnaturalness of visual stimuli[J].Neuroreport, 2009, 20(16): 1471-1476. DOI:10.1097/WNR.0b013e3283321cfb.

[11]Sams M, Alho K, N??t?nen R. Sequential effects on the ERP in discriminating two stimuli[J].BiologicalPsychology, 1983, 17(1): 41-58. DOI:10.1016/0301-0511(83)90065-0.

[12]Ungerleider L G, Haxby J V. ‘What’ and ‘where’ in the human brain[J].CurrentOpinioninNeurobiology, 1994, 4(2): 157-165.

Cognition and evaluation of digital interface layouts based on event-related potential technique

Niu Yafeng1Xue Chengqi1Peng Ningyue1Zhou Lei1Wu Wenyu1Guan Rui1Jin Tao2

(1School of Mechanical Engineering, Southeast University, Nanjing 211189, China) (2School of Mechanical and Electrical Engineering, China University of Petroleum, Qingdao 266580, China)

Abstract:To investigate the cognitive processes of the comparison and the evaluation to digital interface for different layout forms, according to event-related potential (ERP) technique, by using the Oddball experimental paradigms for the layout form with relatively higher similarity and those with relatively lower similarity, the changes of the amplitudes and the latencies of N2b and P300 under these two similarity conditions were analyzed and compared by combining the neural data with behavioral data. The results reveal that in the earlier target cognitive stage, the amplitude of N2b is positively related to the deviation of the target stimuli from the standard stimuli. In the deeper processing process, the amplitude of P300 elicited by the target stimuli is positively related to the similarity between the target stimuli and the standard stimulus. The conclusion can be applied in the iteration and evaluation process for interfaces, providing important references to evaluate the heritage of the digital interface product style in practical projects.

Key words:event-related potential (ERP);P300;N2b, interface layout; evaluation

doi:10.3969/j.issn.1001-0505.2016.03.003

收稿日期:2015-12-07.

作者簡介:牛亞峰(1988—)，男，博士，講師；薛澄岐(聯(lián)系人)，男，教授，博士生導(dǎo)師，ipd_xcq@seu.edu.cn.

基金項目:國家自然科學(xué)基金資助項目(51405514,71271053,71471037)、江蘇省自然科學(xué)基金資助項目(BK20150636).

中圖分類號:TP391

文獻標志碼:A

文章編號:1001-0505(2016)03-0470-06

引用本文: 牛亞峰,薛澄岐,彭寧玥,等.基于ERP技術(shù)的數(shù)字界面布局認知與評估[J].東南大學(xué)學(xué)報(自然科學(xué)版),2016,46(3):470-475. DOI:10.3969/j.issn.1001-0505.2016.03.003.