沈麗麗，邢 陽

(天津大學電氣自動化與信息工程學院，天津 300072)

立體影像所帶來的強烈的真實感和沉浸感以及視覺沖擊力是傳統(tǒng) 2D影像所無法比擬的，這也是其得到廣泛應用并深受大眾喜愛的重要原因.但是由于立體影像中存在視差這一影響因素，以及立體顯示設備中存在著一定的干擾，如頻閃、串擾、色度均衡性等，導致觀看一定時長的立體視頻產生不同程度的視覺不舒適感.

國內外大量研究結果表明長時間觀看立體影像后被試普遍會出現(xiàn)疲勞、頭痛、惡心等不良反應[1]，且立體深度信息與視覺疲勞程度之間具有很強的相關性[2].由于 EEG信號只需采集頭皮表面電位即可反映腦神經細胞的電生理活動，且信號采集具有連續(xù)性和實時性，同時包含豐富的生理心理信息，不易受被試主觀心理因素的影響，因此國內外相關領域已經將研究轉移到該方向上來.Lambooij等[3]指出 EEG信號為立體視覺疲勞的評估與研究提供了可靠保證.早期對 EEG信號的分析主要采用時域分析法，其具有物理意義明確、直觀性強等優(yōu)點，但這些方法更適用于波形特征顯著的腦電信號，存在一定的局限性[4].研究表明，EEG 信號幅值較低且隨機性強[5]，相比時域特性，其頻域特性更加顯著，用頻域分析或頻譜分析法更能凸顯其優(yōu)勢.Chen等[6]將δ、θ、α、β相對能量以及比值參數(shù)(α+θ)/β、α/β、(α+θ)/(α+β)和θ/β與主觀評價相結合，將其作為評價3DTV疲勞程度的客觀指標.近年來，也有研究人員通過提取腦電信號的時頻域特征與非線性特征等對EEG信號進行研究與分析，但將其應用在評估立體視覺疲勞方面的研究較少.

本文采用單一運動形式的水平立體視頻刺激為實驗素材，將腦電信號的時頻域特征與非線性特征作為聯(lián)合特征進行立體視覺疲勞評估，應用 FCSI算法、SVM、基于互信息的特征選擇算法等方法篩選出評估水平立體運動視疲勞的最佳指標.實驗證明，此指標能夠很好地區(qū)分立體視覺疲勞與否的兩類腦電信號.

1 實驗方案和方法

1.1 實驗材料與流程

實驗素材由Maya軟件制作而成.藍天白云作為背景，利用灰色環(huán)狀物標記零視差位置，運動目標為石頭狀物體，目標沿水平方向做往復運動.運動速度等級分為6種，每種運動速度的視頻時長為4s.

實驗被試共有9人(4女5男)，均具有正常的立體視覺、視力(或矯正后)，實驗前簽署知情同意書，了解該實驗的注意事項，且在實驗后給予被試相應報酬.實驗包括主觀評估與客觀腦電信號采集兩部分.每一被試在做完 2D主觀實驗后，均需在隔天相同時間進行3D實驗.

主觀評估分為主觀問卷與反應能力判斷兩部分，根據主觀實驗結果挑選出對水平運動立體視頻較為敏感的6名被試(3女3男)進行客觀腦電實驗，腦電實驗分為ERP與 EEG兩部分.采集觀看 50min視頻刺激前后各2min閉眼靜息狀態(tài)下的EEG信號作為疲勞與非疲勞狀態(tài)下的 EEG信號樣本，記為時段1和時段2.

正式實驗前，被試要進行適當練習訓練.整個實驗要在暗的環(huán)境中進行，避免電磁干擾，周圍要保持相對安靜.腦電數(shù)據采集采用國際 10～20系統(tǒng)，嵌入式 34導腦電帽與Neuroscan系統(tǒng).參考電極使用左耳電極A1.采樣頻率為1kHz.

1.2 腦電數(shù)據特征提取與分類

腦電數(shù)據特征提取與分類流程如圖 1所示.首先，對預處理后的 EEG信號分別進行小波包分解和樣本熵計算，提取時頻域特征與非線性特征；之后，通過 FCSI算法與 SVM 分類結合完成電極篩選；最后，利用基于互信息的特征篩選方法篩選出評估水平運動立體視覺疲勞的最佳指標.

圖1 腦電數(shù)據特征提取與分類流程Fig.1 Flowchart of EEG data feature extraction and classification

1.2.1 預處理

預處理中首先對 EEG信號進行 1～30Hz的帶通濾波，去除工頻干擾和無用成分；接著利用獨立成分分析(ICA)去掉肌電、眼電等偽跡；之后分別提取出觀看立體視頻前后2min腦電信號樣本，同時將每個電極觀看前后 2min的腦電信號樣本切片為 120段1s長的腦電片段用于后續(xù)分析.

1.2.2 小波包分解

預處理結束后，采用 Db4作為正交基函數(shù)分別對兩類腦電信號樣本段進行4層小波包分解，把信號劃分成16個頻帶寬度為2Hz的子頻帶，每個子頻帶對應一個小波包分解樹節(jié)點.綜合以往的研究[7-8]，θ、α、β3個波段與立體視覺疲勞關系最為密切，其頻率范圍在0.5～30.0Hz之間，對應本實驗的子帶節(jié)點范圍為(4，2)～(4，10)，其中(4，2)與(4，3)對應θ波段，(4，4)與(4，5)對應α波段，其余節(jié)點對應β波段.本實驗，提取θ、α、β3個波段小波系數(shù)的均值及其比值α/β、α/θ、θ/(α+β)、(α+θ)/β、θ/β、(α+θ)/(α+β)作為時頻域特征.

1.2.3 樣本熵

通過樣本熵分析觀看立體視頻刺激前后的腦電信號序列的復雜度.樣本熵一般用 SampEn(m，r，N)表示，其中r是相似容限，N是長度，m是維數(shù)，其定義為

式中Bn+1(r)與Bn(r)分別為預處理后的腦電信號與根據嵌入維度n+1和n構造成的新序列在相似容限r下匹配的概率.提取樣本熵作為腦電信號的非線性特征[9]，本文m＝2，標準差r＝0.2，N＝1000.

1.2.4 FCSI算法

FCSI算法是一種特征選擇算法，Wang等[10]曾將其應用在肌電通道選擇中并得到了良好的效果.電極c的FCSI值的計算式為

式中：K表示類別的總數(shù)，本實驗K＝2；i和j分別表示疲勞與非疲勞狀態(tài)兩個不同的類別；mc和vc分別為電極c上所提取特征向量的均值和方差.所得FCSI值越大的電極，越適合于類別的區(qū)分.

1.2.5 SVM分類器

利用 SVM 分類器對所選電極疲勞前后的腦電信號樣本進行分類評估，比較其可分性.本實驗中，SVM 核函數(shù)采用高斯核函數(shù)，為保證分類結果的準確性，訓練樣本和測試樣本的選取采用十折交叉驗證的方式.

1.2.6 基于互信息的特征篩選

最后，對平均分類精度最高的電極上的所有特征采用基于互信息的特征篩選方法進行排序，從而篩選出最合適的評估指標.

互信息常常被用來描述一組事件和另一組事件之間的相關性[11].互信息被定義為聯(lián)合分布與邊緣分布之間的相對熵，其計算式為

式中E＝{E1，…，En，…，EN}、F＝{F1，…，F(xiàn)m，…，F(xiàn)M}分別為疲勞與非疲勞狀態(tài)下 EEG信號的特征集.P＝{p1，…，pn，…，pN}、Q＝{q1，…，qm，…，qM}分別為對應的概率分布.

2 實驗結果及數(shù)據分析

2.1 主觀實驗結果

9名被試各個疲勞癥狀的評分結果如圖 2所示.可見，觀看兩類視頻后，被試均出現(xiàn)較為嚴重的視力模糊、眼睛沉重、頭沉、頭痛的疲勞癥狀，且 3D 顯示所帶來的疲勞感比2D顯示更強.對立體視頻刺激前后各項疲勞癥狀的主觀評分進行單因素方差分析均出現(xiàn)顯著性差異，驗證了本實驗素材的合理性.

同時，與未觀看視頻相比，觀看兩類視頻后判斷的準確率均有所下降，且觀看 3D視頻后判斷的準確率均比2D視頻低.這表明在相同刺激條件下，3D顯示比傳統(tǒng)2D顯示更容易使人產生視疲勞.

2.2 腦電實驗結果

2.2.1 ERP結果分析

圖 3為觀看前后 CZ電極的 ERP波形圖.對比清醒狀態(tài)，疲勞狀態(tài)下的 N200和 P300成分幅值明顯下降，而潛伏期略有增加.這說明疲勞狀態(tài)下被試對刺激的興奮程度有所降低，同時對刺激認知加工過程的處理速度也有所下降[12].

2.2.2 觀看前后腦電地形圖分析

根據 10～20電極導聯(lián)系統(tǒng)電極名稱匹配一覽表，將 30個電極劃分為 5個腦區(qū)，分為額區(qū)(FP1，F(xiàn)P2，F(xiàn)3，F(xiàn)Z，F(xiàn)4，F(xiàn)C3，F(xiàn)CZ，F(xiàn)C4)、中央區(qū)(C3，CZ，C4)、頂區(qū)(CP3，CPZ，CP4，P3，PZ，P4，P7，P8)、枕區(qū)(O1，OZ，O2)、顳區(qū)(F7，F(xiàn)8，F(xiàn)T7，F(xiàn)T8，T7，T8，TP7，TP8).計算對應小波節(jié)點系數(shù)的平方作為θ、α、β3個波段的平均相對能量值并繪制 6名被試的腦電地形圖，如圖4所示.

圖3 被試觀看立體視頻前后ERP波形Fig.3 ERP waveforms before and after watching the stereo videos

圖4 被試觀看立體視頻前后θ、α、β 3個波段平均相對能量腦電地形圖Fig.4 Average relative energy EEG topographic maps of the three bands ofθ，α andβbefore and after watching the stereo videos

由圖4可見，觀看刺激后θ波的平均相對能量在前額區(qū)出現(xiàn)明顯的下降現(xiàn)象；α波則在前額區(qū)明顯上升，枕區(qū)與頂區(qū)也有所上升；觀看刺激后，β波在整體上均呈下降趨勢，但在前額區(qū)和頂區(qū)的變化尤為顯著.

2.2.3 樣本熵分析

圖 5所示為 6名被試疲勞前后各個通道平均樣本熵值的散點圖.

可以發(fā)現(xiàn)，大部分電極疲勞后的樣本熵值與清醒時相比均有所降低，說明該特征與被試的疲勞狀態(tài)相關，能夠作為評估立體視覺疲勞的指標.進一步也表明疲勞狀態(tài)下的信號，其復雜度會有所降低.

圖5 觀看立體視頻前后樣本熵值散點圖Fig.5 Scatter plot of sample entropy before and after watching the stereo videos

3 腦電指標選取

將時頻域特征與非線性特征作為聯(lián)合特征，采用FCSI算法對所有被試的 30個電極進行排序，前 12個電極排列如表1所示.

表1 權值排序前12個電極Tab.1 Top 12 electrodes of weight sorting

可見，疲勞前后差異度較大的前3個電極分別為CP3、F4、TP7，結合腦區(qū)分析發(fā)現(xiàn)排名靠前的電極集中在頂區(qū)與前額區(qū)的較多，可能這兩個腦區(qū)與水平運動立體視頻關系最為密切.利用 SVM 分類器對CP3、F4、TP7這 3個電極上兩類信號樣本進行分類驗證并比較其可分性，將十次十折交叉驗證結果的平均值作為最終的分類結果，得到的分類率結果如表 2所示.

表2 3個電極分類精度Tab.2 Classification accuracies of three electrodes

根據分類結果來看，3個電極平均分類精度均在70%及以上，具備一定的可分性.6名被試在 CP3電極上的平均分類精度最高，為 73.19%，因此 CP3電極更適用于評估水平運動立體視覺疲勞.進一步對CP3電極上的特征利用基于互信息的特征篩選方法進行排序，結果如表3所示.

表3 特征排序Tab.3 Feature sorting

結果表明α/θ、(α+θ)/β、α是排序最靠前的 3 個特征.綜上來看，就有效性而言，CP3電極的α/θ、(α+θ)/β、α及其組合對水平立體視覺疲勞的識別最優(yōu)越，但結合頻段提取及計算復雜度，推測CP3電極上的α/θ這一指標是評估水平運動立體視覺疲勞的最佳指標.使用配對t檢驗對 CP3電極上的α/θ、(α+θ)/β、α這 3個腦電指標進行觀看刺激前后的分析，結果如表4所示.

表4 觀看刺激前后 CP3電極腦電指標配對t檢驗分析結果Tab.4t-test analysis results of the CP3 electrode EEG index before and after stimulation

由此可見，CP3 電極上的α/θ、(α+θ)/β、α這 3個腦電指標在觀看刺激前后均具有顯著性差異.觀看刺激后，α/θ、(α+θ)/β明顯減小，α增加，且α/θ指標的顯著性差異最明顯.因此，CP3電極上的α/θ這一指標是評估水平運動立體視覺疲勞的最佳指標.

4 結 語

本研究通過主觀實驗與客觀實驗兩種手段對水平運動立體視頻引發(fā)的視覺疲勞進行了評估與研究.根據主觀實驗結果發(fā)現(xiàn)，3D與2D視頻均能夠使被試在一定程度上產生視覺疲勞現(xiàn)象，且 3D顯示比傳統(tǒng) 2D顯示對人的影響更大.在腦電實驗中，綜合分析被試觀看水平運動立體視頻前后θ、α、β3個波段的平均相對能量的變化以及疲勞前后差異度較大的電極的腦區(qū)分布情況，頂區(qū)與前額區(qū)與水平運動立體視頻關系最為密切.經過導聯(lián)與特征篩選，評估水平運動視覺疲勞的最佳特征參數(shù)為 CP3電極上的α/θ.

今后，將在特征提取算法以及分類器的選擇上進行更深入的研究以提高分類的正確率，為應用腦電信號對視覺疲勞的甄別及評價打下基礎，并進一步結合視差、運動速度等因素進行深入研究.