劉津銘 蔡躍新 曾俊波 唐小武 區(qū)永康 葉偉杰 葉鴻生 熊彬彬 黃 棟

（1.華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院 廣州 510642）（2.中山大學(xué)孫逸仙紀(jì)念醫(yī)院 廣州 510120）（3.珠海市中西醫(yī)結(jié)合醫(yī)院 珠海 519020）

1 引言

眼動(dòng)研究是醫(yī)學(xué)、心理學(xué)等領(lǐng)域的一個(gè)重要研究方向，通過觀察眼動(dòng)可以很好地解釋某種病癥或人類豐富且雜亂的神經(jīng)心理學(xué)過程［1］。目前大多數(shù)研究是在某個(gè)特定任務(wù)下（例如瀏覽圖像、閱讀文本、視覺搜索等）追蹤眼球運(yùn)動(dòng)或借助人眼的注視點(diǎn)等信息對(duì)人類行為進(jìn)行分析。在醫(yī)學(xué)領(lǐng)域的眼動(dòng)研究多用于疾病診斷，良性陣發(fā)性位置性眩暈（Benign Paroxysmal Positional Vertigo，BPPV）［2］又稱為耳石癥，患者發(fā)病時(shí)會(huì)產(chǎn)生頭暈癥狀并伴有眼震，醫(yī)生可以通過觀察患者的眼動(dòng)情況來進(jìn)行診斷。

由于在眼動(dòng)視頻上進(jìn)行直接觀測(cè)與診斷容易對(duì)眼震特征不明顯的患者造成漏診或誤診，而當(dāng)前對(duì)眼動(dòng)軌跡的自動(dòng)分析研究仍然非常匱乏，對(duì)BP?PV 診斷的相關(guān)研究工作缺少利用眼動(dòng)軌跡潛在信息。對(duì)此，本文提出了一種基于時(shí)序軌跡的BPPV診斷模型，將基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器和基于時(shí)序軌跡分析的分類器相結(jié)合，對(duì)眼動(dòng)視頻進(jìn)行檢測(cè)并提取眼動(dòng)軌跡做分類與診斷，同時(shí)針對(duì)類別不平衡問題，結(jié)合數(shù)據(jù)增強(qiáng)對(duì)其進(jìn)行應(yīng)對(duì)，并在500 個(gè)病例數(shù)據(jù)的實(shí)驗(yàn)中對(duì)診斷結(jié)果進(jìn)行了評(píng)估。實(shí)驗(yàn)表明，所提出的模型可以有效應(yīng)對(duì)各種復(fù)雜情況下的人眼檢測(cè)，并在保證檢測(cè)精度的同時(shí)提升BPPV診斷的準(zhǔn)確度。

2 基于時(shí)序軌跡的BPPV診斷模型

2.1 基于目標(biāo)檢測(cè)的眼動(dòng)軌跡提取

通用目標(biāo)檢測(cè)算法是在給定圖像中識(shí)別出目標(biāo)的位置（object localization）的同時(shí)預(yù)測(cè)出類別（object classification），并用標(biāo)有置信度的矩形邊界框?qū)z測(cè)目標(biāo)進(jìn)行標(biāo)記［3］。目前通用目標(biāo)檢測(cè)算法主要可以分為兩種類型。一種是兩階段（two-stage）檢測(cè)算法，首先通過卷積網(wǎng)絡(luò)得到候選區(qū)域，然后再對(duì)每個(gè)候選區(qū)域進(jìn)行分類來得到預(yù)測(cè)的目標(biāo)類別。另一種是單階段（one-stage）檢測(cè)算法，將目標(biāo)檢測(cè)轉(zhuǎn)換成一個(gè)回歸或分類任務(wù)，可以不預(yù)先單獨(dú)得到候選區(qū)域，而是采用統(tǒng)一的框架直接確定邊界框位置和目標(biāo)類別，因此檢測(cè)速度較快。典型的單階段檢測(cè)算法包括YOLO［4～5］和SSD［6］等。

本文采用YOLOv4［7］模型對(duì)眼動(dòng)視頻中的眼球虹膜進(jìn)行目標(biāo)檢測(cè)。與YOLOv3［8］算法相比，YO?LOv4 的主干特征提取網(wǎng)絡(luò)將帶有跨階段局部網(wǎng)絡(luò)（CSPNet）［9］的Darknet53網(wǎng)絡(luò)代替原來的Darknet53網(wǎng)絡(luò)，同時(shí)也將Mish 激活函數(shù)代替原來的Leakey ReLU 函數(shù)。頸部網(wǎng)絡(luò)不僅采用了多尺度特征融合的SPP（Spatial Pyramid Pooling）［10］以利用數(shù)據(jù)上下文特征，還在三個(gè)有效特征層的尾部添加PANet（path aggregation network）［11］用于特征的反復(fù)提取，頭部預(yù)測(cè)部分的分類回歸層繼續(xù)沿用YOLOv3 的頭部。實(shí)驗(yàn)表明，所訓(xùn)練模型可檢測(cè)出多種人眼狀態(tài)，在半遮擋情況下也能捕捉到虹膜區(qū)域，檢測(cè)效果示例如圖1 所示。值得注意的是，本文的目標(biāo)在于捕捉眼球運(yùn)動(dòng)軌跡，由于YOLOv4 已經(jīng)可以提供非常準(zhǔn)確的眼球虹膜目標(biāo)檢測(cè)效果，采用更復(fù)雜目標(biāo)檢測(cè)模型的必要性較為有限。

圖1 在眼動(dòng)視頻中的目標(biāo)檢測(cè)效果

本文在進(jìn)行目標(biāo)檢測(cè)的同時(shí)，提取其眼動(dòng)軌跡的時(shí)間序列。眼動(dòng)軌跡的提取基于圖像中的檢測(cè)到的人眼區(qū)域，以檢測(cè)框的中心作為虹膜中心，計(jì)算并記錄視頻每幀圖像下左右眼檢測(cè)框的中心值，由此得到雙眼的眼動(dòng)時(shí)序軌跡（如圖2 所示）。由于眼震是眼球震顫，眼震的頻率、幅度、方向、程度不同會(huì)導(dǎo)致眼球的移動(dòng)位置在短時(shí)間內(nèi)出現(xiàn)的變化不同，可能是細(xì)微的也可能是明顯的。隨時(shí)間變化的眼動(dòng)軌跡可視化效果見圖3。

圖2 以矩形邊界框的中心作為虹膜中心提取軌跡

圖3 眼動(dòng)軌跡可視化

2.2 基于眼動(dòng)軌跡分析的分類模型

時(shí)間序列由根據(jù)時(shí)間順序測(cè)量和排列的數(shù)值組成［12］，時(shí)序數(shù)據(jù)復(fù)雜且包含大量與時(shí)間屬性相關(guān)的隱藏信息，即數(shù)據(jù)內(nèi)部相鄰時(shí)刻的信息通常情況下具有某種相關(guān)性，屬于流數(shù)據(jù)，對(duì)時(shí)序數(shù)據(jù)的分析和挖掘已經(jīng)成為大數(shù)據(jù)分析領(lǐng)域的熱點(diǎn)。時(shí)間序列分類和預(yù)測(cè)應(yīng)用在智能交通、智慧金融、智慧醫(yī)療等領(lǐng)域，意義重大，影響深遠(yuǎn)。對(duì)于時(shí)間序列分類（TSC）［13］，相似性度量是其關(guān)鍵。相比于常規(guī)數(shù)據(jù)，時(shí)序數(shù)據(jù)往往存在長(zhǎng)度不等的問題，傳統(tǒng)的歐氏距離往往不能適用。對(duì)此，本文采用基于動(dòng)態(tài)時(shí)間歸整（Dynamic Time Warping，DTW）的時(shí)間序列相似性度量［13］。

值得注意的是，在基于DTW 的時(shí)間相似性度量下，傳統(tǒng)支持向量機(jī)（Support Vector Machine，SVM）［14］、深 度 神 經(jīng) 網(wǎng) 絡(luò)（Deep Neural Network，DNN）［15］等分類器因缺少相同長(zhǎng)度的向量化特征而無法適用。對(duì)此，因其能夠以樣本相似度作為算法輸 入，本 文 將 采 用k 近 鄰（k-Nearest Neighbor，k-NN）［16］作為眼動(dòng)時(shí)序數(shù)據(jù)的分類器。k-NN 算法可基于相似性度量，在訓(xùn)練集中找到若干個(gè)與給定的測(cè)試樣本最相近的訓(xùn)練樣本，然后使用“投票法”進(jìn)行預(yù)測(cè)，預(yù)測(cè)的類別在k 個(gè)樣本中類別標(biāo)記出現(xiàn)最多［17］。眼動(dòng)軌跡記錄了依時(shí)間為序排列的眼球移動(dòng)位置，且由于眼動(dòng)視頻時(shí)長(zhǎng)不等長(zhǎng)導(dǎo)致時(shí)間序列不等長(zhǎng)，本文分類器選擇基于DTW 相似性度量的k-NN分類器進(jìn)行訓(xùn)練和預(yù)測(cè)。

在上一節(jié)的處理中，每段視頻可分別提取出左眼和右眼的眼動(dòng)軌跡。因此，在眼動(dòng)軌跡分析過程中，可對(duì)三種情況進(jìn)行分析（亦將進(jìn)行對(duì)比實(shí)驗(yàn)），分別是：僅用左眼軌跡進(jìn)行測(cè)試診斷，若測(cè)試樣本被預(yù)測(cè)為眼動(dòng)異常，則判定這是個(gè)患有BPPV 的患者；僅用右眼軌跡進(jìn)行測(cè)試診斷，若測(cè)試樣本被預(yù)測(cè)為眼動(dòng)異常，則判定這是個(gè)患有BPPV 的患者；使用雙眼軌跡進(jìn)行測(cè)試診斷，若測(cè)試樣本的左右眼兩條軌跡同時(shí)被預(yù)測(cè)為眼動(dòng)異常，則判定這是個(gè)患有BPPV的患者。

3 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)中，本文將在“眼動(dòng)視頻”數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，在進(jìn)行目標(biāo)檢測(cè)的同時(shí)提取眼動(dòng)軌跡，并進(jìn)行數(shù)據(jù)增強(qiáng)操作，最后對(duì)診斷結(jié)果進(jìn)行對(duì)比與分析。

3.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)采用的操作系統(tǒng)為L(zhǎng)inux 系統(tǒng)，顯卡是用24GB 顯存的英偉達(dá)3090，深度學(xué)習(xí)框架為Pytorch，Torch 版 本 為1.7.0，Cuda 版 本 為11.0，Cudnn 版本為v8.0.5。

在訓(xùn)練檢測(cè)模型之前隨機(jī)選取了10 個(gè)眼動(dòng)視頻，并從每個(gè)被選出的視頻中每隔10 幀獲取一張圖片作為一個(gè)檢測(cè)數(shù)據(jù)，最終手動(dòng)標(biāo)注了608 張圖片，并按照8：1：1 的比例劃分訓(xùn)練集：驗(yàn)證集以及測(cè)試集。令初始學(xué)習(xí)率為0.001，Epoch 為150，Minibatch size 為32。在本文實(shí)驗(yàn)中，主要的檢測(cè)類型分為兩類：cross（十字形記號(hào)）、eye（眼睛），依據(jù)eye 類別的矩形邊界框提取軌跡。

在訓(xùn)練分類模型之前，從眼動(dòng)軌跡數(shù)據(jù)集的兩種類別中分別隨機(jī)選取80%作為訓(xùn)練集，剩下的20%作為測(cè)試集，將被選中作為訓(xùn)練集的訓(xùn)練樣本的左右眼軌跡一起輸入分類模型中訓(xùn)練，并只對(duì)訓(xùn)練數(shù)據(jù)做數(shù)據(jù)增強(qiáng)操作。在第3.7 節(jié)中，本文將進(jìn)一步進(jìn)行實(shí)驗(yàn)測(cè)試所用的診斷模型在不同k 值下的性能（見表5）。

表5 不同k值的性能影響（%）（最高得分以粗體表示）

3.2 實(shí)驗(yàn)數(shù)據(jù)集與評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)將在“眼動(dòng)視頻”數(shù)據(jù)集上進(jìn)行，數(shù)據(jù)集包含兩種類別，分別是眼動(dòng)正常（normal）和眼動(dòng)異常（abnormal）。這些初始數(shù)據(jù)均為視頻格式，各類數(shù)據(jù)的具體情況如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)表

為對(duì)比在類別不平衡情況下數(shù)據(jù)增強(qiáng)的性能，本文采用了三種常用的評(píng)價(jià)指標(biāo)，分別是精確率（precision）、召回率（recall）和準(zhǔn)確率（accuracy）［18］。本文實(shí)驗(yàn)的精確率、召回率針對(duì)患者類別進(jìn)行計(jì)算。

3.3 數(shù)據(jù)增強(qiáng)方法

類別不平衡（class-imbalance）［19］是指在分類問題中某些類別的訓(xùn)練樣本顯著多于其他類別的情況。針對(duì)類別不平衡問題以及時(shí)序數(shù)據(jù)的特點(diǎn)，本文運(yùn)用了三種數(shù)據(jù)增強(qiáng)［20］方法對(duì)眼動(dòng)軌跡進(jìn)行擴(kuò)充，但只針對(duì)訓(xùn)練集進(jìn)行，分別是翻轉(zhuǎn)（flip），剪切（crop）和抖動(dòng)（jitter），以達(dá)到增加訓(xùn)練樣本和提高診斷準(zhǔn)確率的目的。我們?cè)趫D4 中舉例說明了時(shí)間序列進(jìn)行數(shù)據(jù)增強(qiáng)后的變化。

圖4 時(shí)間序列數(shù)據(jù)增強(qiáng)圖示

翻轉(zhuǎn)（flip）是通過首尾翻轉(zhuǎn)原始的時(shí)間序列x1,…,xS得到新的時(shí)間序列，其 中。在本文實(shí)驗(yàn)中，首尾翻轉(zhuǎn)后新序列的標(biāo)簽與原始的時(shí)間序列保持一致。

剪切（crop）［21］是一種提取子樣本的方法，原理是從原始時(shí)間序列中隨機(jī)裁剪片段，可設(shè)置片段的長(zhǎng)度，一般不與原始時(shí)間序列等長(zhǎng)，片段的標(biāo)簽與原始時(shí)間序列保持一致。

抖動(dòng)（jitter）是指軌跡的理想時(shí)序與實(shí)際時(shí)序之間的偏差。在本文實(shí)驗(yàn)中，通過對(duì)原始樣本做輕微的小幅度數(shù)值調(diào)整得到新序列，達(dá)到擴(kuò)充數(shù)據(jù)的效果，新序列樣本的標(biāo)簽仍然與原始的時(shí)間序列保持一致。

3.4 數(shù)據(jù)增強(qiáng)次數(shù)對(duì)非平衡類別的性能影響

本節(jié)實(shí)驗(yàn)在k=1 的情況下對(duì)非平衡類別在不同數(shù)據(jù)增強(qiáng)次數(shù)下進(jìn)行性能對(duì)比（使用雙眼軌跡進(jìn)行測(cè)試）。實(shí)驗(yàn)對(duì)比包括：（A1）正常樣本無增強(qiáng)，異常樣本無增強(qiáng)；（A2）正常樣本剪切增強(qiáng)4 次，異常樣本無增強(qiáng)；（A3）正常樣本剪切增強(qiáng)4 次，異常樣本翻轉(zhuǎn)增強(qiáng)1 次；（A4）正常樣本剪切增強(qiáng)5 次，異常樣本翻轉(zhuǎn)增強(qiáng)1次。其中（A3）為對(duì)照組。

如表2 所示，并非增強(qiáng)次數(shù)越多模型的診斷性能越好。當(dāng)只對(duì)正常樣本剪切增廣4 次時(shí)，效果不佳。而當(dāng)正常樣本剪切增強(qiáng)5 次，異常樣本翻轉(zhuǎn)增強(qiáng)1 次時(shí)，準(zhǔn)確率和對(duì)患者診斷的精確率和召回率都不如（A3）。當(dāng)正常樣本剪切增強(qiáng)4次，異常樣本翻轉(zhuǎn)增強(qiáng)1 次時(shí)，模型在不降低準(zhǔn)確率的前提下對(duì)患者診斷的精確率提高到了92.5%，召回率不低于90%，因此（A3）的增強(qiáng)組合優(yōu)于其他增強(qiáng)次數(shù)的組合，能得到較高的精確率和召回率。

表2 在k=1的情況下非平衡類別在不同數(shù)據(jù)增強(qiáng)次數(shù)下的性能表現(xiàn)（%）（最高得分以粗體表示）（（A1）無增強(qiáng)；（A2）Crop4次+Flip0次；（A3）Crop4次+Flip1次；（A4）Crop5次+Flip1次）

3.5 數(shù)據(jù)增強(qiáng)類別的性能影響

在本節(jié)實(shí)驗(yàn)中，本文將在k=1 的情況下對(duì)比眼動(dòng)軌跡時(shí)間序列在不同增強(qiáng)方法下的性能（使用雙眼軌跡進(jìn)行測(cè)試）。實(shí)驗(yàn)對(duì)比包括：（B1）正常樣本剪切增強(qiáng)4 次，異常樣本翻轉(zhuǎn)增強(qiáng)1 次；（B2）正常樣本翻轉(zhuǎn)增強(qiáng)4 次，異常樣本翻轉(zhuǎn)增強(qiáng)1 次；（B3）正常樣本剪切增強(qiáng)4 次，異常樣本剪切增強(qiáng)1 次；（B4）正常樣本抖動(dòng)增強(qiáng)4 次，異常樣本抖動(dòng)增強(qiáng)1次。（B5）正常樣本增強(qiáng)4 次，異常樣本增強(qiáng)1 次，每次增強(qiáng)從抖動(dòng)和剪切兩種增強(qiáng)方法中隨機(jī)二選一；（B6）正常樣本增強(qiáng)4 次，異常樣本增強(qiáng)1 次，每次增強(qiáng)從抖動(dòng)和翻轉(zhuǎn)兩種增強(qiáng)方法中隨機(jī)二選一；（B7）正常樣本增強(qiáng)4 次，異常樣本增強(qiáng)1 次，每次增強(qiáng)從剪切和翻轉(zhuǎn)兩種增強(qiáng)方法中隨機(jī)二選一。

表3 給出了時(shí)間序列在不同增強(qiáng)方法下的精確度（%）、召回率（%）和準(zhǔn)確率（%）得分。如表所示，無論是單獨(dú)使用一種增強(qiáng)方法還是每次增強(qiáng)隨機(jī)選擇增強(qiáng)方法，準(zhǔn)確率以及對(duì)患者診斷的精確率不如（B1）。因此（B1）的增強(qiáng)組合優(yōu)于其他增強(qiáng)類別的組合，能得到較高的精確率和召回率。

表3 在k=1的情況下數(shù)據(jù)增強(qiáng)類別的性能影響（%）（最高得分以粗體表示）（（B1）Crop4次+Flip1次；（B2）Flip4次+Flip1次；（B3）Crop4次+Crop1次；（B4）Jitter4次+Jitter1次；（B5）每次Jitter、Crop二選一；（B6）每次Jitter、Flip二選一；（B7）每次Crop、Flip二選一）

3.6 使用單眼軌跡與雙眼軌跡的性能影響

在本節(jié)實(shí)驗(yàn)中，本文將對(duì)正常樣本剪切增強(qiáng)4次與異常樣本翻轉(zhuǎn)增強(qiáng)1 次后在k=1 的情況下對(duì)比單眼軌跡與雙眼軌跡的性能。如表4 所示，使用雙眼軌跡對(duì)患者診斷的精確率優(yōu)于僅使用單眼軌跡，精確率和召回率越高，漏診或誤診的情況越少。

表4 在k=1的情況下使用單眼軌跡與雙眼軌跡的性能影響（%）（最高得分以粗體表示）（（C1）使用雙眼軌跡；（C2）僅使用左眼軌跡；（C3）僅使用右眼軌跡）

3.7 不同k值的性能影響

在k-NN 算法中，k 值的大小會(huì)直接影響模型的性能。如表5 所示，給出了對(duì)正常樣本剪切增強(qiáng)4 次與異常樣本翻轉(zhuǎn)增強(qiáng)1 次后在k=1、k=3、k=5 和k=7 情況下使用雙眼軌跡測(cè)試的性能對(duì)比。值得一提的是，將k=1 和動(dòng)態(tài)時(shí)間規(guī)整距離結(jié)合起來可以得到較優(yōu)的診斷性能。當(dāng)k=1 時(shí)，對(duì)患者診斷的的精確率和召回率都優(yōu)于其他k 取值，這表明在眼動(dòng)軌跡的分類時(shí)最近鄰可以給出較為可靠的信息。因此，對(duì)正常樣本剪切增強(qiáng)4 次與異常樣本翻轉(zhuǎn)增強(qiáng)1次、使用k=1進(jìn)行訓(xùn)練，使用雙眼軌跡進(jìn)行診斷能（在測(cè)試集上）得到最佳的診斷性能。

4 結(jié)語(yǔ)

本文在BPPV 的診斷問題上，提出了一種基于眼動(dòng)時(shí)序軌跡分析的BPPV 診斷模型。本文利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)器和基于時(shí)序軌跡分析的分類器相結(jié)合的方法，對(duì)捕捉到眼震特性的眼動(dòng)軌跡進(jìn)行數(shù)據(jù)增強(qiáng)和分類，實(shí)驗(yàn)證明其在對(duì)BPPV的診斷上取得了較佳診斷性能，可以輔助醫(yī)學(xué)診斷，增加診斷效率，減少只用裸眼觀察造成的漏診或誤診。在未來研究工作中，本文的眼動(dòng)軌跡分類模塊一方面可以探索更多針對(duì)時(shí)間序列的數(shù)據(jù)增強(qiáng)方法，另一方面也可將其他處理時(shí)間序列的深度或非深度模型應(yīng)用到該任務(wù)上，以進(jìn)一步提升BP?PV診斷的準(zhǔn)確性。