關(guān)鍵詞： MobileNetV3; Ghost模塊; 量化感知訓(xùn)練; 精準(zhǔn)門控機制; 隱匿性房室旁路心電圖識別

0 引言

隱匿性房室旁路（Concealed Accessory Pathway，CAP） 屬于心臟電活動的一種結(jié)構(gòu)性異常，在特定的病理條件下，隱匿性房室旁路可能被激活，導(dǎo)致心律失常的發(fā)生，患者可能會出現(xiàn)心律失常的癥狀，嚴(yán)重時可能發(fā)展為心力衰竭，甚至導(dǎo)致猝死。因此，設(shè)計出合適的模型，在心電圖上檢測出CAP癥狀，對心電圖進行識別成為一種合適的選擇。近年來，研究人員提出了基于心電圖的心血管疾病檢測模型，模型種類包括卷積模型[1-2]、transformer 模型[3]和LSTM 模型[4]。相比之下，卷積模型因其高效的特征提取能力、參數(shù)共享以及平移不變性，在心電圖識別中展現(xiàn)出更高的適用性。譬如，Tesfai[5]等人基于shufflenet架構(gòu)，提出了一種一維架構(gòu)的輕量化卷積神經(jīng)模型，同時采用Focal損失函數(shù)用以解決數(shù)據(jù)不平衡的問題，實現(xiàn)對六類心律失常數(shù)據(jù)的有效分類；Chen等人構(gòu)建了一種基于單導(dǎo)聯(lián)心電圖的多尺度融合輕量化卷積模型，經(jīng)由3個亞神經(jīng)網(wǎng)絡(luò)提取各種縮放心電圖的特征并使用帶有擠壓激勵塊的通道注意力模塊自適應(yīng)融合不同的縮放特征。實驗結(jié)果表明，該輕量化卷積模型對睡眠呼吸暫停的檢測具有有效性。

由于隱匿性房室旁路難以捉摸的特性，以及為了方便模型直接部署到嵌入式設(shè)備中，本文在輕量級MobileNetV3 模型基礎(chǔ)上，提出了一種融合qOgzV+/IW33ciQs8a6KbTg==Ghost 模塊、量化感知訓(xùn)練以及精準(zhǔn)門控機制的改進Mobile?NetV3模型。最后在所收集的ECG12數(shù)據(jù)集上進行實驗。實驗結(jié)果表明，本文所提出的模型在保持較低計算復(fù)雜度的同時，達到了較高的識別準(zhǔn)確率，可直接部署到嵌入式設(shè)備中，識別隱匿性房室旁路的心電圖。

1 基本原理

1.1 MobileNetV3模型

MobileNetV3 模型是MobileNetv2 模型的改進版本。MobileNetV3模型優(yōu)化了每個塊，通過使用搜索全局模型技術(shù)，找到針對于硬件平臺的MobileNetV3 模型；其次，將SE注意力機制應(yīng)用在MobileNetv3的瓶頸結(jié)構(gòu)中，提取全局信息對每個通道的特征進行加權(quán)，來提升MobileNetV3 的特征提取能力。Mobile?NetV3的瓶頸結(jié)構(gòu)如圖1所示。

其中，BN（Batch Normalization，BN）為數(shù)據(jù)歸一化層，用于加快模型收斂速度，使得模型更加穩(wěn)定，NL 為激活函數(shù)，有兩種可供選擇的激活函數(shù)，分別是Relu激活函數(shù)和HardSwish激活函數(shù)，Dwise為深度可分離卷積，Pool為池化層，F(xiàn)C為線性層，Relu表示Relu 激活函數(shù)，hard - σ 為HardSwish激活函數(shù)，1×1表示1×1卷積，用于改變輸入特征圖的通道數(shù)。關(guān)于所使用的MobileNetV3的結(jié)構(gòu)框架如表1所示。

其中，輸入表示輸入的尺寸，框架結(jié)構(gòu)表示模型名稱和使用的卷積核大小，Conv表示卷積層，Bneck表示瓶頸結(jié)構(gòu)，Pool表示池化層，擴展表示瓶頸層結(jié)構(gòu)中使用1×1卷積層之后的通道數(shù)，輸出表示輸出通道數(shù)，SE表示SE注意力機制，√代表使用，-表示不使用，NL為激活函數(shù)，可以是Relu激活函數(shù)或HardSwish激活函數(shù)，它們的縮寫分別為RE和HS。步長表示是否對特征圖尺寸進行處理，為1，輸出尺寸和輸入尺寸一致；為2，輸出尺寸的長寬縮減為輸入尺寸的一半。

1.2 改進MobileNetV3模型

為了解決MobileNetV3 在心電圖識別中計算量大、性能不足的問題，使用Ghost模塊、QAT和PG機制，對MobileNetV3進行改進，得到一種改進型Mobile?NetV3 模型。本文分別從Ghost 模塊、QAT（Quantita?tion Aware Training，QAT）、PG（Precision Gate，PG）機制3方面進行闡述。

1.2.1 引入Ghost 模塊

在MobileNetV3模型瓶頸結(jié)構(gòu)的第一個卷積處引入Ghost模塊，用于增強MobileNetV3模型的淺層特征提取能力。Ghost模塊通過卷積運算生成少量內(nèi)在特征圖，然后通過使用簡單的線性變化生成高效特征圖，最后通過拼接內(nèi)在特征圖和高效特征圖獲得Ghost特征圖。Ghost模塊的結(jié)構(gòu)如圖2所示。

其中，Conv表示用于生成內(nèi)在特征圖的卷積運算，Φ1，...，Φk 表示線性變換。當(dāng)Ghost模塊與Mobile?NetV3 的瓶頸結(jié)構(gòu)相結(jié)合時，可以得到改進Mobile?NetV3模型的瓶頸結(jié)構(gòu)，通過保留輸入特征圖，讓模型擁有更強的淺層特征提取能力，結(jié)構(gòu)如圖3所示。

1.2.2 引入QAT

QAT由Jacob等人提出，是量化模型的一種常用手段，常用于模型壓縮。其核心思想是將深度學(xué)習(xí)模型參數(shù)與運算精度從浮點型數(shù)據(jù)降低至低精度，如8 位整型。本文模型中，在MobileNetV3的卷積層里，使用QAT用于減少MobileNetV3的計算量。在卷積運算中，QAT的訓(xùn)練過程如圖4所示。

圖4中，float32表示32位浮點型數(shù)據(jù)，uint8表示8 位整型數(shù)據(jù)，uint32表示32位整型數(shù)據(jù)。輸入為8位整型數(shù)據(jù)，將權(quán)重從32位浮點型數(shù)據(jù)轉(zhuǎn)化為8位整型數(shù)據(jù)，通過8位整型輸入和8位整型權(quán)重之間的卷積運算代替32位浮點型輸入和32位浮點型權(quán)重之間的卷積運算，從而減少計算量，可得到的32位整型結(jié)果，并通過與32位整型偏置相加，經(jīng)激活函數(shù)，量化轉(zhuǎn)變?yōu)?位整型輸出，所得到的8位整型輸出作為輸入，為下一階段的卷積運算或者全連接運算做準(zhǔn)備。

實際部署到嵌入式設(shè)備中時，在QAT下，整個卷積的運算過程如圖5所示。

在本文中，量化這一過程的計算公式如式（1） 所示。

其中：I 表示32位浮點型權(quán)重或32位整型激活輸出；A 表示量化后權(quán)重或激活輸出所對應(yīng)的8位整型；S 表示權(quán)重或激活輸出的正負號；M 表示32位浮點型權(quán)重或32位整型激活輸出中的最大值。

1.2.3 引入PG 機制

為了讓本文模型的計算量和參數(shù)量進一步減少，同時提升模型的泛化能力和深層特征提取能力，采用PG機制對使用QAT后的卷積進行處理。PG機制可以分成兩個階段，分別是預(yù)測階段和更新階段。整個PG機制的結(jié)構(gòu)如圖6所示。

從圖6可以看出，8位整型輸入I 被分成高4位整型輸入Ihb 和低4位整型輸入Ilb。在預(yù)測階段，高4位整型輸入Ihb 左移4位后與8位整型權(quán)重進行卷積運算，得到結(jié)果Ohb。Ohb 經(jīng)過門控機制，得到二進制決策掩碼mask，用于在更新階段，決定Ilb 中哪些位置參與卷積運算。Ilb 經(jīng)過更新階段，得到Olb。將Ohb 與Olb 相加，最終得到卷積的輸出結(jié)果O。

2 實驗結(jié)果與分析

2.1 ECG12心電圖數(shù)據(jù)集

本文的ECG12心電數(shù)據(jù)集來自無錫某醫(yī)院心電科，共有6 510張，類型為正常心電圖和隱匿性房室旁路心電圖，其中，訓(xùn)練集3 900張、驗證集1 310張、測試集1 010張，隱匿性房室旁路和正常心電圖分別占總心電圖數(shù)目的30%和70%。數(shù)據(jù)集圖像樣本如圖7 所示。

2.2 實驗設(shè)置

驗證本文模型的實驗平臺硬件為Intel I7 12600H 處理器、16G內(nèi)存、RTX3070顯卡，使用Python編程語言來實現(xiàn)，版本為3.7，使用深度學(xué)習(xí)框架Py?torch1.11.0、Pycharm開發(fā)工具來實現(xiàn)。整個訓(xùn)練過程迭代70個epoch，為了保證模型的穩(wěn)定，在前10個ep?och 采用warmup 預(yù)熱學(xué)習(xí)策略，初始學(xué)習(xí)率設(shè)置為0.001，后續(xù)采用cosine用于控制學(xué)習(xí)率衰減，超參數(shù)衰減率為0.1，最低學(xué)習(xí)率為0.00001。計算量用于定量評估不同模型的大小。對于隱匿性房室旁路識別性能的評估，引入靈敏度（Sensitivity，Sen） ，精準(zhǔn)率（Precision，Pre） ，Macro-F1分?jǐn)?shù)，它們被廣泛應(yīng)用在分類領(lǐng)域的性能評估，如式（2）-式（5）所示。

其中： TP、FP、FN 分別代表被模型預(yù)測為正類的正樣本、被模型預(yù)測為正類的負樣本和被模型預(yù)測為負類的正樣本；F1 - score1 和F1 - score2 分別代表隱匿性房室旁路為正樣本，正常心電圖為正樣本的F1 分?jǐn)?shù)。

2.3 實驗分析

為了驗證改進MobileNetV3模型中的Ghost模塊、QAT和PG機制在隱匿性房室旁路識別中的有效性，進行消融實驗。消融實驗結(jié)果如表2所示（最優(yōu)的結(jié)果加粗）。

ECG12數(shù)據(jù)集上的消融實驗表明，相較Mobile?NetV3 模型，加入Ghost 模塊后，除了精準(zhǔn)率外，Mo?bileNetV3模型對于12導(dǎo)聯(lián)心電圖的各項性能有所增強。這表明，Ghost模塊可以增強MobileNetV3模塊的淺層特征表示能力并同時壓縮模型的計算量；加入QAT后，MobileNetV3模型的各項性能變差。這說明QAT所帶來的誤差導(dǎo)致MobileNetV3模型的各項性能變差；在加入QAT，再次加入PG機制，MobileNetV3模型的各項性能得到了一定的增強，這表明PG機制可以增強MobileNetV3模型的泛化能力和深層特征提取能力，彌補QAT所帶來對于MobileNetV3模型在預(yù)測CAP上的誤差。融合Ghost模塊、QAT和PG機制后，MobileNetV3模型對于CAP病癥的預(yù)測達到了最佳。圖8為消融試驗下各模型在測試集的性能曲線，包括靈敏度曲線，精準(zhǔn)率曲線和Macro-F1分?jǐn)?shù)曲線。

從圖8可以看出，在ECG12數(shù)據(jù)集上，改進Mo?bileNetV3模型在靈敏度和Macro-F1分?jǐn)?shù)上強于其他消融下實驗?zāi)Ｐ?，在精?zhǔn)率上也處于優(yōu)秀的程度。這證實了加入各模塊對于提升CAP病癥識別的有效性。使用Grad-Cam 對消融實驗下各模型進行可視化分析，隨機選取一張圖片，得到相關(guān)模型的熱力圖，熱力圖實驗結(jié)果如圖9所示。

從消融實驗的熱力圖可以看出，改進Mobile?NetV3 模型的不僅強調(diào)了一些深層特征，還增強了對于一些淺特征的提取，所提取的特征范圍更廣，提取的區(qū)域更為合理，對于CAP 病癥的預(yù)測效果更佳。

3 結(jié)束語

針對隱匿性房室旁路心電圖識別問題，本文提出了一種基于MobileNetV3的改進心電圖識別模型。該模型在MobilenNetV3的基礎(chǔ)上，通過引入Ghost模塊，提升MobileNetV3 的淺層特征提取能力；通過使用QAT和PG機制，在壓縮模型計算量的同時，提升了模型的泛化能力和深層特征提取能力。在ECG心電圖數(shù)據(jù)集上進行實驗，結(jié)果表明，改進MobileNetV3心電圖識別模型在壓縮原模型計算量的同時，提升了原模型的性能，這表明MobileNet心電圖識別模型可直接部署到嵌入式設(shè)備中，用于實現(xiàn)對隱匿性房室旁路心電圖的識別。