曾軍英，田慧明，陳宇聰，顧亞謹(jǐn)，鄧森耀，尹永宏，尤吳杭，黃國(guó)林，甘俊英，秦傳波

（五邑大學(xué)智能制造學(xué)部，廣東江門 529020）

0 引 言

近年來，手指靜脈識(shí)別作為流行的第二代生物特征識(shí)別工具，相較于其他生物識(shí)別技術(shù)具有安全性高、準(zhǔn)確率高、唯一性、非接觸式采集、不易偽造和低成本等特點(diǎn)，因此受到越來越多的學(xué)者關(guān)注。在手指靜脈的提取和識(shí)別應(yīng)用中，圖像分割是其中一項(xiàng)主要任務(wù)，直接影響到識(shí)別的準(zhǔn)確率。但是這些主流網(wǎng)絡(luò)模型[1-4]的主要工作都集中在開發(fā)高效和魯棒性的分割方法上，對(duì)指靜脈提取的實(shí)時(shí)性分割工作很難達(dá)到理想效果。此外，這些方法需要消耗大量的計(jì)算資源和存儲(chǔ)空間，在嵌入式終端上很難達(dá)到運(yùn)行的條件。相對(duì)于占用大量計(jì)算和內(nèi)存資源、對(duì)設(shè)備要求較高的CNN 架構(gòu)，以及需要大量數(shù)據(jù)進(jìn)行訓(xùn)練、建立全局依賴的Transformer 架構(gòu)[5-8]，設(shè)計(jì)一種計(jì)算開銷較小、參數(shù)數(shù)量較少、推理時(shí)間更快的分割網(wǎng)絡(luò)模型，并保持其良好的分割性能是非常重要的。此外，探索局部性對(duì)模型體系結(jié)構(gòu)的影響也同樣具有重要意義。對(duì)于上述問題，本文提出了一種基于MLP的輕量級(jí)手指靜脈分割網(wǎng)絡(luò)模型——S-MLP。該網(wǎng)絡(luò)模型采用帶有編碼器、解碼器和跳躍連接的U 型5 層深度網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)，在每一個(gè)解碼器和編碼器中引用了一種新穎的標(biāo)記化MLP，這種標(biāo)記化MLP 能夠?qū)⒕矸e特征映射到抽象的標(biāo)記空間中，從而降低了計(jì)算量，并利用MLP 學(xué)習(xí)有意義的特征圖信息以進(jìn)行分割。使用逐深度卷積進(jìn)一步減少網(wǎng)絡(luò)模型參數(shù)，同時(shí)還能捕捉到重要的圖像特征。為了將局部性引入所提出的方法中，該算法在特征圖中采用窗口劃分的方式，并在每個(gè)窗口中執(zhí)行標(biāo)記混合投影，以對(duì)特征像素點(diǎn)及其周圍特征像素點(diǎn)之間的關(guān)系進(jìn)行建模。在MLP 中引入了移位操作，通過水平和垂直兩個(gè)方向空間移動(dòng)，將來自不同位置的特征進(jìn)行聚合，以提取對(duì)應(yīng)軸向移位的局部信息，從而引入了局部性。由于標(biāo)記化特征的維度較少，且MLP 相對(duì)于卷積和Transformer 更為簡(jiǎn)單，考慮到減小模型大小可能會(huì)影響分割性能，因此該算法在每個(gè)層后面添加一個(gè)參數(shù)量極少的注意力模塊Triplet Attention[9]，它可以使模型的注意力集中在指靜脈紋路上，抑制網(wǎng)絡(luò)模型提取無關(guān)信息。

1 方 法

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

S-MLP 整體結(jié)構(gòu)如圖1 中的A 部分所示，由沙漏狀的深度可分離卷積為基礎(chǔ)模塊組成編碼器、解碼器和跳躍連接的U 型結(jié)構(gòu)。圖1 中的B 部分顯示了結(jié)構(gòu)的處理過程：首先，通過3×3 逐層卷積提取深度方向特征，從而得到具有較強(qiáng)表達(dá)性的特征圖；接下來，利用沙漏狀的雙層1×1 的點(diǎn)卷積層將特征維度先壓縮再擴(kuò)展，從而在提取到充足的通道特征信息的前提下減少卷積帶來的巨大開銷；最后，通過一層3×3 的逐層卷積來補(bǔ)充在點(diǎn)卷積過程中丟失的空間特征信息。在沙漏狀深度可分離卷積中間使用由文獻(xiàn)[10]提出的標(biāo)記MLP 模塊。

圖1 S-MLP 總體網(wǎng)絡(luò)結(jié)構(gòu)

1.2 Shifted MLP

Shifted MLP 利用通道投影、垂直偏移和水平偏移來提高局部信息的提取能力。通過對(duì)特征圖的維度進(jìn)行軸向移動(dòng)，可以獲得來自不同維度的信息流，從而捕獲局部依賴關(guān)系。特征圖軸向移動(dòng)方法具體步驟為：

1）通道投影將特征映射為線性層；

2）分別在水平和垂直上進(jìn)行空間移動(dòng)特征，將不同位置的特征轉(zhuǎn)移至同一位置。

當(dāng)特征重組時(shí)，將不同空間位置的信息組合在一起，從而獲取更多的局部特征以提高性能。在移動(dòng)中引入基于窗口的注意，以向全局模型添加更多的局域性，使得MLP 更加關(guān)注特征的局部細(xì)節(jié)。

1.3 標(biāo)記MLP

如圖1 中的C 部分所示，標(biāo)記MLP 包括兩個(gè)移位操作層、一個(gè)GeLU 層、一個(gè)特征編碼層、一個(gè)歸一化層（LayerNorm, LN）和一個(gè)重投影層。值得注意的是，該算法使用GeLU[11]和LN 來代替常用的ReLU 激活函數(shù)和BN 層，這兩種在Transformer 中被廣泛使用，GeLU 相較于ReLU 激活函數(shù)性能表現(xiàn)更好，LN 沿著特征向量序列進(jìn)行規(guī)范化。

特征圖經(jīng)過平移操作后，在標(biāo)記化MLP 模塊中，首先將特征通過嵌入投影操作轉(zhuǎn)換成特征向量并將它們映射編碼成“標(biāo)記”信息；接著，采用3×3 的卷積核對(duì)這些標(biāo)記進(jìn)行卷積操作，然后，將這些“標(biāo)記”跨越寬度傳遞給一個(gè)移位的MLP；接下來，這些特征“標(biāo)記”通過深度可分離卷積層（DW-Conv）進(jìn)行處理，重復(fù)上述操作，將“標(biāo)記”再次跨越高度傳遞給一個(gè)移位的MLP；最后，將這些特征“標(biāo)記”再次傳遞給深度可分離卷積進(jìn)行層處理，使用殘差連接并將原始標(biāo)記作為殘差添加到輸出的移位特征中，補(bǔ)充特征信息，應(yīng)用層歸一化（LN）并將輸出特征傳遞給下一個(gè)模塊。

標(biāo)記MLP 塊中特征圖的計(jì)算可以總結(jié)為：

式中：X表示輸入特征圖；T表示標(biāo)記化；W 表示寬度；H 表示高度；DWConv 表示逐深度卷積；LN 表示歸一化層。

1.4 輕量型注意力模塊Triplet Attention

SE[12]和CBAM[13]注意力模塊在CNN 模塊中被證實(shí)是有效的。但是，它們引入的額外參數(shù)量不能被忽視。Triplet Attention 模塊可以在不涉及任何降維的情況下對(duì)注意力進(jìn)行建模，并且用一種參數(shù)極小的注意力機(jī)制來模擬通道和空間注意力。如圖1 中的D 部分所示，在前兩個(gè)分支中，旋轉(zhuǎn)操作對(duì)輸入的張量X分別沿高度（H）和寬度（W）兩個(gè)軸逆時(shí)針旋轉(zhuǎn)90°。然后通過映射變換操作，由標(biāo)準(zhǔn)卷積層和批歸一化層生成形狀為1 ×H×C和1 ×C×W的中間輸出張量，這些中間輸出將被用于計(jì)算通道和高度（寬度）的跨維度交互。再經(jīng)過順時(shí)針90°旋轉(zhuǎn)，恢復(fù)特征向量。對(duì)于第三個(gè)分支，與前面不同的是輸入張量X的通道通過Z-pool 輸出。最終，通過簡(jiǎn)單平均將三個(gè)分支的輸出張量匯總。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 評(píng)估數(shù)據(jù)集

本次實(shí)驗(yàn)采用了三個(gè)數(shù)據(jù)集。其中，山東大學(xué)MLA 實(shí)驗(yàn)室創(chuàng)建的SDU-FV 數(shù)據(jù)集共采集了106 個(gè)人的左右手食指、中指和無名指的指靜脈圖像，每個(gè)手指采集6 張圖片，共計(jì)636 類、3 816 張圖片，大小為320×240。香港理工大學(xué)指靜脈數(shù)據(jù)集HKPU包含來自156個(gè)人的3 132 張手指圖像，分別采集了每個(gè)人的食指和中指，大小為513×256。

UTFVP 數(shù)據(jù)集是由荷蘭特文特大學(xué)創(chuàng)建，共包含60 個(gè)人的兩張左右手食指、中指、無名指圖像，數(shù)據(jù)集包含1 440 張PNG 格式圖像，大小為672×380。

2.2 實(shí)驗(yàn)設(shè)置

本文將各個(gè)數(shù)據(jù)集隨機(jī)選取80%作為訓(xùn)練集，剩余20%作為測(cè)試集。本文PC 端實(shí)驗(yàn)環(huán)境配置為NVIDIA RTX A4000 顯卡，對(duì)NVIDIA 嵌入式終端JETSON NANO、JETSON TX2、JETSON XAVIAR NXJETSON 進(jìn)行了相關(guān)實(shí)驗(yàn)，驗(yàn)證了提出算法的結(jié)構(gòu)和思想，以及在終端上實(shí)現(xiàn)的可行性。

2.3 消融實(shí)驗(yàn)

為了研究每個(gè)模塊的具體作用，本文方法在SDUFV數(shù)據(jù)集中設(shè)置了如下實(shí)驗(yàn)：

1）不使用任何模塊；

2）僅使用位置嵌入操作（PE）；

3）添加標(biāo)記MLP 模塊；

4）添加只對(duì)水平轉(zhuǎn)移的操作；

5）添加先對(duì)垂直進(jìn)行轉(zhuǎn)移操作，再對(duì)水平進(jìn)行轉(zhuǎn)移操作；

6）最終的S-MLP 模型。

消融實(shí)驗(yàn)結(jié)果如表1 所示，通過表中數(shù)據(jù)可以得出結(jié)論：S-MLP 模型的高效性受益于每個(gè)模塊的貢獻(xiàn)，在使用了標(biāo)記MLP 后，Params 僅增加了6.177K，但是Flops 和Mult-Adds 分別減少了0.51G 和3M，Dice 提高4.1%、AUC 提高了0.15%、Acc 提高了0.08%。

表1 各模塊消融后評(píng)價(jià)指標(biāo)對(duì)比

2.4 與其他網(wǎng)絡(luò)模型實(shí)驗(yàn)對(duì)比

觀察表2 與表3 的實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)，與所有的卷積結(jié)構(gòu)和Transformer 結(jié)構(gòu)模型相比，S-MLP 模型取得了更好的分割性能。S-MLP 模型的Params 僅有346.949K、Flops 僅有1.853G、Mult-Adds 僅有11.023M，相較于參數(shù)大小為31.042M 的UNet，Params 僅有其1.09%，F(xiàn)lops 和Mult-Adds 分別占其0.42%和0.31%。在模型參數(shù)大幅下降的情況下，S-MLP 模型Dice 指標(biāo)達(dá)到了0.515 6，比UNet 提高了4.19%，AUC 提升了1.49%，Acc 提升了0.21%。與經(jīng)典分割網(wǎng)絡(luò)模型DenseUNet、R2UNet、ResUNet 和AttentionUNet 相比，S-MLP 在參數(shù)量、Dice 系數(shù)和AUC 指標(biāo)中同樣表現(xiàn)出了優(yōu)異的性能。相較于所有卷積結(jié)構(gòu)的網(wǎng)絡(luò)模型，它是最輕量的網(wǎng)絡(luò)模型。由于Transformer 特有的網(wǎng)絡(luò)結(jié)構(gòu)，SwinUNet 與TransUNet的Params 達(dá)到驚人的108.496M 和116.922M。此外，SwinUNet 的缺陷在于需要提供大量的數(shù)據(jù)進(jìn)行訓(xùn)練，否則模型容易發(fā)生過擬合現(xiàn)象。SDU-FV 數(shù)據(jù)集明顯沒有達(dá)到這種需求，所以導(dǎo)致Dice、AUC 和Acc 表現(xiàn)的非常差。TransUNet 的編碼和解碼結(jié)構(gòu)部分是卷積層，在一定程度上彌補(bǔ)了數(shù)據(jù)不足問題，但在參數(shù)量和性能指標(biāo)上依然要低于S-MLP 模型。

表2 S-MLP 模型在SDU-FV 數(shù)據(jù)集與其他模型效果對(duì)比

表3 S-MLP 模型在HKPU 數(shù)據(jù)集和UTFVP 數(shù)據(jù)集與其他模型效果對(duì)比

由此可見，標(biāo)記MLP 將特征信息投影到更高的維度，極大減少了計(jì)算量，使得S-MLP 模型在參數(shù)量和計(jì)算復(fù)雜度上已經(jīng)超越了基于CNN 和Transformer 結(jié)構(gòu)的網(wǎng)絡(luò)模型。S-MLP 模型的整體結(jié)構(gòu)和對(duì)特征圖的移位操作既有UNet 的將底層特征的位置信息和深層的語(yǔ)義信息相融合的能力，又有SwinTransformer 結(jié)構(gòu)在窗口中建立特征像素與局部像素的依賴關(guān)系，并且計(jì)算復(fù)雜度更低。輕量級(jí)注意力模塊Triplet Attention 的加入，使得本文方法更加專注于指靜脈區(qū)域，抑制背景區(qū)域的影響，進(jìn)一步提高了分割性能。

2.5 在嵌入式平臺(tái)實(shí)驗(yàn)

在三個(gè)NVIDIA 嵌入式平臺(tái)中，從算力的角度來看NX＞TX2＞NANO。

表4 記錄了所提方法與其他網(wǎng)絡(luò)模型的實(shí)驗(yàn)結(jié)果，需要注意的是，由于NANO 平臺(tái)算力較低，顯存僅有4 GB，因此在此平臺(tái)上無法運(yùn)行參數(shù)量和計(jì)算復(fù)雜度巨大的UNet、SwinUNet 和TransUNet 網(wǎng)絡(luò)模型。從三個(gè)NVIDIA 嵌入式平臺(tái)的實(shí)驗(yàn)結(jié)果來看，本文方法在Dice和AUC 兩個(gè)重要性能指標(biāo)中都取得了最優(yōu)結(jié)果，證明了輕量化的S-MLP 網(wǎng)絡(luò)模型以極少的參數(shù)量不僅在PC端超越了基于CNN 和Transformer 結(jié)構(gòu)的網(wǎng)絡(luò)模型，在NVIDIA 嵌入式平臺(tái)同樣取得了優(yōu)秀的性能表現(xiàn)，這是另外兩種結(jié)構(gòu)所不具備的。

表4 S-MLP 網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型在NVIDIA 嵌入式平臺(tái)實(shí)驗(yàn)結(jié)果對(duì)比

2.6 可視化分割效果

圖2 展示了SDU-FV、HKPU 和UTFVP 三個(gè)指靜脈數(shù)據(jù)集在各種網(wǎng)絡(luò)模型下的分割結(jié)果可視化圖。從圖中可以觀察到UNet 網(wǎng)絡(luò)模型的分割效果并不理想，部分指靜脈的細(xì)節(jié)部位并沒有很好的分割出來；TransUNet 在性能指標(biāo)上雖然優(yōu)于基于卷積結(jié)構(gòu)的網(wǎng)絡(luò)模型，但是在可視化圖中依然存在血管分割斷裂的情況；S-MLP 網(wǎng)絡(luò)模型不僅在分割性能指標(biāo)上表現(xiàn)出色，在可視化分割效果圖中分割出的血管形態(tài)更平滑，符合人體指靜脈血管特點(diǎn)。

圖2 各個(gè)網(wǎng)絡(luò)模型在SDU-FV、HKPU 和UTFVP數(shù)據(jù)集上的實(shí)際分割效果圖

3 結(jié) 語(yǔ)

本文提出的算法能夠有效地解決現(xiàn)有基于CNN 和Transformer 結(jié)構(gòu)模型的內(nèi)存資源占用問題，并在嵌入式平臺(tái)上表現(xiàn)出色。S-MLP 是一種輕量級(jí)指靜脈紋路分割網(wǎng)絡(luò)模型，采用Shifted MLP 對(duì)特征圖進(jìn)行軸向移位使網(wǎng)絡(luò)模型更關(guān)注特征圖局部位置信息；使用標(biāo)記MLP塊標(biāo)記和投影特征信息；最后在每一層之間添加輕量級(jí)的注意力模塊Triplet Attention，分別在三個(gè)分支上對(duì)空間維度和通道維度進(jìn)行跨維度交互，建立起空間注意力，解決了模型輕量化導(dǎo)致性能下降的問題。S-MLP 在三個(gè)指靜脈分割數(shù)據(jù)集上都取得了最優(yōu)的分割性能并且參數(shù)量最少，在算力有限的嵌入式終端中仍能取得先進(jìn)的性能。

注：本文通訊作者為秦傳波。