呂璐璐， 陳樹越， 王利平， 許 霞

(1.常州大學(xué) 微電子與控制工程學(xué)院，江蘇 常州 213164；2.常州大學(xué) 環(huán)境與安全工程學(xué)院，江蘇 常州 213164)

0 引言

塑料制品為人類的生活提供便利的同時(shí)也帶來了環(huán)境污染的問題。塑料垃圾在物理和化學(xué)的作用下降解為微小的塑料，直徑小于5 mm的塑料顆粒和纖維被稱為微塑料[1]。微塑料在水體中具有尺寸小、比面積大和疏水性強(qiáng)等特點(diǎn)，更容易成為疏水性有機(jī)污染物和重金屬的載體[2]。在水體環(huán)境中，微塑料可以持續(xù)成百上千年[3]，其表面附著了許多細(xì)小微生物，微生物以塑料表面的疏水性物質(zhì)為食，以微塑料為載體在生態(tài)系統(tǒng)中遷移，甚至?xí)M(jìn)入到食物鏈被人誤食[4]。微塑料污染問題已經(jīng)成為全球重大環(huán)境問題之一，引起了各國(guó)政府、學(xué)者和公眾的關(guān)注[5]。

微塑料根據(jù)形態(tài)特征可以分為5種類型：碎片、薄膜、纖維、泡沫塑料和微珠[6]。微纖維是微塑料的主要類型且在水體環(huán)境中長(zhǎng)久存在、降解率低，因此，越來越多的學(xué)者加大了對(duì)微纖維識(shí)別的研究。目前，大多數(shù)學(xué)者使用光學(xué)顯微鏡和電子掃描顯微鏡識(shí)別微纖維。普通光學(xué)顯微鏡很難分析鑒定粒徑小于100 μm的微纖維[7]；電子掃描顯微鏡要求樣品必須是固體，且無毒、無放射性、無污染、無磁、無水分、成分穩(wěn)定、大小適中[8]，且儀器價(jià)格昂貴，耗時(shí)耗力，限制了一定時(shí)間內(nèi)可處理的樣本數(shù)量[9]。

隨著人工智能的發(fā)展，圖像識(shí)別技術(shù)也被廣泛應(yīng)用。 Yurtsever等[10]使用GoogLeNet模型對(duì)廢水中形態(tài)為微珠的微塑料進(jìn)行識(shí)別，識(shí)別準(zhǔn)確率達(dá)到89%；Pazdernik等[11]采用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)LiAlO2顆粒進(jìn)行分割識(shí)別，實(shí)驗(yàn)表明，U-Net對(duì)空隙的分割識(shí)別精度最高，SegNet對(duì)晶粒邊界和雜質(zhì)的分割識(shí)別精度最高。微纖維識(shí)別算法通常需要部署在嵌入式或移動(dòng)設(shè)備中，上述算法的識(shí)別模型偏大，部署困難，限制了其實(shí)用價(jià)值。針對(duì)微纖維識(shí)別難度大的問題，本文構(gòu)建了一種MobileNetV2網(wǎng)絡(luò)的改進(jìn)模型，通過重構(gòu)微纖維深度卷積特征，重新分配通道特征的權(quán)值，并利用不同尺度的下采樣器獲取更多的微纖維特征進(jìn)行融合，從而實(shí)現(xiàn)微纖維識(shí)別效果的提升。

1 微纖維圖像識(shí)別模型

1.1 模型總體框架

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通過加深、加寬網(wǎng)絡(luò)提取圖像特征，但是越深、越寬的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)使得算法模型較為龐大。為了便于微纖維識(shí)別的嵌入式系統(tǒng)的實(shí)現(xiàn)，在此采用深度可分離卷積網(wǎng)絡(luò)以減少參數(shù)量和計(jì)算量。受微纖維尺寸、纏繞形狀和顯微圖像獲取環(huán)境等因素的影響，提取特征的過程中不能有效地學(xué)習(xí)到其關(guān)鍵特征信息。為解決此問題，在優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)過程中，將著重于微纖維通道特征信息的提取，加強(qiáng)微纖維識(shí)別模型的泛化性。模型訓(xùn)練與測(cè)試的流程如圖1所示。

圖1 微纖維識(shí)別模型訓(xùn)練與測(cè)試流程Figure 1 Microfiber recognition model training and testing process

為解決正負(fù)樣本平衡失調(diào)的問題，對(duì)原始網(wǎng)絡(luò)的深度卷積特征通道進(jìn)行重構(gòu)，使網(wǎng)絡(luò)在學(xué)習(xí)微纖維特征時(shí)，將注意力集中在關(guān)鍵的區(qū)域，并利用池化融合代替平均池化進(jìn)行特征采樣，捕獲不同尺度的微纖維特征信息，有效提高微纖維識(shí)別率。改進(jìn)后的MobileNetV2識(shí)別模型如圖2所示。該模型主要是由卷積層、瓶頸殘差層、特征重構(gòu)模塊和池化融合模塊4個(gè)部分組成。卷積層利用尺寸為3×3的卷積核對(duì)輸入的微纖維圖像進(jìn)行下采樣操作，感知微纖維特征的位置、細(xì)節(jié)、語義信息。瓶頸殘差層分為擴(kuò)展層、深度卷積層和投影層3個(gè)部分：擴(kuò)展層采用卷積核大小為1×1的卷積層對(duì)特征圖進(jìn)行升維操作，將低維空間映射到高維空間，提取更多特征圖整體的信息；深度卷積層采用3×3大小卷積核提取微纖維的特征信息；投影層采用1×1大小卷積核的卷積層進(jìn)行降維。在瓶頸殘差層中，卷積操作后使用BN層控制梯度爆炸防止梯度消失。其次，擴(kuò)展層和深度卷積層使用ReLU激活函數(shù)增加模型的非線性，提升模型的表達(dá)力。為防止非線性破壞太多信息，投影層采用線性激活函數(shù)捕獲興趣流形，保留更多有用的特征信息。針對(duì)深度模型中特征信息逐漸衰弱問題，瓶頸殘差層引入殘差結(jié)構(gòu)增強(qiáng)特征提取的指向性。特征重構(gòu)模塊通過平均池化下采樣器和2個(gè)全連接層重構(gòu)微纖維特征，集中關(guān)鍵信息，將注意力聚集到微纖維的位置，從而提升模型學(xué)習(xí)微纖維特征的能力。池化融合模塊采用3種不同池化核將特征細(xì)節(jié)信息融入上采樣中，增強(qiáng)微纖維圖像的特征信息，提取到更細(xì)致的特征圖。

圖2 微纖維識(shí)別模型Figure 2 Microfiber recognition model

1.2 特征重構(gòu)

瓶頸殘差層采用深度可分離卷積提取微纖維特征，并沒有考慮各通道的依賴關(guān)系。在原網(wǎng)絡(luò)中融合通道注意力策略[12]的目的是讓網(wǎng)絡(luò)有選擇性地加強(qiáng)大信息量特征，并對(duì)無用特征進(jìn)行抑制。

特征重構(gòu)模塊由3個(gè)部分組成：壓縮、激發(fā)和重分配。將輸入X映射到特征映射U，通過壓縮操作在空間維度上聚合特征圖來產(chǎn)生信道描述符。之后是激發(fā)操作，產(chǎn)生多通道調(diào)制權(quán)重。最后將權(quán)重加到特征圖U上生成X—饋入網(wǎng)絡(luò)的后續(xù)層，其尺寸沒有發(fā)生改變，結(jié)構(gòu)如圖3所示。

圖3 特征重構(gòu)模塊結(jié)構(gòu)Figure 3 Feature reconstruction module structure

壓縮操作的目的是獲取訓(xùn)練微纖維圖像中上層網(wǎng)絡(luò)特征的全局信息。低層網(wǎng)絡(luò)的感受野較小，只能對(duì)局部的特征信息進(jìn)行操作，無法學(xué)習(xí)到通道特征映射中上下文的信息。通過全局平均池化將U特征圖W×H×C維特征壓縮成1×1×C維特征，將空間上所有點(diǎn)的信息都平均成一個(gè)值，使得靠近輸入的層也可以獲得全局的感受野，如式(1)所示：

(1)

式中：W表示特征圖U的水平方向像素?cái)?shù)；H表示豎直方向像素?cái)?shù)。

激發(fā)操作是通過權(quán)重矩陣組重新將微纖維特征構(gòu)成特征間完整的映射，采用2個(gè)全連接進(jìn)行：第1個(gè)全連接壓縮通道來降低計(jì)算量，同時(shí)采用ReLU激活函數(shù)激活；第2個(gè)全連接再恢復(fù)到原來維度的通道，采用Sigmoid激活函數(shù)激活，獲得0～1歸一化的權(quán)重，進(jìn)而更好地建立通道之間復(fù)雜的相關(guān)性，如式(2)所示：

Wc=σ(W2δ(W1V))。

(2)

式中：δ(·)為ReLU激活函數(shù)；σ為Sigmoid激活函數(shù)；W1、W2為全連接中的兩個(gè)權(quán)重矩陣。

特征重分配是利用通道間的相關(guān)性屏蔽空間上的分布信息，通過乘法運(yùn)算逐通道地加權(quán)到先前的特征上，從而完成在通道維度上對(duì)原始特征權(quán)重的重分配，并采用Sigmoid激活函數(shù)獲得不同通道的特征權(quán)重，根據(jù)特征的重要程度自適應(yīng)分配權(quán)重，獲取表達(dá)能力更強(qiáng)的特征，提高網(wǎng)絡(luò)對(duì)微纖維的識(shí)別，如式(3)所示：

X—=Wcf(i,j)。

(3)

其中，X—是式(1)和式(2)的結(jié)合。

1.3 池化融合

MobileNetV2網(wǎng)絡(luò)的全局平均池化下采樣提取特征信息的能力有限，使得微纖維寬度信息不顯著，注意力區(qū)域有偏差。采用池化融合策略通過不同大小池化核的下采樣器，使網(wǎng)絡(luò)獲得不同的感受野，在不同尺度上捕捉信息，提高微纖維的識(shí)別精度，結(jié)構(gòu)如圖4所示。

圖4 池化融合結(jié)構(gòu)Figure 4 Pooled fusion structure

池化融合模塊采用多尺度的空間金字塔[13]，以4×4、2×2和1×1大小的網(wǎng)格將輸入的特征圖分成16、4、1塊，分別提取16維、4維、1維的特征向量，然后將提取到的特征融合為21維的特征向量。池化融合是在卷積層后對(duì)每1張圖片都進(jìn)行了多方面的特征提取，并將1個(gè)特征圖從不同的角度進(jìn)行特征提取，之后再進(jìn)行融合操作，保留了在聚合時(shí)局部空間塊的空間位置信息且獲得更多的特征、場(chǎng)景語境信息與上下文間的聯(lián)系，提高了微纖維的識(shí)別精度。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)硬件環(huán)境：Inter@CORE i7 16 GB CPU，GeForce GTX 1070 GPU。實(shí)驗(yàn)在tensorflow以及keras框架下使用python3.7.0進(jìn)行。

2.1 實(shí)驗(yàn)數(shù)據(jù)獲取

實(shí)驗(yàn)數(shù)據(jù)樣本收集自不同時(shí)期的江蘇省常州市滆湖。使用日本尼康SMZ18顯微鏡與電腦搭建硬件環(huán)境，隨機(jī)采集不同微塑料纖維圖像樣本，其中， 3 021幅含有微纖維的圖像組成微纖維數(shù)據(jù)集，6 275幅背景圖像組成背景數(shù)據(jù)集。之后，對(duì)數(shù)據(jù)集的圖像構(gòu)建相應(yīng)的類別標(biāo)簽，按照6∶2∶2的比例將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，如表1所示。

表1 帶標(biāo)簽數(shù)據(jù)集Table 1 Labeled data set

2.2 評(píng)價(jià)指標(biāo)

對(duì)于微纖維識(shí)別結(jié)果的評(píng)判，本文采用識(shí)別率(RR)、誤識(shí)率(FRR)、漏識(shí)率(MRR)和準(zhǔn)確率(AR)作為識(shí)別微纖維的評(píng)價(jià)指標(biāo)，計(jì)算式如下：

(4)

(5)

(6)

(7)

式中：TP表示微纖維被正確識(shí)別的樣本數(shù)目；FP表示非微纖維被錯(cuò)誤識(shí)別的樣本數(shù)目；FN表示微纖維被錯(cuò)誤識(shí)別的樣本數(shù)目；TN表示非微纖維被正確識(shí)別的樣本數(shù)目。

2.3 實(shí)驗(yàn)設(shè)置

網(wǎng)絡(luò)訓(xùn)練時(shí)參數(shù)更新策略采用適應(yīng)性矩估計(jì)算法，一階矩估計(jì)的指數(shù)衰減率設(shè)置為0.9，二階矩估計(jì)的指數(shù)衰減率設(shè)置為0.999，交叉熵作為損失函數(shù)，批量大小設(shè)置為32，遍歷1次訓(xùn)練集作為1個(gè)周期(epoch)，迭代200個(gè)周期，學(xué)習(xí)率α采用的是分段常數(shù)衰減策略，如式(8)所示：

(8)

2.4 實(shí)驗(yàn)結(jié)果分析

為了研究需要的重構(gòu)特征位置，分別對(duì)瓶頸殘差層中不同卷積特征進(jìn)行重構(gòu)，并比較特征重構(gòu)后的微纖維識(shí)別效果。以第一個(gè)瓶頸殘差層為例，特征C1、C2、C3、C4分別表示擴(kuò)展層、深度卷積層、投影層和殘差連接的特征。表2給出第一個(gè)瓶頸殘差層不同位置特征重構(gòu)的微纖維識(shí)別結(jié)果。

表2 不同位置特征重構(gòu)的微纖維識(shí)別結(jié)果Table 2 Recognition results of microfibers reconstructed from different location features

從表2可以看出，重構(gòu)深度卷積特征后，微纖維識(shí)別的準(zhǔn)確率最高達(dá)到97.87%，比沒有經(jīng)過特征重構(gòu)的MobileNetV2特征準(zhǔn)確率高2.45%。其次，其他位置的卷積特征經(jīng)過重構(gòu)后，微纖維識(shí)別的準(zhǔn)確率也有所提高，分別高1.09%、2.28%、1.01%，體現(xiàn)了特征重構(gòu)能使MobileNetV2特征有更好的表達(dá)效果。擴(kuò)展層(C1)、投影層(C3)和殘差連接(C4)后進(jìn)行特征重構(gòu)會(huì)丟失一些重要的特征信息，深度卷積(C2)后的特征重構(gòu)將通道特征權(quán)重與特征圖融合，學(xué)習(xí)到較完整的通道特征，保留更多微纖維特征的重要信息，因此，重構(gòu)C2的效果更佳。

為體現(xiàn)本文算法識(shí)別微纖維的優(yōu)勢(shì)，在微纖維數(shù)據(jù)集上做了詳細(xì)的實(shí)驗(yàn)，分析每個(gè)模塊的性能，如表3所示。表中，“s=1”代表步長(zhǎng)為1所在的瓶頸殘差層，“s=2”代表步長(zhǎng)為2所在的瓶頸殘差層，“所有”即所有瓶頸殘差層。從表3中可看出，在所有瓶頸殘差層中添加特征重構(gòu)模塊，微纖維識(shí)別的準(zhǔn)確率反而下降，識(shí)別率下降且漏識(shí)率升高。與沒有添加特征重構(gòu)模塊和沒有采用池化融合的結(jié)果相比，只對(duì)s=1或s=2的瓶頸殘差層采用特征重構(gòu)，準(zhǔn)確率分別高1.18%、2.45%，且誤識(shí)率有明顯的下降；僅采用池化融合，準(zhǔn)確率高1.06%，誤識(shí)率低3.20%；對(duì)步長(zhǎng)為2的瓶頸殘差層添加特征重構(gòu)并采用池化融合，準(zhǔn)確率高2.54%，識(shí)別率高0.74%，誤識(shí)率低4.57%，漏識(shí)率低0.74%。這體現(xiàn)了采用特征重構(gòu)與池化融合增強(qiáng)了特征選擇的判別性，提升了微纖維識(shí)別效果。

表3 不同模塊的實(shí)驗(yàn)結(jié)果Table 3 Experimental results of different modules

2.5 對(duì)比實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文算法對(duì)識(shí)別微纖維的有效性，表4給出了將本文數(shù)據(jù)集用于ResNet、DenseNet、VGG16、NasNet和MobileNetV2進(jìn)行識(shí)別微纖維效果的對(duì)比。

表4 不同網(wǎng)絡(luò)微纖維識(shí)別結(jié)果Table 4 Different network microfiber recognition results

由表4的對(duì)比可見，改進(jìn)模型字節(jié)大小為24.2 MB，比原MobileNetV2網(wǎng)絡(luò)模型小了2 MB，且比其他網(wǎng)絡(luò)模型壓縮了若干倍。改進(jìn)后的MobileNetV2模型識(shí)別微纖維的準(zhǔn)確率最高達(dá)到97.96%，相較于ResNet、DenseNet、VGG16、NasNet和MobileNetV2分別高9.67%、2.72%、2.13%、1.92%和2.54%，充分體現(xiàn)出改進(jìn)后網(wǎng)絡(luò)識(shí)別微纖維的優(yōu)勢(shì)。盡管改進(jìn)后網(wǎng)絡(luò)識(shí)別微纖維的漏識(shí)率比DenseNet網(wǎng)絡(luò)高0.52%，但誤識(shí)率與漏識(shí)率與其他網(wǎng)絡(luò)相比有大幅度的降低?？傮w來說，改進(jìn)MobileNetV2在模型大小和識(shí)別微纖維效果上有明顯的提升，且提升效果較為穩(wěn)定。

2.6 可視化結(jié)果分析

為進(jìn)一步驗(yàn)證改進(jìn)后網(wǎng)絡(luò)識(shí)別微纖維的有效性，使用類激活映射將輸入的微纖維圖像進(jìn)行可視化，如圖5所示。圖5(a)為微纖維的原始圖像，圖5(b)為MobileNetV2網(wǎng)絡(luò)可視化圖，圖5(c)為改進(jìn)后的網(wǎng)絡(luò)可視化特征圖。通過圖5(b)、5(c)的對(duì)比，可以清楚地看到，經(jīng)過特征重構(gòu)與池化融合的MobileNetV2網(wǎng)絡(luò)將注意力更加集中在微纖維特征所在區(qū)域而忽略其他無關(guān)的特征區(qū)域，增強(qiáng)了微纖維的關(guān)鍵特征信息，加強(qiáng)了特征判別的指向性，提升了網(wǎng)絡(luò)學(xué)習(xí)微纖維特征的表達(dá)性能，從而改善了微纖維識(shí)別效果。

圖5 類激活可視化Figure 5 Grad-CAM visualization

3 結(jié)論

構(gòu)建了一種改進(jìn)的MobileNetV2的微纖維識(shí)別算法，在MobileNetV2網(wǎng)絡(luò)特征提取的部分采用特征重構(gòu)的算法，分配權(quán)重將深度卷積后的特征進(jìn)行重構(gòu)，捕捉微纖維特征之間的空間相關(guān)性，從中獲取微纖維特征的有用關(guān)鍵信息，提升模型的學(xué)習(xí)能力與特征的表達(dá)能力。此外，采用池化融合算法進(jìn)行下采樣，利用不同池化核的采樣器獲取不同尺度的微纖維特征信息并將其進(jìn)行融合，獲得更多有關(guān)微纖維特征的信息，提取出更加細(xì)致的微纖維特征。通過與其他卷積神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)的對(duì)比，驗(yàn)證了本文算法能有效提高識(shí)別率和準(zhǔn)確率，降低誤識(shí)率和漏識(shí)率。在今后的工作中，將針對(duì)已經(jīng)識(shí)別出的微纖維進(jìn)行更細(xì)致的分類，并且收集其他形態(tài)的水體微塑料樣本，并擴(kuò)大水域收集范圍進(jìn)行識(shí)別。