王正,江鶯,嚴(yán)飛,孫佑鵬,張園,張柳磊

(南京林業(yè)大學(xué)機(jī)械電子工程學(xué)院,南京 210037)

木材利用率一直是木材行業(yè)非常重要的指標(biāo)之一,但木材的綜合利用率通常只有50%～70%[1]。在生產(chǎn)過程中,合理地剔除木材缺陷能夠提升木材利用率。因此,如何快速、高效識別及定位木材缺陷以實現(xiàn)木材優(yōu)選顯得尤為重要。

圖1 YOLOv7結(jié)構(gòu)Fig. 1 Structure of YOLOv7

隨著計算機(jī)技術(shù)的迅猛發(fā)展,深度學(xué)習(xí)算法廣泛應(yīng)用于各行各業(yè)之中。Fei等[2]利用輕量化的網(wǎng)絡(luò)實現(xiàn)對鮮切花的快速分類。Zhou等[3]利用深度學(xué)習(xí)算法實現(xiàn)青梅的表面缺陷檢測。Zhou等[4-5]利用改進(jìn)的YOLOv7算法識別火龍果并且完成采摘任務(wù)。當(dāng)然也不乏在木材缺陷檢測中的應(yīng)用。Al-Zubi等[6]將基于深度學(xué)習(xí)的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(Mask R-CNN)框架應(yīng)用于檢測和分割具有各種紋理、顏色和鉆孔圖案的木板合成圖像中的鉆孔,但是其只是對木材鉆孔進(jìn)行識別,其重心在于分割不同紋理下的鉆孔。Ling等[7]結(jié)合GooLeNet和ResNet模型的結(jié)構(gòu),建立了基于ResNet-v2的木材缺陷檢測模型,新的導(dǎo)出模型可以準(zhǔn)確地指出板材表面的蟲洞、活節(jié)和死節(jié)3種缺陷類型,但其只能對該缺陷類別進(jìn)行分類,不能同時檢測同一木板中的多個缺陷。Wang等[8]使用經(jīng)過GridMask的數(shù)據(jù)增強(qiáng)、更改主干網(wǎng)絡(luò)的剩余區(qū)塊(residual blocks)為Ghost塊結(jié)構(gòu),升級網(wǎng)絡(luò)的置信損失函數(shù)改進(jìn)YOLOv3基線模型,并將其應(yīng)用于木材表面缺陷檢測,但蟲洞、節(jié)子以及裂縫3種缺陷的平均檢測精度僅有86.49%。Gao等[9]將SE(squeeze-and-excitation)模塊嵌入剩余基本塊,提高了網(wǎng)絡(luò)特征提取的效率,并利用全局平均池來替換末端卷積層之后的完全連接層,改善了分類性能,由此提出了一種新的卷積網(wǎng)絡(luò)模型ResSENet-18,在測試的分類準(zhǔn)確率上比Resnet18有8.19%的提升。該論文中的數(shù)據(jù)集獲取自奧盧大學(xué)的具有7種節(jié)子缺陷的云杉樹木材圖像,通過數(shù)據(jù)擴(kuò)充技術(shù)將原本448張數(shù)據(jù)集擴(kuò)充了7倍,組成自己的數(shù)據(jù)集用來分類。Shi等[10]在Mask R-CNN的前端設(shè)計了一個掃視網(wǎng)絡(luò),以完成常規(guī)木材和缺陷木材的分類,首次將FLOP運(yùn)用于NAS的速度優(yōu)化之中,同時使用遺傳算法優(yōu)化特征通道的選擇,以獲得Mask R-CNN輸入特征的最佳組合,但該網(wǎng)絡(luò)僅識別分類了3種缺陷,且模型非常復(fù)雜。Ding等[11]將DenseNet網(wǎng)絡(luò)引入SSD,可有效檢測活節(jié)、死節(jié)和裂縫3種類型的缺陷。該研究關(guān)注實木地板生產(chǎn)過程中的缺陷,其中數(shù)據(jù)集僅有500張,總數(shù)較少,且僅有3種缺陷,缺陷種類也較少。

盡管這些深度神經(jīng)網(wǎng)絡(luò)相比人工有可靠性高、工作效率高等優(yōu)點(diǎn),但上述方法存在識別定位種類少、鮮有關(guān)注原木板材生產(chǎn)過程中實際存在的缺陷等問題。為克服數(shù)據(jù)集缺陷種類少、數(shù)量不均衡等問題,本研究構(gòu)建了包括活節(jié)、死節(jié)、樹脂、樹髓等8種木材缺陷的數(shù)據(jù)集,對YOLOv7做了兩點(diǎn)改進(jìn),構(gòu)建了Wood-Net網(wǎng)絡(luò)。為了增強(qiáng)E-ELAN結(jié)構(gòu)的跨通道信息交互能力,將注意力機(jī)制ECA(efficient channel attention module)[12]引入主干網(wǎng)絡(luò);為了增強(qiáng)特征融合能力,引入了Res2Net[13]結(jié)構(gòu),并且提出了ECA-Res2Net模塊。

1 Wood-Net模型設(shè)計

YOLOv7[14]在準(zhǔn)確率和速度上都超越了以往的YOLO,其網(wǎng)絡(luò)主要由Input、Backbone、Neck和Head 4個部分組成,如圖1所示。

1.1 ECA-ELAN模塊設(shè)計

E-ELAN作為YOLOv7的主要創(chuàng)新點(diǎn)之一,在YOLOv7網(wǎng)絡(luò)中有2種方式,在圖1中以E-ELAN(a)和E-ELAN(b)區(qū)分。E-ELAN通過多通道卷積后增加通道數(shù),實現(xiàn)了檢測效果的提升。然而,E-ELAN多通道卷積之后只進(jìn)行了簡單的Concat操作,其對多通道之間的信息融合能力不足,難以實現(xiàn)跨通道信息交互,從而不能充分考慮圖像特征,而通道注意力機(jī)制正好可以彌補(bǔ)這一不足。

圖2 ECA注意力機(jī)制結(jié)構(gòu)Fig. 2 ECA attention mechanism structure

在ECA模塊之中,卷積核大小K根據(jù)具有不同通道數(shù)和各種CNN(Convolutional Neural Networks)結(jié)構(gòu)的卷積塊而變化。由于CNN網(wǎng)絡(luò)中通道數(shù)C(即濾波器的數(shù)量)通常設(shè)置為2的整次冪,確定C與K之間的非線性映射關(guān)系為:

(1)

E-ELAN結(jié)構(gòu)中利用Concat模塊將經(jīng)過不同次數(shù)CBS卷積后的結(jié)果并聯(lián)進(jìn)來,通道數(shù)實現(xiàn)了大幅度的增加,即描述圖像本身的特征數(shù)(特征通道數(shù))增加了,而每一特征下的信息量沒有增加。ECA注意力機(jī)制針對SE注意力機(jī)制將MLP模塊(FC->ReLU->FC->Sigmoid)轉(zhuǎn)變?yōu)橐痪S卷積的形式,有效減少參數(shù)計算量的同時,實現(xiàn)了適當(dāng)?shù)目缤ǖ澜换?。因?將ECA注意力機(jī)制引入E-ELAN結(jié)構(gòu)中,命名為ECA-ELAN模塊,以增強(qiáng)網(wǎng)絡(luò)跨通道信息交互能力,提高特征融合效率。改進(jìn)后的E-ELAN(a)′和E-ELAN(b)′結(jié)構(gòu)如圖3所示,改進(jìn)后的結(jié)構(gòu)在網(wǎng)絡(luò)結(jié)構(gòu)中位置不變。

圖3 改進(jìn)的E-ELAN結(jié)構(gòu)Fig. 3 Improved E-ELAN structure

1.2 ResSPPCSPC模塊設(shè)計

Neck網(wǎng)絡(luò)主要發(fā)揮特征融合的功能。YOLOv7中的SPPCSPC(spatial pyramid pooling and channel spatial pyramid convolution)模塊在沿用YOLOv5的CSP結(jié)構(gòu)的同時,創(chuàng)新性地將金字塔特征模塊引入其中。SPPCSPC模塊有空間金字塔池化層1×1、5×5、9×9、13×13共4個不同尺度最大池化使用不同分辨率圖,用以區(qū)分不同尺寸的目標(biāo),其結(jié)構(gòu)如圖4所示。雖然在池化的過程中可以獲得鄰域內(nèi)最大的特征點(diǎn),但是其對更細(xì)粒度的特征提取能力十分欠缺。因此,本研究選用了能夠提取更細(xì)粒度特征的網(wǎng)絡(luò)Res2Net來彌補(bǔ)這一不足。

圖4 SPPCSPC模塊結(jié)構(gòu)Fig. 4 SPPCSPC module structure

圖5 ResNet和Res2Net模塊結(jié)構(gòu)Fig. 5 ResNet and Res2Net structure

Res2Net是ResNet的一種變體,其主要特點(diǎn)就是利用了多尺度卷積,測試性能超過了普通殘差神經(jīng)網(wǎng)絡(luò)。ResNet和Res2Net的詳細(xì)結(jié)構(gòu)如圖5所示。由圖5可以看出,Res2Net對ResNet進(jìn)行了改進(jìn),在單個殘差塊中構(gòu)造了一個類似的具有層次結(jié)構(gòu)的殘差連接,取代了一般的單個3×3卷積核。具體來說,所有組的特征圖連接起來之后,發(fā)送到另一組1×1濾波器,以將信息融合在一起。隨著輸入特征轉(zhuǎn)換為輸出特征的任何可能路徑,當(dāng)接收3×3濾波器時,等效接受場會增加,由于組合效應(yīng)導(dǎo)致許多等效特征尺度,即所謂Res2Net在更細(xì)的粒度級上表示了多尺度特征,并且增加了每個網(wǎng)絡(luò)層的接受域。

多尺度特征在檢測任務(wù)中一直都是很重要的,自從空洞卷積提出以來,基于空洞卷積搭建的多尺度金字塔模型在檢測任務(wù)上取得了里程碑式的效果。不同感受野下獲取的物體信息是不同的,小的感受野可能會看到更多的物體細(xì)節(jié),對于檢測小目標(biāo)也有很大的好處,而更大的感受野可以感受物體的整體結(jié)合,方便網(wǎng)絡(luò)定位物體的位置,細(xì)節(jié)與位置的結(jié)合可以更好地得到具有清晰邊界的物體信息。Res2Net提供了一個新的策略。除現(xiàn)有的深度、寬度和基數(shù)維度外,還揭示了一個新的維度,即規(guī)模,這是一個必不可少的因素;并且有試驗證明增加規(guī)模比增加其他維度更加有效。Res2Net的“規(guī)?！辈呗詾槎喑叨忍卣鞯奶崛√峁┝诵碌姆较?。

本研究為Res2Net結(jié)構(gòu)引入了ECA注意力機(jī)制(圖6),形成具有跨通道(即跨“規(guī)模”)的多尺度特征提取的ECA-Res2Net新模塊。本研究將ECA-Res2Net和SPPCSPC作為2個并行的分支構(gòu)建ResSPPCSPC模塊進(jìn)行數(shù)據(jù)特征提取。2個分支分別通過分規(guī)模卷積和最大池化的多尺度特征提取后,由Concat將結(jié)果的通道數(shù)相加,描述圖像本身的特征數(shù)增加了,賦予E-ELAN的特征數(shù)增加,從而達(dá)成效果提升,其結(jié)構(gòu)見圖7。

圖7 ResSPPCSPC模塊結(jié)構(gòu)Fig. 7 Structural of ResSPPCSPC module

2 試驗分析

2.1 環(huán)境準(zhǔn)備

本研究的深度學(xué)習(xí)框架是Pytorch。試驗配置環(huán)境如下:CPU為Intel(R) Core(TM) i7-12700K,內(nèi)存為32 GB;GPU為NVIDIA GeForce GTX 3070Ti,顯存為8 GB,CUDA版本11.6,python 3.9為編譯語言。每批訓(xùn)練的批次大小設(shè)置為8,共計300輪訓(xùn)練。

在訓(xùn)練網(wǎng)絡(luò)時,將輸入圖像調(diào)整為640×640的統(tǒng)一大小,初始學(xué)習(xí)率設(shè)置為0.01,使用One Cycle Policy調(diào)整學(xué)習(xí)率。

2.2 數(shù)據(jù)集

本研究獲得了來自捷克共和國奧特斯拉發(fā)理工大學(xué)2022年更新的用于自動化視覺質(zhì)量控制過程的大規(guī)模木材表面缺陷圖像的公開數(shù)據(jù)集[15]。但該數(shù)據(jù)集部分缺陷數(shù)量不足,并且在試驗過程中能夠明顯感覺到數(shù)據(jù)不均對結(jié)果的影響。本研究通過實際拍攝補(bǔ)充以及一些常規(guī)的圖像處理方法,如濾波、平移、旋轉(zhuǎn)來擴(kuò)展數(shù)據(jù)集,本研究的數(shù)據(jù)集具有如表1所示的細(xì)節(jié)。數(shù)據(jù)集中典型的木材缺陷樣本見圖8。

表1 數(shù)據(jù)集的細(xì)節(jié)Table 1 Details of data set

A)活節(jié);B)死節(jié);C)帶有裂縫的節(jié);D)裂縫;E)樹脂;F)樹髓;G)孔洞;H)藍(lán)變。圖8 數(shù)據(jù)集中典型的木材缺陷樣本Fig. 8 Samples of typical wood defects in the data set

2.3 評價指標(biāo)

在試驗中,通過召回率、精度值、IOU大于0.5的AP@0.5值、AP@0.5∶AP@0.95、模型計算量(GFLOPs)對模型進(jìn)行評估。

召回率R的計算公式為:

(2)

式中:TP是由模型預(yù)測為正例的正類別數(shù)量;FN是由模型預(yù)測為負(fù)例的正類別數(shù)量,即由模型誤分類的樣本數(shù)量。

精度值P的公式為:

(3)

式中,FP是模型預(yù)測的最初為負(fù)樣本的正樣本數(shù)。

mAP@0.5(式中記為mAP@0.5)用于測量檢測網(wǎng)絡(luò)的算法性能,適用于單標(biāo)簽和多標(biāo)簽圖像分類計算。mAP@0.5的公式為:

(4)

式中:k是測試集中樣本的數(shù)量;P(i)是識別i個樣本時精度的大小;ΔR是檢測樣本從i變化到i+1時召回率的變化;N是多類檢測任務(wù)中類別的數(shù)量。

mAP@0.5∶mAP@0.95表示在不同IoU閾值(從0.5到0.95,步長0.05)上的平均mAP。

2.4 試驗結(jié)果分析

在網(wǎng)絡(luò)中加入注意力機(jī)制能夠使模型自主選擇圖像的焦點(diǎn)位置,增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)特征的表達(dá)能力,最終提高訓(xùn)練精度。為了獲得更好的試驗結(jié)果,本研究選取了常用的4個注意力機(jī)制:CBAM(convolutional block attention module)、CA(coordinate attention)、SE以及ECA完成了注意力機(jī)制的消融試驗。

2.4.1 ECA-ELAN模塊試驗結(jié)果分析

為了驗證本研究ELAN模塊創(chuàng)新設(shè)計的有效性,在確定選用注意力機(jī)制之前設(shè)計了注意力機(jī)制的消融試驗,本研究稱該消融試驗的模塊設(shè)計為YOLOv7-CBAM、YOLOv7-CA、YOLOv7-SE以及YOLOv7-ECA,對比YOLOv7的試驗結(jié)果如圖9和表2所示。

由圖9可以看出,精確度、召回值、mAP@0.5以及mAP@0.5∶mAP@0.95 4個參數(shù)均有不同幅度的提升。在YOLOv7-ECA的精準(zhǔn)度試驗中,數(shù)據(jù)值上升過程收斂速度快,雖然收斂的最終精確度略低于YOLOv7-SE,但其在上升過程中也有一段高于其他試驗的表現(xiàn),并且其召回值收斂結(jié)果最高。因此,在本試驗中選用ECA注意力機(jī)制改進(jìn)E-ELAN結(jié)構(gòu)。將YOLOv7-ECA同YOLOv7原版的精確度和召回值做對比,YOLOv7-ECA的精確度和召回值上升收斂過程波折少且更加穩(wěn)定,同時利用輕量化通道注意力模塊,在本項單獨(dú)的計算量對比中浮點(diǎn)運(yùn)算量增量少。

圖9 YOLOv7-ECA消融試驗結(jié)果Fig. 9 Experimental results of YOLOv7-ECA ablation

表2 YOLOv7-ECA的網(wǎng)絡(luò)性能Table 2 Network performance of YOLOv7-ECA

表2所展示的內(nèi)容為7個試驗中各自數(shù)值中最高的值。由表2可知,在上述7個試驗中和YOLOv7的對比中,YOLOv7-ECA的召回值增長最多,精確度表現(xiàn)僅次于YOLOv7-SE,參數(shù)量和浮點(diǎn)運(yùn)算量增長最少。結(jié)果表明,加入ECA注意力機(jī)制后,模型的性能得到了提高,本模型可靠。

2.4.2 ResSPPCSPC模塊試驗結(jié)果分析

本研究在SPPCSPC后并聯(lián)Res2Net模塊形成ResSPPCSPC,并且將Res2Net模塊同RepConv結(jié)合形成新的模塊。為了驗證該新模塊的設(shè)計有效性,依據(jù)Res2Net以及4個常用的注意力機(jī)制設(shè)計了8組消融試驗,分別命名為Res2Net、Res2Net-CBAM、Res2Net-CA、Res2Net-SE以及Res2Net-ECA,并且與YOLOv7的性能進(jìn)行比較。試驗結(jié)果如表3和圖10所示。

表3 YOLOv7-Res2Net的網(wǎng)絡(luò)性能Table 3 Network performance of YOLOv7-Res2Net

圖10 YOLOv7-Res2Net消融試驗結(jié)果Fig. 10 Experimental results of YOLOv7-Res2Net ablation

由圖10可知,在加入Res2Net模塊之后,模型從第100輪左右開始明顯收斂,可以證明ECA-Res2Net對更細(xì)粒度的特征提取在木材優(yōu)選的應(yīng)用中效果較好。在精確度的圖中,Res2Net-SE和Res2Net-ECA的表現(xiàn)比較好,最終收斂值接近;在召回值的圖中,Res2Net-CBAM和Res2Net-ECA表現(xiàn)比較好,最終收斂值接近,然而在mAP@0.5∶ mAP@0.95的圖中Res2Net-CBAM上升過程中,有一次較大的波動。因此,本研究最終選定了ECA注意力機(jī)制改進(jìn)Res2Net模塊。

由表3可知,Res2Net為模型帶來了大量的參數(shù)量和計算量,分別有29.26%和10.89%的上升。雖然4個注意力機(jī)制為網(wǎng)絡(luò)模型帶來的參數(shù)量和計算量影響很小,但是實際上的效果提升是可觀的。

2.4.3 Wood-Net設(shè)計試驗結(jié)果分析

根據(jù)前2組消融試驗,將這2種模型組合成完整的改進(jìn)模型Wood-Net。本研究將YOLOv3、YOLOv5s、YOLOv7、YOLOv7-ECA、Res2Net-ECA與Wood-Net模型進(jìn)行性能比較,試驗結(jié)果如圖11和表4所示。

圖11 YOLOv7和Wood-Net對比結(jié)果Fig. 11 Comparison results between YOLOv7 and Wood-Net

表4 Wood-Net的網(wǎng)絡(luò)性能Table 4 Network performance of Wood-Net

由圖11可知,4個部分的參數(shù)都均有不同程度的提升。在精確度的圖中,Res2Net-ECA模塊收斂速度比YOLOv7-ECA以及Wood-Net都快,但是最終Wood-Net收斂的值最高;在召回值的圖中,YOLOv7-ECA、Res2Net-ECA以及Wood-Net收斂幅度相似。而Wood-Net同YOLOv7原版相比,就收斂結(jié)果而言,精確度有7.72%,召回率有3.22%,mAP@0.5有2.94%,mAP@0.5∶mAP@0.95有7.64% 的提升。

如表4所示,本研究針對分類頭的改進(jìn)取得了很明顯的效果,大幅提升了mAP@0.5和mAP@0.5∶mAP@0.95的檢測效果。雖然參數(shù)量有超過25%的提升,但是也獲得了良好的效果,基本滿足在木材優(yōu)選過程中檢測缺陷的準(zhǔn)確度需求。

訓(xùn)練和驗證過程中Wood-Net模型比YOLOv7的損失值更小,并且收斂速度更快(圖12),證明Wood-Net模型相比于YOLOv7模型在木材缺陷檢測的應(yīng)用中擬合效果更好,Wood-Net模型可靠。為展示本研究模型在實際檢測過程中的效果,選取了最優(yōu)的一輪訓(xùn)練權(quán)重文件作為檢測模型的權(quán)重進(jìn)行結(jié)果檢測并輸出了圖片,如圖13所示。

圖13 各缺陷檢測結(jié)果Fig. 13 Detection results of each defect

3 結(jié) 論

本研究提出了一種針對木材缺陷檢測的準(zhǔn)確性更高的檢測模型Wood-Net,并先后進(jìn)行了3組消融試驗。試驗證明,Wood-Net能夠很好地實現(xiàn)木材優(yōu)選過程中的缺陷識別,具有較高的精度。通過3組消融試驗,本研究得出以下結(jié)論:

1)利用輕量化的通道注意力機(jī)制ECA改進(jìn)E-ELAN結(jié)構(gòu),可以提升各項參數(shù),提高通道間的信息交互能力很有必要。

2)ECA-Res2Net結(jié)構(gòu)能夠在多通道提取更細(xì)粒度的特征,但是Res2Net通道之間信息隔離,利用ECA注意力機(jī)制實現(xiàn)跨通道信息交互,取得了一定效果。

在木材行業(yè)引入人工智能的方法,有利于智慧林業(yè)的建設(shè)與發(fā)展。利用人工智能的方式識別木材缺陷,為林業(yè)經(jīng)濟(jì)的發(fā)展提供了一個更加便捷的方式,能夠促進(jìn)經(jīng)濟(jì)林產(chǎn)業(yè)降低費(fèi)效比,進(jìn)而實現(xiàn)節(jié)本增效。推進(jìn)智能化林業(yè)裝備的研究,也有助于提高勞動生產(chǎn)率和資源利用率,現(xiàn)已成為林業(yè)發(fā)達(dá)國家技術(shù)發(fā)展的趨勢[16-17]。

未來一定是一個簡潔化的世界,設(shè)備變得更小、更便攜、更加節(jié)能,因此在未來的工作中,要嘗試設(shè)計更加輕量化的網(wǎng)絡(luò)以適配節(jié)能的智能化林業(yè)裝備。攝像機(jī)采集的圖像數(shù)據(jù)對模型的預(yù)測效果有關(guān)鍵影響,并且數(shù)據(jù)集均衡對結(jié)果的影響也不容忽視。Transformer機(jī)制也已經(jīng)進(jìn)入了大家的視野,并且獲得了廣泛的應(yīng)用,在木材優(yōu)選中具有潛在的研究價值。