張鵬飛，王淑青，黃劍鋒，劉逸凡，張子言

(1.湖北工業(yè)大學(xué)電氣與電子工程學(xué)院，武漢 430068；2.華中科技大學(xué)武漢光電國(guó)家研究中心，武漢 430074)

0 引言

太陽(yáng)能光伏產(chǎn)業(yè)的大力發(fā)展為工業(yè)生產(chǎn)提供了基礎(chǔ)的能源動(dòng)力，有效緩解工業(yè)電力消耗過大的問題，推動(dòng)著電力新時(shí)代的轉(zhuǎn)型[1-2]。太陽(yáng)能電池片是光伏產(chǎn)業(yè)的主要產(chǎn)品，在使用過程中清潔環(huán)保無污染，儲(chǔ)量龐大[3]。與此同時(shí)，太陽(yáng)能電池片表面缺陷檢測(cè)技術(shù)[4]也在不斷革新，從人工檢測(cè)法到物理檢測(cè)法再到目前研究較多的機(jī)器視覺和計(jì)算機(jī)視覺檢測(cè)方法[5-7]，具有非接觸，檢測(cè)缺陷多樣化、檢測(cè)精度高及高實(shí)時(shí)性的特點(diǎn)。

在多種檢測(cè)方法中，機(jī)器視覺和計(jì)算機(jī)視覺檢測(cè)方法更符合當(dāng)前時(shí)代的發(fā)展趨勢(shì)，運(yùn)用圖像處理、計(jì)算機(jī)技術(shù)以及各類深度學(xué)習(xí)模型，結(jié)合工業(yè)相機(jī)對(duì)太陽(yáng)能電池片表面進(jìn)行智能化的缺陷檢測(cè)，如伍李春等[8]提出一種基于模板匹配和HIS空間下的顏色直方圖對(duì)電池片的外形、顏色等缺陷進(jìn)行檢測(cè)，但檢測(cè)速度較慢。ZHANG等[9]提出了一種多特征區(qū)域提議融合網(wǎng)絡(luò)優(yōu)化了Faster R-CNN深度學(xué)習(xí)模型，能夠?qū)μ?yáng)能電池片表面的多種尺度缺陷進(jìn)行有效檢測(cè)，檢測(cè)速度還可以提升。郭清華等[10]采用U-Net網(wǎng)絡(luò)結(jié)合深度學(xué)習(xí)中SGDM優(yōu)化器對(duì)太陽(yáng)能電池片的破損缺陷進(jìn)行了精準(zhǔn)分割，但檢測(cè)缺陷種類較少。劉懷廣等[11]通過電致發(fā)光篩選檢測(cè)區(qū)域，并采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)太陽(yáng)能電池片的裂紋缺陷進(jìn)行檢測(cè)，缺陷類型單一。

針對(duì)上述方法中的太陽(yáng)能電池片表面缺陷檢測(cè)類型少，同時(shí)為提升缺陷的檢測(cè)精度及速度，以更小巧的檢測(cè)模型完成工業(yè)系統(tǒng)部署，提出了一種基于機(jī)器視覺的太陽(yáng)能電池片表面缺陷檢測(cè)方法，設(shè)計(jì)了一種硬件系統(tǒng)模型，并采用輕量化YOLO模型結(jié)合采集的太陽(yáng)能電池片數(shù)據(jù)集，更加高效的完成工業(yè)生產(chǎn)線中太陽(yáng)能電池片的表面缺陷檢測(cè)。

1 檢測(cè)系統(tǒng)組成及數(shù)據(jù)制備

1.1 檢測(cè)系統(tǒng)模型

圖1 太陽(yáng)能電池板表面缺陷檢測(cè)模型結(jié)構(gòu)

太陽(yáng)能電池片檢測(cè)系統(tǒng)模型如圖1所示，系統(tǒng)由暗箱、LED光源、CCD工業(yè)相機(jī)以及終端計(jì)算機(jī)構(gòu)成，硬件設(shè)備架設(shè)于太陽(yáng)能電池片生產(chǎn)線上方，通過串口線將CCD工業(yè)相機(jī)和終端計(jì)算機(jī)相連接，構(gòu)成整個(gè)檢測(cè)系統(tǒng)。其中，暗箱的作用是為了盡可能的防止自然光對(duì)檢測(cè)過程造成的干擾，暗箱在傳送帶兩端各留有10 cm的高度，既可以滿足太陽(yáng)能電池片的傳送，又可以達(dá)到遮擋光線的效果；再通過LED光源的架設(shè)完成檢測(cè)環(huán)境的優(yōu)化。擬選用能夠拍攝分辨率為1280×1280彩色圖像的CCD相機(jī)，確保完整的將太陽(yáng)能電池片的表面特征進(jìn)行提取；最后，通過相應(yīng)通信指令完成CCD相機(jī)和終端計(jì)算機(jī)的數(shù)據(jù)傳輸，以實(shí)現(xiàn)在光伏工業(yè)生產(chǎn)線中完成太陽(yáng)能電池片表面缺陷的自動(dòng)檢測(cè)。

1.2 數(shù)據(jù)集準(zhǔn)備

圖2 太陽(yáng)能電池片主要缺陷類型

太陽(yáng)能電池片的表面缺陷主要類型有破損、劃痕、臟污、斷柵等，如圖2所示。出現(xiàn)表面質(zhì)量問題是由于太陽(yáng)能電池片的多個(gè)生產(chǎn)環(huán)節(jié)[12]，包括：表面制絨及酸洗、IPA脫水、擴(kuò)散制結(jié)、等離子刻蝕及酸洗、去磷硅玻璃、電極絲網(wǎng)印制、快速燒結(jié)等，其中的機(jī)械壓力、生產(chǎn)工藝及人為因素造成的，這是工業(yè)生產(chǎn)中不可避免的問題。

圖3 圖像預(yù)處理

數(shù)據(jù)集的完整性對(duì)于深度學(xué)習(xí)模型的缺陷檢測(cè)是至關(guān)重要的。針對(duì)MS COCO、ImageNet等公共數(shù)據(jù)集中太陽(yáng)能電池片圖像較為缺少的問題，對(duì)光伏工廠生產(chǎn)出的太陽(yáng)能電池片進(jìn)行了大量拍攝采集，其中包含了表面質(zhì)量完好以及存在表面缺陷的各個(gè)尺寸的太陽(yáng)能電池片。由于采集的太陽(yáng)能電池片缺陷圖片較少，故采取圖像預(yù)處理擴(kuò)充數(shù)據(jù)集，主要方式為：亮度變換、高斯模糊、隨機(jī)旋轉(zhuǎn)、切片、銳化等操作，如圖3所示。擴(kuò)充后的太陽(yáng)能電池片數(shù)據(jù)集共包括6000張圖片，其中破損、劃痕、臟污、斷柵及無缺陷圖像各1200張，同時(shí)有的圖像會(huì)包含多種缺陷類型，優(yōu)化后的數(shù)據(jù)集能增強(qiáng)模型訓(xùn)練精度及檢測(cè)效果。

2 算法模型

2.1 模型原理

YOLOv4是目標(biāo)檢測(cè)領(lǐng)域運(yùn)用較多的單階段深度學(xué)習(xí)模型[13]，主要由輸入端(Input)、主干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)以及輸出端(Dense Prediction)4個(gè)部分構(gòu)成，如圖4所示。

圖4 YOLOv4網(wǎng)絡(luò)模型框架圖

本文在保持YOLOv4模型的Input和Dense Prediction不變情況下，對(duì)模型的Backbone和Neck進(jìn)行了改進(jìn)。首先采用反向線性卷積(MBConv)、深度可分離卷積(DSConv)[14]并結(jié)合最大池化(Max Pooling)重新設(shè)計(jì)Backbone，輕量化模型結(jié)構(gòu)，減少模型過擬合問題，提高訓(xùn)練速度；然后對(duì)Neck部分，采用信道增強(qiáng)特征金字塔，移除原有特征金字塔以及路徑聚合網(wǎng)絡(luò)(PAN)，增強(qiáng)信道信息的利用率，同時(shí)降低混合特征圖的混疊效應(yīng)，增強(qiáng)模型的檢測(cè)性能，對(duì)于太陽(yáng)能電池片表面缺陷檢測(cè)系統(tǒng)部署更加高效。

2.2 主干網(wǎng)絡(luò)輕量化設(shè)計(jì)

為降低主干網(wǎng)絡(luò)規(guī)模，選取能夠替代YOLOv4模型中CBM組件的輕量級(jí)卷積模塊，即MBConv和DSConv，如圖5所示。

圖5 常規(guī)卷積模塊和輕量化卷積模塊對(duì)比

圖5a包含3*3卷積、批量歸一化BN層以及Mish激活函數(shù)，獨(dú)立卷積運(yùn)算非常多，占用內(nèi)存較大，CBM參數(shù)量計(jì)算如式(1)所示。

NCBM=k2×Cin×Cout

(1)

式中，k表示核尺寸大??；Cin為輸入通道數(shù)；Cout為輸出通道數(shù)。

圖5b該結(jié)構(gòu)執(zhí)行兩種類型的卷積操作，即深度卷積和逐點(diǎn)卷積過程，深度卷積將單個(gè)濾波器應(yīng)用到每一個(gè)通道，以提高輸出通道數(shù)；然后逐點(diǎn)卷積用1*1卷積來組合不同深度卷積的輸出，不僅在理論上更加高效，這種分解再組合過程可以顯著降低網(wǎng)絡(luò)模型大小和計(jì)算成本，DSConv參數(shù)量計(jì)算如式(2)所示。

NDSC=k2×Cin+1×1×Cin×Cout

(2)

式中，k表示核尺寸大?。籆in為輸入通道數(shù)；Cout為輸出通道數(shù)。雖然深度可分離卷積比起普通卷積有更小的參數(shù)量，但是需要保存的中間變量比普通卷積要多，部分時(shí)間花費(fèi)在數(shù)據(jù)讀寫上。

因此，采用圖5c反向線性卷積來解決這一問題，MBConv的結(jié)構(gòu)是由1*1通道擴(kuò)展卷積，然后連接深度分離卷積和1*1通道縮減層。并在兩層之間建立一個(gè)分支，由擠壓階段的一個(gè)全局平均池化操作和激勵(lì)階段的兩個(gè)全連接層構(gòu)成。為統(tǒng)一輸出通道與輸入通道的數(shù)量，去掉了MBConv中的殘差連接，使MBConv在輸入和輸出更加緊湊，并將輸入擴(kuò)展到更高維度的特征空間，以增加非線性轉(zhuǎn)換的可表達(dá)性。與DSConv相比，MBConv提供了更好的壓縮網(wǎng)絡(luò)，而不會(huì)降低訓(xùn)練精度，MBConv參數(shù)量計(jì)算如式(3)所示。

NMBC=Cin×αCin×1×1+k2×αCin+2×αCin×αCin/β+αCin×Cout

(3)

式中，k表示核尺寸大小；Cin為輸入通道數(shù)；Cout為輸出通道數(shù)；α為MBConv塊中擴(kuò)張因子；β為MBConv塊中為縮減因子。

為減少相鄰卷積層間單個(gè)濾波器的參數(shù)量，固定輸出長(zhǎng)度，采用最大池化方式，如圖6所示，通過取Max操作避免其他不相關(guān)特征的干擾，保留最強(qiáng)特征，保證提取特征的位置與旋轉(zhuǎn)性不變，增大了模型感受野，最大池化公式為：

(4)

圖6 最大池化過程

圖7 輕量化Backbone

經(jīng)過輕量化設(shè)計(jì)后的主干網(wǎng)絡(luò)共包含5個(gè)由大到小的YOLO特征圖層，分別為C1(304*304)、C2(152*152)、C3(76*76)、C4(38*38)、C5(19*19)，如圖7所示。在不影響精度的情況下，前幾層采用較小的卷積核，而深卷積層采用較大的卷積核更有利于特征提取。并通過多次重復(fù)試驗(yàn)證明，當(dāng)MBConv模塊采取3*3卷積核5*5卷積交替使用的方式，可以更好地提取特征，提高模型檢測(cè)精度。

2.3 信道增強(qiáng)特征金字塔

為進(jìn)一步增強(qiáng)頸部網(wǎng)絡(luò)特征提取能力，采用信道增強(qiáng)特征金字塔替換原始模型中的頸部網(wǎng)絡(luò)結(jié)構(gòu)，充分利用高層次特征的信道信息。

圖8 信道特征金字塔框架

亞像素卷積[15]是一種上采樣方法，通過重組像素值增加通道的寬度和高度。如圖8所示，信道增強(qiáng)特征金字塔首先引入了亞像素卷積，通過在主干網(wǎng)絡(luò)輸出{C2，C3，C4，C5}中建立亞像素跳躍融合(sub-pixel skip fusion，SSF)，結(jié)合上采樣和信道融合，利用高階特征的豐富信道信息來增強(qiáng)特征金字塔的表示能力；同時(shí)結(jié)合1*1卷積獲取簡(jiǎn)化特征圖{F2，F(xiàn)3，F(xiàn)4}，將低分辨率特征融合為高分辨率特征。再對(duì){F2，F(xiàn)3，F(xiàn)4}執(zhí)行元素求和以及最鄰近上采樣產(chǎn)生{P2，P3，P4}。

在輕量化YOLO模型中，去掉了圖8中的F2、P2、R2節(jié)點(diǎn)，以適配于YOLO模型的3個(gè)預(yù)測(cè)頭，并充分利用了最高級(jí)特征層C5的信道信息。最高級(jí)特征C5僅包含了單一尺度的上下文信息，無法從其他特征中獲取，并且太陽(yáng)能電池片圖像分辨率較高，需要更大的接收區(qū)域來獲得更多的語(yǔ)義特征以判別不同尺度的缺陷類型；為解決此問題，采用集成映射圖像I[16]，引入亞像素上下文信息增強(qiáng)(sub-pixel context enhancement)挖掘更多的上下文信息，細(xì)化I的表征能力。然后，將提取的上下文信息結(jié)合{P3，P4}合并到集成圖像I中。

然而，跨尺度的混合特征圖存在語(yǔ)義差異，可能無法分辨太陽(yáng)能電池片表面缺陷的大小尺度，造成混疊效應(yīng)，使缺陷的定位產(chǎn)生不穩(wěn)定性。為了減輕此問題帶來的影響，在CBAM[17]的基礎(chǔ)上，構(gòu)建了一個(gè)通道注意力引導(dǎo)模塊(channel attention guided module)，以降低金字塔的每一層的混疊效應(yīng)，如圖9所示。

圖9 通道注意力引導(dǎo)模塊

如圖9所示，通道注意力引導(dǎo)模塊通過使用全局平均池化和最大池化聚合兩個(gè)不同的空間上下文信息，然后分別傳輸?shù)饺B接層，并將輸出的特征向量通過元素求和，接著采用Sigmoid激活函數(shù)進(jìn)行合并；最終生成的結(jié)果{R3，R4，R5}分別與3個(gè)YOLO輸出端一一對(duì)應(yīng)，構(gòu)成完整的太陽(yáng)能電池片表面缺陷檢測(cè)網(wǎng)絡(luò)模型，如圖10所示。

圖10 太陽(yáng)能電池片表面缺陷檢測(cè)模型

3 實(shí)驗(yàn)仿真與結(jié)果分析

3.1 實(shí)驗(yàn)配置

實(shí)驗(yàn)所使用的操作平臺(tái)為PC機(jī)，Windows 10系統(tǒng)，CPU：Intel(R) Core (TM) i7-10700K@3.8 GHz、內(nèi)存：16 G、GPU：NVIDIA GeForce RTX 3080Ti、顯存：12 G，軟件為Anaconda3、PyCharm 2020.2.1以及深度學(xué)習(xí)框架Pytorch 1.7。

通過LableImage對(duì)太陽(yáng)能電池片數(shù)據(jù)集進(jìn)行缺陷類型標(biāo)記，生成相應(yīng)的標(biāo)簽文件。標(biāo)簽文件中包含了太陽(yáng)能電池片的破損、劃痕、臟污、斷柵4種缺陷類型以及標(biāo)注框的寬、高及位置坐標(biāo)。標(biāo)注好太陽(yáng)能電池片數(shù)據(jù)集后，對(duì)模型訓(xùn)練路徑等相關(guān)參數(shù)執(zhí)行初始化。設(shè)定圖像輸入尺寸為640×640，batch size設(shè)為8，權(quán)重衰減系數(shù)設(shè)為0.000 5，最大迭代次數(shù)為8000，次數(shù)大于5000時(shí)學(xué)習(xí)速率為0.001，在5000次后逐漸衰減。

3.2 模型評(píng)估與分析

圖11 輕量化YOLO損失值曲線

模型的損失值曲線(Loss)反映了預(yù)測(cè)樣本與真實(shí)樣本的誤差，越小的損失值，預(yù)測(cè)效果也更好，將訓(xùn)練完的損失值繪制為曲線，如圖11所示。

可以看出，隨迭代次數(shù)的增多，損失值逐漸變小，最終穩(wěn)定于0.25～0.18之間，表明輕量化YOLO模型預(yù)測(cè)效果較好。太陽(yáng)能電池片各缺陷類別的檢測(cè)精度AP是衡量檢測(cè)效果的重要指標(biāo)，平均精度值均值(mAP)是AP的平均值[9]；圖像每秒幀數(shù)(FPS)表示模型的檢測(cè)速度，上述3個(gè)評(píng)價(jià)指標(biāo)數(shù)值越大，代表模型性能越好[21]。

為測(cè)試輕量化YOLO相比原始YOLOv4網(wǎng)絡(luò)模型的整體提升效果，使用模型參數(shù)量、模型推理速度FLOPs，訓(xùn)練耗時(shí)及太陽(yáng)能電池片表各缺陷類別精度AP進(jìn)行評(píng)估，如表1、表2所示。

表1 模型整體對(duì)比

表2 太陽(yáng)能電池片表面缺陷檢測(cè)AP/%/對(duì)比

可以看出輕量化YOLO比YOLOv4模型的參數(shù)量、推理速度及訓(xùn)練耗時(shí)分別減少了159.1 MB，21.2 G，11.5 h；破損、劃痕、臟污及斷柵的檢測(cè)精度分別提高了3.7%，5.1%，5.6%，6.4%；模型性能較優(yōu)。

同時(shí)，在保持訓(xùn)練平臺(tái)配置信息及數(shù)據(jù)集相同的情況下，采用Faster-RCNN，SSD，EfficientDet，YOLOv4深度學(xué)習(xí)模型[18-21]，對(duì)各個(gè)模型的mAP和FPS進(jìn)行對(duì)比分析。

表3 模型檢測(cè)性能對(duì)比

由表3可知，與Faster-RCNN，SSD，EfficientDet，YOLOv4模型相比，輕量化YOLO的mAP分別提高了12%，15.8%，6.5%，5.2%；檢測(cè)速度分別提升了24.1，16.4，26.6，10.2幀；模型的檢測(cè)精度及速度都得到了較大的改善。輕量化YOLO模型的太陽(yáng)能電池片表面缺陷檢測(cè)的結(jié)果，如圖12所示。

圖12 輕量化YOLO模型檢測(cè)結(jié)果

由圖可知，輕量化YOLO模型能更好的完成各種規(guī)格太陽(yáng)能電池片的表面缺陷檢測(cè)，并能同時(shí)對(duì)多種尺度和多種類型的缺陷進(jìn)行高效識(shí)別，檢測(cè)準(zhǔn)確率達(dá)97.5%，平均檢測(cè)速度可達(dá)23 ms，滿足高速運(yùn)行過程中的太陽(yáng)能電池片表面缺陷檢測(cè)任務(wù)。

4 結(jié)論

為有效檢測(cè)太陽(yáng)能電池片表面缺陷，設(shè)計(jì)了一種硬件檢測(cè)系統(tǒng)，并提出一種輕量化YOLO的深度學(xué)習(xí)模型，自制太陽(yáng)能電池片數(shù)據(jù)集以滿足缺陷類別的豐富性，采用反向線性卷積、深度可分離卷積并結(jié)合最大池化對(duì)YOLOv4模型主干網(wǎng)絡(luò)重新設(shè)計(jì)，實(shí)現(xiàn)模型輕量化；采用信道增強(qiáng)特征金字塔改進(jìn)Neck部分，增強(qiáng)網(wǎng)絡(luò)檢測(cè)性能。通過多項(xiàng)對(duì)比試驗(yàn)證明，該方法可以精準(zhǔn)高效地對(duì)太陽(yáng)能電池片的多種缺陷進(jìn)行實(shí)時(shí)檢測(cè)，模型規(guī)模較小、耗時(shí)低，可以更好地部署于檢測(cè)系統(tǒng)中，對(duì)太陽(yáng)能電池片生產(chǎn)工藝的檢測(cè)環(huán)節(jié)有實(shí)際應(yīng)用價(jià)值。