国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進(jìn)YOLOv7-tiny的PCB缺陷檢測(cè)算法

2025-04-08 00:00:00侯培國韓超明李寧宋濤
燕山大學(xué)學(xué)報(bào) 2025年2期
關(guān)鍵詞:輕量化

摘要:針對(duì)現(xiàn)有PCB缺陷檢測(cè)算法檢測(cè)效率低、參數(shù)量大以及結(jié)構(gòu)復(fù)雜的問題,提出了一種改進(jìn)的YOLOv7-tiny算法。設(shè)計(jì)了多尺度捕獲模塊,通過多尺度特征捕獲、上下文信息融合以及特征增強(qiáng)的方法,提高算法對(duì)圖像特征提取的能力,改善CSPSPP層單一池化操作掩蓋特征圖內(nèi)部有效信息的問題。提出了全局局部門控感知模塊,通過選擇性特征融合、局部與全局信息結(jié)合的方法,降低頸部網(wǎng)絡(luò)的參數(shù)量?;贒eepPCB數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)得出,改進(jìn)后的模型較傳統(tǒng)模型精度提升了1.5%,參數(shù)量和計(jì)算量分別下降了66%和20.6%,模型規(guī)模降低了66.3%。改進(jìn)后的算法識(shí)別精度高、參數(shù)量少、計(jì)算量小,可以為PCB缺陷的快速準(zhǔn)確識(shí)別提供良好的條件。

關(guān)鍵詞:PCB表面缺陷檢測(cè);YOLOv7-tiny;多尺度捕獲模塊;全局局部門控感知模塊;輕量化

中圖分類號(hào): TP391 文獻(xiàn)標(biāo)識(shí)碼: ADOI:10.3969/j.issn.1007-791X.2025.02.009

0引言

隨著電子信息產(chǎn)業(yè)的快速發(fā)展,印刷電路板(Printed Circuit Board, PCB)作為關(guān)鍵的基礎(chǔ)組件,其質(zhì)量對(duì)于整個(gè)電子設(shè)備的性能和穩(wěn)定性具有至關(guān)重要的影響[1]。但PCB的生產(chǎn)工藝比較復(fù)雜,產(chǎn)生的缺陷種類繁多,常見的缺陷種類如下:斷路、短路、針孔、偽銅、毛刺及鼠咬[2],而這些微小的缺陷卻可能導(dǎo)致電子設(shè)備的故障。因此,針對(duì)PCB表面的微小缺陷檢測(cè)成為了一個(gè)關(guān)鍵的問題[3-5]。

傳統(tǒng)的PCB缺陷檢測(cè)采用人工視覺檢測(cè)方法和電氣性能檢測(cè)方法。面對(duì)繁重的檢測(cè)任務(wù),受限于檢測(cè)工人的個(gè)人經(jīng)驗(yàn)、視力狀況、情緒等外在因素[6],容易發(fā)生漏檢、誤檢等情況,并且工人的成本高效率低,因此傳統(tǒng)的PCB缺陷檢測(cè)方法逐漸地消失在大眾的視野下。

隨著以往的PCB缺陷檢測(cè)方法弊端越來越明顯,近些年來基于機(jī)器視覺的自動(dòng)光學(xué)檢測(cè)(Automatic Optical Inspection, AOI)技術(shù)便應(yīng)運(yùn)而生[7]。它使用光學(xué)方法獲得PCB樣板的表面狀態(tài)圖像,并使用模式識(shí)別和圖像處理等技術(shù)來檢測(cè)異物或圖案異常等缺陷。AOI系統(tǒng)在檢測(cè)時(shí)主要依據(jù)的是圖像的顏色、形狀、大小等特征[8],因此對(duì)于一些與預(yù)定模板或規(guī)范略有差別的缺陷,可能會(huì)發(fā)生誤判或漏判。例如,在檢測(cè)電路板上的元件時(shí),如果元件的顏色略有變化或形狀稍有不同,AOI系統(tǒng)可能會(huì)誤判為缺陷。此外,AOI系統(tǒng)對(duì)光照和環(huán)境條件比較敏感,不同的光照條件和環(huán)境因素可能會(huì)影響到檢測(cè)結(jié)果的準(zhǔn)確性[9]。

近十年來,深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的應(yīng)用逐漸成熟,也成為PCB缺陷檢測(cè)的主流方法之一[10]。深度學(xué)習(xí)目標(biāo)檢測(cè)算法模型可以分為兩類:兩階段目標(biāo)檢測(cè)算法和單階段目標(biāo)檢測(cè)算法[11]。其中,兩階段目標(biāo)檢測(cè)算法先提取圖像的候選區(qū)域,再對(duì)候選區(qū)域進(jìn)行分類和回歸。這類算法的典型代表有R-CNN、Fast R-CNN和Faster R-CNN[12]。它們的優(yōu)點(diǎn)是檢測(cè)精度高,缺點(diǎn)是檢測(cè)速度慢,算法復(fù)雜。單階段目標(biāo)檢測(cè)算法直接對(duì)目標(biāo)進(jìn)行定位和分類,沒有候選區(qū)域的概念。這類算法的代表有YOLO和SSD[13]。它們的優(yōu)點(diǎn)是檢測(cè)速度快,缺點(diǎn)是檢測(cè)精度低[14]。針對(duì)焊膏缺陷圖像規(guī)格不一致和數(shù)據(jù)集有限性的問題,Park等[15]對(duì)傳統(tǒng)CNN網(wǎng)絡(luò)模型進(jìn)行了改進(jìn),引入了一種雙層缺陷檢測(cè)點(diǎn)網(wǎng)(D3PointNet)用于錫膏打印缺陷的檢測(cè)。通過使用這種網(wǎng)絡(luò),提高了系統(tǒng)的魯棒性。Ding等[16]提出了一個(gè)基于Faster R-CNN框架的微小缺陷檢測(cè)網(wǎng)絡(luò)(TDD-Net)來解決PCB缺陷檢測(cè)中的誤檢、漏檢率高及效率低的問題。該網(wǎng)絡(luò)利用ResNet-101作為主要結(jié)構(gòu),并采用特征金字塔網(wǎng)絡(luò)進(jìn)行特征提取,以增強(qiáng)對(duì)多尺度缺陷的捕獲能力。實(shí)驗(yàn)結(jié)果表明,該網(wǎng)絡(luò)在公共數(shù)據(jù)集上表現(xiàn)出色,具有較強(qiáng)的魯棒性和泛化性能。Li等[17]結(jié)合了Faster R-CNN和YOLOv2的方法,以在AOI上提高PCB雙列直插式組件缺陷的檢出率,并降低誤報(bào)率。蘇佳等[18]采用ResNet模型作為YOLOv4的特征提取網(wǎng)絡(luò),通過引入注意力機(jī)制和改進(jìn)路徑聚合網(wǎng)絡(luò)(Path Aggregation Network,PANet)結(jié)構(gòu),提高了對(duì)小目標(biāo)的特征提取能力。王淑青等[19]對(duì)YOLOv5進(jìn)行輕量化處理,用ShuffleNetV2結(jié)構(gòu)替代卷積層與交叉卷積連接塊(Cross-Convolution-Connection, C3),優(yōu)化特征金字塔網(wǎng)絡(luò)(Feature Pyramid Network, FPN)和激活函數(shù),提高了檢測(cè)速度。

盡管以上基于深度學(xué)習(xí)的PCB表面缺陷檢測(cè)算法在檢測(cè)精度、魯棒性和泛化性方面表現(xiàn)出色,但仍存在硬件資源需求高、模型優(yōu)化調(diào)整復(fù)雜[20]等不足。為應(yīng)對(duì)PCB檢測(cè)的挑戰(zhàn),并滿足移動(dòng)端部署需求,本文選擇了檢測(cè)速度和精度較高的輕量化模型YOLOv7-tiny網(wǎng)絡(luò)。由于YOLOv7-tiny模型仍結(jié)構(gòu)復(fù)雜,規(guī)模龐大,無法用在PCB缺陷檢測(cè)這類終端輕量化檢測(cè)場(chǎng)景下,因此需對(duì)其進(jìn)行改進(jìn)。通過引入多尺度捕獲(Multi-Scale Capture, MSC)模塊替代YOLOv7-tiny原有的特征提取模塊,提升了模型的多尺度表示能力,降低了計(jì)算復(fù)雜度,并提高了檢測(cè)準(zhǔn)確度。同時(shí),引入全局局部門控感知模塊(Global-Local Gated Perception, GLGP)到目標(biāo)檢測(cè)的頸部網(wǎng)絡(luò)中,大幅減少了計(jì)算量。經(jīng)過改進(jìn)后的模型在保持較高檢測(cè)性能的同時(shí),降低了硬件資源需求,為PCB缺陷檢測(cè)在實(shí)際應(yīng)用中的部署提供了更高效的解決方案。

1YOLOv7-tiny算法

YOLOv7-tiny是YOLOv7模型的輕量級(jí)版本,經(jīng)過結(jié)構(gòu)優(yōu)化簡(jiǎn)化,特別適合部署在邊緣計(jì)算設(shè)備上。如圖1所示,它包含三個(gè)主要部分:骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和預(yù)測(cè)頭。YOLOv7-tiny在骨干網(wǎng)絡(luò)中簡(jiǎn)化了結(jié)構(gòu),用簡(jiǎn)化的輕量級(jí)激活網(wǎng)絡(luò)(Efficient Linear Activation Network, ELAN)替換了增強(qiáng)型輕量級(jí)激活網(wǎng)絡(luò)(Enhanced Efficient Linear Activation Network, E-ELAN),并且去掉了多通道池化卷積(Multi-channel Pooling Convolution, MPConv)中的卷積操作,只利用池化進(jìn)行下采樣。頸部網(wǎng)絡(luò)仍采用PANet結(jié)構(gòu),但在預(yù)測(cè)頭部分,YOLOv7-tiny用標(biāo)準(zhǔn)卷積取代了重復(fù)卷積(Replicated Convolution, REPConv)來調(diào)整通道數(shù)。這些改動(dòng)使得YOLOv7-tiny在模型大小和參數(shù)數(shù)量上較YOLOv7有所降低,因此,YOLOv7-tiny在速度和輕量化方面更具優(yōu)勢(shì)。這使得在計(jì)算資源受限的環(huán)境下,它更適合進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè)。

然而,YOLOv7-tiny也存在一些局限性。特別是其主干網(wǎng)絡(luò)尾部的特征提取模塊ELAN和與頸部網(wǎng)絡(luò)的通道分離空間金字塔池化(Channel-Separated Spatial Pyramid Pooling, CSPSPP)模塊的連接部分。ELAN的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,增加了計(jì)算量和參數(shù),可能導(dǎo)致特征冗余。另一方面,雖然CSPSPP模塊通過分塊處理和池化操作提升了模型的準(zhǔn)確率和響應(yīng)速度,但其單一的池化操作卻使模型缺乏多尺度表示能力。

目標(biāo)檢測(cè)的頸部網(wǎng)絡(luò)是實(shí)現(xiàn)不同層次特征圖融合的關(guān)鍵,不同的融合策略對(duì)檢測(cè)器的性能影響顯著。因此,問題的關(guān)鍵是如何設(shè)計(jì)一種更輕量化的特征聚合方案。這種方案將在保證豐富特征獲取的同時(shí),致力于減少參數(shù)數(shù)量和計(jì)算量,以實(shí)現(xiàn)更高效的檢測(cè)過程。

2改進(jìn)YOLOv7-tiny算法

2.1改進(jìn)方法

針對(duì)YOLOv7-tiny存在的上述問題,本文旨在設(shè)計(jì)一種更精簡(jiǎn)的特征聚合策略。該策略不僅能保證特征的豐富性,還可有效降低模型參數(shù)量和計(jì)算成本,從而實(shí)現(xiàn)模型性能的優(yōu)化。本文主要改進(jìn)方法如下:

提出了MSC模塊,用它來替換原始的CSPSPP層和主干網(wǎng)絡(luò)最后的一個(gè)ELAN模塊。增強(qiáng)主干網(wǎng)絡(luò)特征提取能力并減少模型參數(shù)量。

提出了GLGP模塊,用來對(duì)YOLOv7-tiny頸部網(wǎng)絡(luò)進(jìn)行重構(gòu),大大減少參數(shù)量及計(jì)算量。結(jié)合以上兩種方法,增加模塊調(diào)整后YOLOv7-tiny網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.2多尺度捕獲模塊

多尺度表示對(duì)于各種視覺任務(wù)來說是至關(guān)重要的,例如感知目標(biāo)對(duì)象的邊界、區(qū)域和語義類別等。在實(shí)際場(chǎng)景中,目標(biāo)的大小和尺度常常是不確定的,因此需要使用多尺度分析的方法來進(jìn)行目標(biāo)檢測(cè)和識(shí)別。多尺度變換可以通過對(duì)圖像進(jìn)行多次縮放和平滑操作來提取不同尺度下的目標(biāo)信息,從而有效地解決目標(biāo)的尺度變化和多尺度分布的問題,增加模型的感受野,減少漏檢和誤檢的情況,提高目標(biāo)檢測(cè)的準(zhǔn)確性。YOLO v7-tiny在主干網(wǎng)絡(luò)的最后使用CSPSPP模塊實(shí)現(xiàn)多尺度信息的捕獲,其作用是擴(kuò)大感受野,使算法能夠適應(yīng)不同的圖像分辨率。這是通過最大池化來獲得不同的感受野來實(shí)現(xiàn)的。在池化過程中,相鄰的像素點(diǎn)會(huì)被聚合在一起,它們的特征信息會(huì)合并成一個(gè)更高級(jí)別的特征。這種操作在一定程度上確實(shí)可以減少模型的參數(shù)數(shù)量,防止過擬合;但是單一的池化操作掩蓋了特征圖內(nèi)部的真正有效信息,并缺少學(xué)習(xí)能力,在此提出MSC模塊,用它來替換原始的CSPSPP層和主干網(wǎng)絡(luò)最后的ELAN。

MSC的結(jié)構(gòu)原理圖如圖3所示。它首先通過通道分離操作對(duì)特征圖3等分形成F1、F2和F3三個(gè)輸入通道。接著,對(duì)F1連續(xù)進(jìn)行兩次最大池化(Max Pooling, MP)操作,對(duì)F2進(jìn)行分組卷積(Group Convolution, GC),對(duì)F2的結(jié)果和F3進(jìn)行累加后進(jìn)—步進(jìn)行GC,通過兩個(gè)MP和3×3的GC獲得了多尺度的表達(dá)能力;進(jìn)一步地,對(duì)每一個(gè)分組內(nèi)的多尺度表達(dá)進(jìn)行分組融合,對(duì)同一組的特征執(zhí)行1×1的卷積操作,最后對(duì)不同組的特征再進(jìn)行Concat連接;再進(jìn)一步地,對(duì)Concat后的特征進(jìn)行快速通道注意力(Fast Channel Attention, FCA)操作,F(xiàn)CA是一種特殊形式的注意力機(jī)制,主要用于圖像分類任務(wù)中。它通過關(guān)注圖像的不同通道特征,來學(xué)習(xí)通道間的關(guān)系,進(jìn)一步優(yōu)化特征表示。其中GAP(Global Average Pooling)是全局平均池化模塊,Linear是線性層,Sigmoid是非線性激活函數(shù),經(jīng)過快速通道注意力機(jī)制的變換,最后得到Output輸出。

GAP是一種在卷積神經(jīng)網(wǎng)絡(luò)中使用的技術(shù),這個(gè)模塊負(fù)責(zé)對(duì)每個(gè)通道的特征圖進(jìn)行全局平均池化操作,將特征圖的空間維度壓縮為一個(gè)數(shù)值,從而形成一個(gè)一維向量。它能夠有效地匯總和描述每個(gè)通道的特征,為后續(xù)的通道注意力模塊提供了基礎(chǔ),有助于減少模型的參數(shù)量和計(jì)算量,提高模型的效率。計(jì)算方式是取特征圖的全局平均值。假設(shè)有一個(gè)大小為H×W×C的特征圖,其中H代表高度,W表示寬度,C表示通道數(shù)。全局平均池化可以通過式(1)計(jì)算:

其中,OC表示輸出特征圖中通道C的值,I(i,j,C)表示輸入特征圖中位置(i, j)上通道C的值。

在FCA中,Sigmoid非線性激活函數(shù)的作用是將通道注意力權(quán)重歸一化到0~1的范圍內(nèi)。這樣做可以確保權(quán)重在合理的范圍內(nèi),使得模型更加穩(wěn)定地進(jìn)行訓(xùn)練。Sigmoid非線性激活函數(shù)的計(jì)算式為

其中,x是輸入值。

在GC中的LeakyReLU激活函數(shù)是一種常用的非線性激活函數(shù),它可以有效防止ReLU函數(shù)出現(xiàn)“死亡神經(jīng)元”問題,還可以加快訓(xùn)練速度、提高模型的魯棒性、改善梯度消失等問題,所以在深度學(xué)習(xí)中應(yīng)用較多。LeakyReLU激活函數(shù)的計(jì)算式為

其中,α是一個(gè)非常小的正數(shù),例如0.01。當(dāng)x大于0時(shí),函數(shù)的輸出等于輸入x;當(dāng)x小于0時(shí),函數(shù)的輸出等于輸入x乘以斜率α。它的曲線類似于ReLU函數(shù),但有一個(gè)小的斜率,因此被稱為L(zhǎng)eakyReLU。

2.3全局局部門控感知模塊

目標(biāo)檢測(cè)中的頸部網(wǎng)絡(luò)是連接目標(biāo)檢測(cè)器的主干網(wǎng)絡(luò)與頭部網(wǎng)絡(luò)的中間階段。這些網(wǎng)絡(luò)主要用于收集不同階段的特征圖,并將這些特征圖傳遞到頭部網(wǎng)絡(luò)進(jìn)行最終的目標(biāo)檢測(cè)。在目標(biāo)檢測(cè)的頸部網(wǎng)絡(luò)將實(shí)現(xiàn)不同層次特征圖的特征融合,而不同的特征圖融合方法對(duì)目標(biāo)檢測(cè)器的檢測(cè)性能有著極大的影響。在此,提出了GLGP,實(shí)現(xiàn)不同層次特征的全局局部信息共享。

GLGP結(jié)構(gòu)原理圖如圖4所示。首先通過1×1卷積層將具有C通道的特征映射為含2C+2個(gè)通道數(shù)的卷積層,接著對(duì)其拆分為C和C+2兩個(gè)分組單元。對(duì)其中含C+2個(gè)通道數(shù)的單元進(jìn)行全局局部信息捕獲,對(duì)C通道的特征進(jìn)行局部和全局信息提取。其中C+2分出的通道一個(gè)代表門控,一個(gè)代表門控,分別對(duì)應(yīng)乘積到兩個(gè)單元后再進(jìn)行相加后1×1卷積融合,得到最后的全局局部信息門控感知信息,最后在和C通道單元進(jìn)行乘積后,通過1×1卷積進(jìn)行感知信息強(qiáng)化,得到輸出。具體改進(jìn)措施是,對(duì)頸部網(wǎng)絡(luò)進(jìn)行了重構(gòu),將兩個(gè)特征圖進(jìn)行上采樣,并進(jìn)行連接,送入GLGP模塊中,之后輸入到ELAN中進(jìn)行單尺度檢測(cè),GLGP通過選擇性特征融合、局部與全局信息的融合以及計(jì)算高效的設(shè)計(jì),能夠在目標(biāo)檢測(cè)頸部網(wǎng)絡(luò)中達(dá)到高效特征融合和低計(jì)算復(fù)雜度??梢钥闯龈倪M(jìn)后的頸部網(wǎng)絡(luò)由多個(gè)輸出變?yōu)橐粋€(gè)輸出,可以減少模型的復(fù)雜性和大小,從而加速推理時(shí)間和減少內(nèi)存占用,實(shí)現(xiàn)模型的輕量化。

3實(shí)驗(yàn)結(jié)果與分析

3.1實(shí)驗(yàn)數(shù)據(jù)集

本文選用了DeepPCB數(shù)據(jù)集來訓(xùn)練和測(cè)試所提出的改進(jìn)模型。該數(shù)據(jù)集由上海交通大學(xué)圖像處理與模式識(shí)別研究所發(fā)布,專門用于PCB缺陷的檢測(cè)和識(shí)別。通過在該數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試,可以有效驗(yàn)證改進(jìn)模型的性能。該數(shù)據(jù)集包含1 500個(gè)圖像對(duì),每對(duì)圖像由無缺陷的模板圖像和對(duì)齊的測(cè)試圖像組成,其中包含注釋,標(biāo)明了6種最常見類型的PCB缺陷位置,具體包括:開路、短路、鼠咬、毛刺、針孔以及偽銅。該數(shù)據(jù)集中的所有圖像都是以每毫米48個(gè)像素的分辨率通過線性掃描CCD(Charge-Coupled Device)獲得的。模板和測(cè)試圖像的大小約為16 k×16 k個(gè)像素點(diǎn),然后將它們裁剪為很多大小為640×640的子圖像,并通過模板匹配技術(shù)進(jìn)行對(duì)齊。每張圖片會(huì)有3~12個(gè)缺陷,其中的各種PCB缺陷數(shù)量如表1所示。

2實(shí)驗(yàn)環(huán)境與配置

本實(shí)驗(yàn)在Ubuntu 18.04操作系統(tǒng)上進(jìn)行模型訓(xùn)練,硬件配置包括NVIDIA GeForce RTX 3090顯卡(24 GB 顯存)和24 GB運(yùn)行內(nèi)存。軟件配置使用PyTorch深度學(xué)習(xí)框架,結(jié)合CUDA 11.1來加速訓(xùn)練過程。在實(shí)驗(yàn)中,訓(xùn)練所需要的超參數(shù)配置信息具體見表2。

3.3評(píng)價(jià)指標(biāo)

深度學(xué)習(xí)在進(jìn)行缺陷檢測(cè)時(shí),通常使用精確度(Precision, P)、召回率(Recall,R)和均值平均精度(mean Average Precision, mAP,記為φ)來評(píng)估模型性能。精確度也被稱為查準(zhǔn)率,是指被正確識(shí)別為正樣本的樣本占所有被識(shí)別為正樣本的比例。這主要針對(duì)預(yù)測(cè)結(jié)果而言。召回率也叫查全率,表示正確識(shí)別的物體數(shù)量占測(cè)試集中物體總數(shù)的比例。mAP是衡量模型整體精度的重要指標(biāo),mAP越大表明模型的精度越高。

在目標(biāo)檢測(cè)任務(wù)中,TP(True Positive)指的是被正確預(yù)測(cè)為正樣本的數(shù)量,記為NTP;FP(False Positive)則表示被錯(cuò)誤預(yù)測(cè)為正樣本的數(shù)量,記為NFP;而FN(False Negative)則表示被錯(cuò)誤預(yù)測(cè)為負(fù)樣本的數(shù)量,記為NFN。設(shè)定n為目標(biāo)檢測(cè)的總類別數(shù)。P(r)代表的是在P-R線圖中某個(gè)特定召回率r點(diǎn)處的精確度值。P-R曲線是以r為橫軸,P為縱軸得到的曲線,橫縱坐標(biāo)所圍區(qū)域的大小代表了該類別的平均精度(Average Precision, AP,記為),其中i代表目標(biāo)類別i的平均精度。

在評(píng)估模型準(zhǔn)確度時(shí),主要關(guān)注兩個(gè)指標(biāo):mAP@0.5和mAP@0.5:0.95。具體而言,mAP@0.5是在IoU(交并比)閾值設(shè)為50%時(shí)的平均準(zhǔn)確率均值,而mAP@0.5:0.95則是從50%的閾值開始,以5%的增幅逐漸提升至95%,計(jì)算不同閾值下的平均準(zhǔn)確率均值,并最終求得這些值的均值。這種評(píng)估方法更全面地反映了模型在不同交并比閾值下的整體性能,從而提供了更準(zhǔn)確的模型性能評(píng)估結(jié)果。各指標(biāo)計(jì)算式為

為了驗(yàn)證提出的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的有效性,在實(shí)驗(yàn)條件相同的情況下,將提出的改進(jìn)YOLOv7-tiny模型的方法分別進(jìn)行消融實(shí)驗(yàn),分析各個(gè)改進(jìn)對(duì)算法性能的影響,相關(guān)實(shí)驗(yàn)結(jié)果如表3所示。mAP@0.5表示在置信度閾值為0.5的情況下的平均精度。mAP@0.5:0.95表示在置信度閾值從0.5到0.95的范圍內(nèi)的平均精度。表3YOLOv7-tiny 網(wǎng)絡(luò)結(jié)構(gòu)消融實(shí)驗(yàn)對(duì)比

由表3數(shù)據(jù)可以看出首先對(duì)于修改原始YOLOv7-tiny模型的特征提取網(wǎng)絡(luò)并加入MSC模塊,能夠使模型的參數(shù)量和計(jì)算量分別下降25.0%和9.1%,并且mAP@0.5和mAP@0.5:0.95分別提升了0.2和0.6個(gè)百分點(diǎn),說明改進(jìn)后的模型提高了頸部網(wǎng)絡(luò)的多尺度捕獲能力,并且更加輕量化。其次對(duì)于頸部網(wǎng)絡(luò)的修改并加入GLGP,同比原始模型,參數(shù)量和計(jì)算量分別減少了53.3%和16%,同時(shí)mAP@0.5和mAP@0.5:0.95分別提升了0.4個(gè)1.2和百分點(diǎn),證實(shí)了對(duì)頸部網(wǎng)絡(luò)的輕量化改進(jìn)的可行性。最后,融合以上兩個(gè)改進(jìn)方法的YOLOv7-tiny模型比原始模型的參數(shù)量和計(jì)算量更是分別減少了66%和20.6%,并且沒有損失檢測(cè)精度,mAP@0.5和mAP@0.5:0.95分別提升了0.3和1.5個(gè)百分點(diǎn)。改進(jìn)后的YOLOv7-tiny網(wǎng)絡(luò)成功地在模型輕量化與精度提升之間找到了平衡。在保持模型輕量化的同時(shí),其精度沒有下降,證明了這個(gè)新模型在實(shí)用性和性能提升方面的優(yōu)勢(shì)。

3.5不同算法對(duì)比分析

為了進(jìn)一步驗(yàn)證本文提出的算法的有效性,需要進(jìn)行與當(dāng)前主流單階段目標(biāo)檢測(cè)算法模型的對(duì)比實(shí)驗(yàn),包括YOLOv3-tiny、YOLOv5s、YOLOv6-tiny和YOLOv8n,對(duì)比實(shí)驗(yàn)結(jié)果如表4所示。

從表4的數(shù)據(jù)可以看出,本文改進(jìn)的算法在性能上有顯著的提升。與YOLOv3-tiny、YOLOv5s、YOLOv6n以及YOLOv8n這些算法相比,本文的算法在mAP@0.5:0.95這一關(guān)鍵指標(biāo)上分別取得了34.2%、4.4%、6.1%和6.1%的提升。同時(shí),在參數(shù)規(guī)模方面,本文的算法相較于這些對(duì)比算法分別減少了83.4%、78.0%、52.3%和33.3%,這意味著本文的算法在模型復(fù)雜度上有了大幅度的降低。在計(jì)算量方面,與YOLOv3-tiny、YOLOv5s、YOLOv6n和YOLOv7n相比,本文的算法分別實(shí)現(xiàn)了45.0%、56.3%、11.8%和20.6%的減少。此外,模型的大小也有顯著的降低,與YOLOv3-tiny、YOLOv5s、YOLOv6-tiny、YOLOv8n以及YOLOv7-tiny相比,本文的模型分別減小了38.5 MB、7.1 MB、8.4 MB、3.7 MB和15.2 MB。

綜合以上數(shù)據(jù),本文提出的改進(jìn)YOLOv7-tiny算法在性能上展現(xiàn)出了顯著的優(yōu)勢(shì)。相較于其他對(duì)比算法,該算法在mAP@0.5:0.95這一關(guān)鍵指標(biāo)上實(shí)現(xiàn)了顯著提升,同時(shí)有效降低了模型復(fù)雜度、計(jì)算量以及模型大小。這一優(yōu)化平衡了模型性能與模型大小、計(jì)算量的需求,使得該算法更加適用于移動(dòng)端部署。

3.6實(shí)驗(yàn)結(jié)果分析

使用相同的數(shù)據(jù)集和參數(shù)設(shè)置,對(duì)原始的YOLOv7-tiny模型和改進(jìn)后的YOLOv7-tiny模型進(jìn)行訓(xùn)練和預(yù)測(cè)。取IoU閾值為0.5時(shí),分別得到改進(jìn)前后的P-R曲線,如圖5所示。P-R曲線越靠近右上角的點(diǎn)表示AP越大,效果更佳。通過比較可發(fā)現(xiàn),改進(jìn)后六大缺陷的P-R曲線均向右上角趨近,說明改進(jìn)后的各類AP值均有得到良好的提升,提高了檢測(cè)的準(zhǔn)確率,mAP值也有很大的提高。

本實(shí)驗(yàn)對(duì)六種缺陷的mAP@0.5:0.95值進(jìn)行了改進(jìn)前后的對(duì)比。與mAP@0.5主要用于評(píng)估算法在較寬松的檢測(cè)場(chǎng)景下的性能不同,mAP@0.5:0.95是一種更為嚴(yán)格和全面的性能評(píng)估指標(biāo),適用于少數(shù)的微小缺陷場(chǎng)景。圖6為對(duì)比結(jié)果,可以看到,改進(jìn)后的算法在PCB六大缺陷的檢測(cè)精度上分別取得了1.1%、1.5%、2.3%、2.3%、1%和0.8%的提升。這表明改進(jìn)后的算法在準(zhǔn)確識(shí)別和定位缺陷方面表現(xiàn)更好。改進(jìn)后使得算法能夠更好地適應(yīng)實(shí)際應(yīng)用場(chǎng)景中的不同需求,提高了缺陷檢測(cè)的準(zhǔn)確性和可靠性。這為改進(jìn)后的算法在實(shí)際工業(yè)應(yīng)用中的可靠性和有效性提供了有力支持。

從圖7和圖8可以看出,改進(jìn)后的檢測(cè)結(jié)果中能檢測(cè)出來短路漏檢的短路缺陷(圖中用紅色圓圈標(biāo)出誤檢和漏檢),并且對(duì)于開路(Open)、短路(Short)、鼠咬(Mousebite)、毛刺(Spur)、針孔(Pin-hole)和偽銅(Copper)這六種缺陷,改進(jìn)版的YOLOv7-tiny相比原版在準(zhǔn)確度和置信度上均有顯著提高。原版的YOLOv7-tiny經(jīng)常出現(xiàn)誤檢和漏檢的情況,而改進(jìn)后的算法其誤檢率和錯(cuò)檢率都有大幅度下降。綜上所述,本文所改進(jìn)的YOLOv7-tiny模型在查全率、準(zhǔn)確率、誤檢率、漏檢率等方面表現(xiàn)出色。

4結(jié)論

本文提出了一種基于YOLOv7-tiny的輕量級(jí)PCB缺陷檢測(cè)算法,解決了傳統(tǒng)算法在特征提取和模型復(fù)雜度方面的不足。通過引入MSC,有效改進(jìn)了骨干網(wǎng)絡(luò)的結(jié)構(gòu),增強(qiáng)了模型對(duì)多尺度特征的捕獲能力,進(jìn)而提高了特征提取的效率。同時(shí)對(duì)頸部網(wǎng)絡(luò)進(jìn)行了優(yōu)化,借助GLGP的優(yōu)勢(shì),簡(jiǎn)化了網(wǎng)絡(luò)結(jié)構(gòu),提升了特征聚合的效果。通過DeepPCB數(shù)據(jù)集的實(shí)驗(yàn)驗(yàn)證,改進(jìn)后的模型與傳統(tǒng)模型對(duì)比,精度提升了1.5%,參數(shù)量、計(jì)算量和模型大小分別下降了66%、20.6%和66.3%。與其他算法相比,在準(zhǔn)確度和輕量化方面的大幅度提升,使得本文提出的算法更適合部署在資源受限的設(shè)備上。

參考文獻(xiàn)

[1] 謝翔, 肖金球, 汪俞成, 等. 基于改進(jìn)YOLOv5s的DeepPCB缺陷檢測(cè)算法研究 [J]. 微電子學(xué)與計(jì)算機(jī), 2023, 40(7): 1-9.

XIE X, XIAO J Q, WANG Y C, et al. DeepPCB defect detection based on improved YOLOv5s algorithm[J]. Microelectronicsand Computer, 2023, 40(7): 1-9.

[2] 李聞, 李小春, 閆昊雷. 基于改進(jìn)YOLOv3的PCB缺陷檢測(cè) [J]. 電光與控制, 2022, 29(4): 106-111.

LI W, LI X C, YAN H L. PCB defect detection based on improved YOLOv3 [J].Electronics Optics and Control, 2022, 29(4): 106-111.

[3] HOU Q L, SUN J, HUANG P L. A novel algorithm for tool wear online inspection based on machine vision [J]. The International Journal of Advanced Manufacturing Technology, 2019, 101(9): 2415-2423.

[4] 湯勃, 孔建益, 伍世虔, 等. 機(jī)器視覺表面缺陷檢測(cè)綜述 [J]. 中國圖象圖形學(xué)報(bào), 2017, 22(12): 1640-1663.

TANG B, KONG J Y, WU S Q, et al. Review of surface defect detection based on machine vision [J]. Journal of Image and Graphics, 2017, 22(12): 1640-1663.

[5]" KAUR B, KAUR G, KAUR A. Detection and classification of printed circuit board defects using image subtraction method [C]//Proceedings of Recent Advances in Engineering and Computational Sciences, Chandigarh, India, 2014:1-5.

[6] 盧榮勝, 吳昂, 張騰達(dá),等. 自動(dòng)光學(xué)(視覺)檢測(cè)技術(shù)及其在缺陷檢測(cè)中的應(yīng)用綜述 [J]. 光學(xué)學(xué)報(bào), 2018, 38(8): 23-58.

LU R S, WANG A, ZHANG T D, et al. Review of automated optical (visual) inspection technology and its applications in defect detection [J]. Acta Optica Sinica, 2018, 38(8): 23-58.

[7] 葉倩, 蔡念, 李飛洋, 等. 基于自適應(yīng)匹配半徑視覺背景提取的IC焊點(diǎn)檢測(cè)算法 [J]. 焊接技術(shù), 2017, 46(7): 12-15.

YE Q, CAI N, LI F Y, et al. IC solder joint detection algorithm based on adaptive matching radius visual background extraction [J]. Welding Technology, 2017, 46(7): 12-15.

[8] 朱寒, 林麗, 王健華, 等. 基于改進(jìn)模板匹配及圖像差分法的PCB板缺陷多級(jí)檢測(cè)方法 [J]. 應(yīng)用光學(xué), 2020, 41(4): 837-843.

ZHU H, LIN L, WANG J H, et al. Multi-level detection method for PCB board defects based on improved template matching and image difference [J]. Journal of Applied Optics, 2020, 41(4): 837-843.

[9] 郭民, 王蕊. AOI技術(shù)在PCB缺陷檢測(cè)中的設(shè)計(jì)與實(shí)現(xiàn) [J]. 測(cè)控技術(shù), 2016, 35(12): 127-130.

GUO M, WANG R. Design and implementation of AOI technology in PCB defect dection [J]. Measurement and Control Technology, 2016, 35(12): 127-130.

[10] 董靜毅, 呂文濤, 包曉敏, 等. 基于機(jī)器視覺的PCB板表面缺陷檢測(cè)方法研究進(jìn)展 [J]. 浙江理工大學(xué)學(xué)報(bào)(自然科學(xué)版), 2021, 45(3): 379-389.

DONG J Y,L W T, BAO X M, et al. Research progress of PCB surface defect detection method based on machine vision[J]. Journal of Zhejiang Sci-Tech University(Natural Sciences), 2021, 45(3): 379-389.

[11] 王丹, 李琦, 梁棟, 等. 基于多尺度全卷積與CRF的路面裂縫檢測(cè)算法 [J]. 燕山大學(xué)學(xué)報(bào), 2021, 45(4): 367-376.

WANG D, LI Q, LIANG D, et al. Road crack detection algorithms based on multi-scale fully convolution and CRF [J]. Journal of Yanshan University, 2021, 45(4): 367-376.

[12] 侯玥, 王開宇, 金順福. 一種基于YOLOv5的小樣本目標(biāo)檢測(cè)模型 [J]. 燕山大學(xué)學(xué)報(bào), 2023, 47(1): 64-72.

HOU Y, WANG K Y, JIN S F.A few-shot object detection model based on YOLOv5 [J]. Journal of Yanshan University, 2023, 47(1): 64-72.

[13] 許德剛, 王露, 李凡. 深度學(xué)習(xí)的典型目標(biāo)檢測(cè)算法研究綜述 [J]. 計(jì)算機(jī)工程與應(yīng)用, 2021, 57(8): 10-25.

XU D G, WANG L, LI F. Review of typical object detection algorithms for deep learning [J]. Computer Engineering and Applications, 2021, 57(8): 10-25.

[14] 劉俊明, 孟衛(wèi)華. 基于深度學(xué)習(xí)的單階段目標(biāo)檢測(cè)算法研究綜述 [J]. 航空兵器, 2020, 27(3): 44-53.

LIU J M, MENG W H. Review on single-stage object detection algorithm based on deep learning [J]. Aviation Weapons, 2020, 27(3): 44-53.

[15] PARK J M, YOO Y H, KIM U H, et al. D3PointNet: dual-level defect detection pointnet for solder paste printer in surface mount technology [J]. IEEE Access, 2020, 8: 140310-140322.

[16]" DING R W, DAI L H, LI G P, et al.TDD-net: a tiny defect detection network for printed circuit boards [J]. CAAI Transactions on Intelligence Technology, 2019, 4(2): 110-116.

[17]" LI Y T, KUO P, GUO J I. Automatic industry PCB board DIP process defect detection system based on deep ensemble self-adaption method [J]. IEEE Transactions on Components, Packaging and Manufacturing Technology, 2020, 11(2): 312-323.

[18]" 蘇佳, 賈欣雨, 侯衛(wèi)民. 基于YOLO-J的PCB缺陷檢測(cè)算法 [J]. 計(jì)算機(jī)集成制造系統(tǒng), 2022, 28(6): 1-20.

SU J, JIA X Y, HOU W M. YOLO-J based PCB defect detection algorithm [J]. Computer Integrated Manufacturing Systems, 2022, 28(6): 1-20.

[19] 王淑青, 魯濠, 魯東林, 等. 基于輕量化人工神經(jīng)網(wǎng)絡(luò)的PCB板缺陷檢測(cè) [J]. 儀表技術(shù)與傳感器, 2022, 22(5): 98-104.

WANG S Q, LU H, LU D L, et al. PCB board defect detection based on lightweight artificial neural network [J]. Instrument Technique and Sensor, 2022, 22(5): 98-104.

[20] 劉浩翰, 樊一鳴, 賀懷清, 等. 改進(jìn)YOLOv7-tiny的目標(biāo)檢測(cè)輕量化模型 [J]. 計(jì)算機(jī)工程與應(yīng)用, 2023, 59(14): 166-175.

LIU H H, FAN Y M, HE H Q, et al. Improved YOLOv7-tiny’s object detection lightweight model [J]. Computer Engineering and Applications, 2023, 59(14): 166-175.

PCB defect detection algorithm based on improved YOLOv7-tiny

HOU Peiguo, HAN Chaoming, LI Ning, SONG Tao

( Key Laboratory of Measurement Technology and Instrumentation of Hebei Province, Yanshan University, Qinhuangdao, Hebei 066004, China)

Abstract: In response to the issues of low detection efficiency, a large number of parameters, and the complex structure of existing PCB defect detection algorithms, an improved YOLOv7-tiny algorithm is proposed. A multi-scale capture module is designed to enhance the algorithm′s ability to extract image features through multi-scale feature capture, context information fusion, and feature enhancement, addressing the problem of a single pooling operation at the CSPSPP layer masking effective information within the feature map. A global-local gated perception module is introduced, reducing the parameter count of the neck network through selective feature fusion and the combination of local and global information. Experimental results on the DeepPCB dataset show that the improved model achieves a 1.5% increase in accuracy compared to traditional models, with a reduction of 66% in parameters and 20.6% in computational workload, and a 66.3% decrease in model size. The improved algorithm demonstrates high recognition accuracy, a reduced parameter count, and lower computational requirements, providing favorable conditions for fast and accurate identification of PCB defects.

Keywords: PCB surface defect detection; YOLOv7-tiny; multi-scale capture module; global-local gated perception module; lightweight

收稿日期:2023-11-15責(zé)任編輯:王建青

基金項(xiàng)目:河北省自然科學(xué)基金資助項(xiàng)目(F2023203005);河北省教育廳科學(xué)研究資助項(xiàng)目(CXY2024024)

作者簡(jiǎn)介:侯培國(1968-),男,山東臨沂人,博士,教授,博士生導(dǎo)師,主要研究方向?yàn)楣怆姍z測(cè)、智能檢測(cè)、智能儀器研究與設(shè)計(jì),智能交通、物聯(lián)網(wǎng)技術(shù)及應(yīng)用;*通信作者:宋濤(1982-),男,黑龍江齊齊哈爾人,博士,教授級(jí)高級(jí)工程師,主要研究方向?yàn)橛?jì)算機(jī)視覺和虛擬現(xiàn)實(shí)技術(shù),Email:tsong@ysu.edu。

猜你喜歡
輕量化
基于ABAQUS的某輕卡車蓄電池支架輕量化
汽車輕量化集成制造專題主編
2021亞洲汽車輕量化展覽會(huì)
2021亞洲汽車輕量化展覽會(huì)
2021亞洲汽車輕量化展覽會(huì)
四點(diǎn)接觸球轉(zhuǎn)盤軸承的輕量化材料應(yīng)用
哈爾濱軸承(2020年4期)2020-03-17 08:13:52
一種輕量化自卸半掛車結(jié)構(gòu)設(shè)計(jì)
輕量化橋式起重機(jī)小車動(dòng)力學(xué)分析
425輕量化橋軸承座工藝改進(jìn)
瞄準(zhǔn)掛車輕量化 鑼響掛車正式掛牌成立
專用汽車(2016年1期)2016-03-01 04:13:19
达拉特旗| 高青县| 达尔| 乌拉特前旗| 阿合奇县| 阿拉尔市| 苍溪县| 乐山市| 株洲县| 大余县| 东港市| 政和县| 双柏县| 奉贤区| 衡东县| 新宁县| 米泉市| 绵阳市| 平阴县| 内乡县| 天台县| 南和县| 伊吾县| 庄浪县| 丰顺县| 池州市| 寻甸| 邵阳县| 库车县| 平江县| 沈阳市| 剑河县| 静安区| 华阴市| 衡水市| 桃江县| 安岳县| 伽师县| 眉山市| 安丘市| 大余县|