摘要：工業(yè)品表面缺陷檢測的目標在于識別和定位物體表面的異常區(qū)域。然而，在無監(jiān)督異常檢測模型的訓練過程中，若訓練集僅限于正樣本，模型將僅能學習到正樣本的特征表示。而采用異常合成策略能使模型學習到異常特征，從而提升異常區(qū)域的檢測效果。文章提出了一種結合前景預測和異常合成的新方法，該方法中的異常合成包括異常圖像合成和異常特征合成。首先，利用預訓練的神經網絡提取圖像特征，并通過特征適配器對其進行優(yōu)化。其次，引入前景分割網絡，以輔助異常圖像的合成過程。在正常特征的基礎上，通過添加高斯噪聲創(chuàng)建異常特征；再次，將正常圖像的特征、合成的異常圖像特征以及合成的異常特征輸入辨別器中進行訓練。最后，利用前景預測器修正可能被誤分類的區(qū)域，以進一步提升檢測精度。實驗結果顯示，該方法在MVTEC AD數據集上的圖像級與像素級的AUROC（接受者操作特征曲線下面積）分數分別達99.7%與98.8%，表明該方法在工業(yè)品表面缺陷檢測中具有顯著的應用潛力。

關鍵詞：工業(yè)異常檢測；表面缺陷檢測；異常合成；無監(jiān)督學習；深度神經網絡

中圖分類號：TN911；TP391.41" " "文獻標識碼：A" " "文章編號：1674-0688（2024）11-0015-05

0 引言

在現代制造業(yè)中，工業(yè)品表面缺陷檢測對于保障產品質量和可靠性至關重要。隨著自動化和智能制造技術的飛速發(fā)展，對檢測技術的精確性和魯棒性提出了更為嚴格的要求。彭衛(wèi)兵等［1］采用了一種基于深度學習的監(jiān)督學習方法進行鋼橋病害檢測，盡管該方法能實現高精度的識別效果，但是仍面臨傳統(tǒng)監(jiān)督學習方法共有的挑戰(zhàn)：高度依賴大量標注的缺陷樣本。然而，實際生產過程中缺陷發(fā)生頻率低且標注成本高昂，這些因素共同限制了監(jiān)督學習方法在工業(yè)領域的廣泛應用。因此，無監(jiān)督異常檢測技術逐漸成為工業(yè)檢測領域的一個重要解決方案。

目前，工業(yè)品表面缺陷檢測方法主要分為重建方法、嵌入方法和合成方法3類。重建方法通過重建正常樣本并計算重建殘差識別異常；嵌入方法則利用預訓練網絡提取的特征，試圖在特征空間中分離異常樣本與正常樣本；而基于合成的方法通常從正常樣本中合成異常，以引入異常辨別信息，增強檢測模型性能。然而，這些方法普遍存在樣本多樣性不足的問題，由于缺乏足夠多樣化的異常樣本而易導致模型過擬合，無法全面學習潛在異常特征。因此，有效增加樣本多樣性成為提升異常檢測性能的關鍵。為解決樣本多樣性不足的問題，圖像級合成和特征級合成被提出作為有效策略。圖像級合成通過生成新的異常圖像擴展樣本空間，增加訓練數據的多樣性。王丹等［2］針對路面裂縫檢測進行研究，提出了在正常道路表面數據上應用 CutPaste方法生成異常數據，這種簡單的圖像級合成異常方法能夠實現高識別精度。特征級合成則在特征空間中生成合成異常樣本，進一步豐富了樣本的多樣性。毛加平［3］提出的 TrisimpleNet 模型通過在正常樣本的特征空間中添加高斯噪聲來合成異常樣本，同時引入微小擾動以生成偽造的正常特征，這一策略有效提升了缺陷檢測的精度與魯棒性。將這兩種合成方法結合使用，能有效克服現有方法在樣本多樣性方面的不足，進一步提升檢測的精度和魯棒性。

盡管合成方法能增加樣本多樣性，但是現有方法仍易受背景區(qū)域干擾，尤其是在復雜背景下，背景區(qū)域可能被誤判為異常。為解決這一問題，本文引入前景預測技術。前景預測根據輸入圖像預測前景掩碼，使模型能夠聚焦于感興趣區(qū)域，避免背景信息干擾。基于此思路，本文提出一種結合前景預測、圖像級異常合成和特征級異常合成的無監(jiān)督缺陷檢測方法。該方法首先通過圖像級和特征級合成技術增加異常樣本的多樣性，使模型學習更豐富多樣的異常特征；其次利用前景預測生成前景掩碼，排除背景區(qū)域干擾。綜合這些技術，可提升復雜背景下工業(yè)品表面缺陷檢測的精度與魯棒性。

1 研究理論

相關研究指出，重建方法（如AutoEncoder）依賴于對正常樣本的重建殘差來檢測異常。盡管這些方法在理論上能夠識別出與正常樣本不同的異常，但是它們對正常樣本的質量有著高度的依賴性，容易受到偽陽性結果的影響。在復雜環(huán)境中，若重建能力不足，可能會導致較高的錯誤檢測率，從而影響實際應用的可靠性［4］。

嵌入方法則利用預訓練網絡提取特征，試圖在特征空間中實現異常樣本與正常樣本的分離。盡管引入記憶庫和單類分類器能在一定程度上提高檢測性能，但是這些方法仍然依賴于高質量的特征表達。當特征表達不足時，其檢測效果并不理想。此外，這些方法在處理多樣化和復雜背景方面仍存在不足，從而限制了其在實際應用中的有效性。

在合成方法中，圖像級合成方法（如CutPaste ）通過切割和拼接正常樣本中的圖像生成異常樣本，從而擴展訓練數據集。圖像級異常合成方法能夠提供詳細的異常紋理，其在細節(jié)表現上具有一定優(yōu)勢。然而，該方法通常存在樣本多樣性不足的問題，導致生成的異常樣本無法覆蓋實際應用中的廣泛情況。相比之下，特征級合成方法（如SimpleNet［5］ ）通過向正常特征添加高斯噪聲來合成異常，這種方法效率更高，但無法在像素級別實現高精度檢測。

現有方法在處理復雜背景時，往往難以明確區(qū)分前景和背景，導致背景區(qū)域容易被誤判為異常，從而引發(fā)誤報。這是因為背景信息的干擾容易對檢測結果產生不良影響。

2 檢測方法模型構建

2.1 模型框架

本文提出的工業(yè)品表面缺陷檢測方法由特征提取、特征適配、前景分割、異常圖像合成、異常特征合成、鑒別器和前景預測等功能模塊構成。該方法融合了前景預測與異常合成技術，旨在提高無監(jiān)督異常檢測的檢測精度，特別是在僅包含正樣本的情況下。模型整體框架圖見圖1。

2.2 模型訓練方法

在訓練階段，模型主要由異常圖像處理模塊、異常特征處理模塊及普通處理模塊三大核心部分構成，它們共同利用特征提取器、特征適配器及鑒別器進行動作。首先，正常樣本經由一個凍結狀態(tài)的特征提取器和一個可訓練的特征適配器處理，以獲取適用于正常特征的表示，此環(huán)節(jié)構成了普通處理模塊的一部分。其次，在異常特征處理模塊中，對正常特征添加高斯噪聲，以合成異常特征。與此同時，異常圖像處理模塊則采用紋理疊加和前景分割技術，生成局部異常圖像，這些圖像再經過特征提取器和特征適配器處理，以獲得對應的局部異常特征。最后，這3個模塊產生的特征被聯合輸入至鑒別器中，該鑒別器為一個分割網絡，并采用3種損失函數進行端到端的訓練。

此外，利用對象類別的訓練集訓練了一個前景預測器。該預測器首先利用分割網絡生成正常掩碼圖像，然后在其基礎上合成異常掩碼圖像，以正常掩碼圖像和異常掩碼圖像作為訓練數據集，共同訓練一個專門用于前景預測的分割網絡。

在推理階段，測試圖像通過普通處理模塊和前景預測模塊進行處理。普通處理模塊負責生成異常分數圖，而前景預測模塊則負責生成掩碼圖。通過將異常分數圖和掩碼圖進行點乘運算，即可得出最終的測試結果。

2.3 模塊功能

2.3.1 特征提取與特征適配

為了捕捉圖像中的多層次信息，采用了在ImageNet 數據集上預訓練的 WideResNet50 作為骨干網絡進行特征提取。骨干網絡的layer2和layer3的特征被連接在一起，以形成包含細節(jié)與全局結構的多尺度空間信息。在此過程中，骨干網絡始終保持凍結狀態(tài)，僅承擔特征提取的功能。

隨后，提取到的多層次特征通過特征適配器進行進一步處理。特征適配器的功能是將這些特征轉換為更適用于異常檢測的特征表示。在本方法中，特征適配器采用了一個全連接層這一簡單的神經模塊，該模塊能夠有效增強正常特征與異常特征在特征空間中的可區(qū)分度。

2.3.2 前景分割網絡

在工業(yè)品檢測中，缺陷通常集中在物體的前景部分，而背景信息通常對檢測結果不產生實質性影響。為提升檢測精度，本文提出了一種前景分割網絡，該網絡能夠高效地將圖像中的物體從背景中分離出來，特別針對MVTec AD［6］ 數據集中的10個對象類別，能夠生成精確的前景掩碼圖。對于其中的5個紋理類圖像，由于整個圖像均被視為前景，因此不需要進行前景分割處理。

前景分割網絡生成的掩碼圖不僅被用于指導異常圖像的合成過程，還作為前景預測器訓練的重要輸入，能夠有效排除背景區(qū)域異常分數對檢測結果的干擾，從而提升整體的檢測性能。前景分割器效果見圖2。

通過對U-2Net［7］ 分割網絡進行微調，所得到的前景分割器能夠精確地對MVTec AD數據集中10個對象類別進行分割。在訓練階段，憑借U-2Net網絡的高效性能，模型在2080Ti 顯卡上的檢測幀率達到了140 FPS，這證明了引入前景分割器對整體系統(tǒng)性能的影響微乎其微。

2.3.3 異常圖像合成

在工業(yè)應用場景中，異常現象的類型繁多且復雜，數據收集難以覆蓋所有異常類型，這給基于監(jiān)督學習的方法帶來了顯著限制。以往的半監(jiān)督學習方法僅依賴于正常樣本，忽略了非正常樣本的對比信息，從而限制了模型對正常模式的有效學習?；?（Dream-textures）［8］ 方法，本文提出了一種更高效的異常圖像合成策略。異常圖像合成流程見圖3。

異常圖像合成的具體步驟如下。

（1）生成二維Perlin噪聲P，并通過二值化處理得到掩碼Mp。然而，對于對象類圖像，由于主體僅占圖像的一部分，直接使用二值化后的掩碼進行異常合成可能會在背景區(qū)域引入噪聲，從而增大合成異常樣本與真實異常樣本之間的分布差異，影響模型學習有效的判別信息。因此，可利用前景分割器對輸入圖像生成精確的前景掩碼M1，并在此基礎上向外擴展5個像素，生成更為寬泛的掩碼M2。這種設計旨在使模型既能有效學習前景區(qū)域的異常特征，又能捕捉前景周圍的異常信息。最終掩碼M通過這兩個掩碼進行逐元素乘積運算獲得。

（2）將掩碼M與來自DTD［9］ 紋理數據集的噪聲圖像[In]進行逐元素乘積運算，得到感興趣區(qū)域（ROI）。在此過程中，引入透明度因子以平衡原始圖像和噪聲圖像的融合程度，使合成的異常更接近真實異常。生成的噪聲前景圖像通過以下公式計算：

（3）通過反轉掩碼M并與原始圖像I進行元素乘積運算，再加上經過掩碼處理的噪聲前景圖像，得到數據增強圖像[Ia]，即最終的合成異常圖像。合成異常圖像通過以下公式計算：

相比傳統(tǒng)方法，本文方法在異常圖像合成方面實現了以下兩點關鍵性提升。

（1）提高掩碼精度。傳統(tǒng)方法采用二值化處理生成前景掩碼，存在精度不足的問題。為改善此狀況，本文引入預訓練的U-2Net分割網絡，并針對MVTec AD 數據集中的10個對象類別訓練集進行微調，從而生成了更精確的前景掩碼。這一改進使模型在處理復雜背景（例如晶體管和電纜圖像）時，能更有效地提取正常樣本的代表性模式，進而提升異常樣本生成的質量。

（2）模擬“增長”類異常。傳統(tǒng)方法通常僅在前景區(qū)域內生成異常樣本，忽略了異?？赡軘U展至背景的情況。為此，本文在獲得精確前景掩碼后，對其進行像素擴展處理，生成了膨脹的前景掩碼。該膨脹掩碼不僅覆蓋了前景區(qū)域，而且還包含了其周圍一小段區(qū)域。這一策略增強了模型對“增長”類異常的識別能力，使合成的異常圖像更貼近實際情況。隨后，將噪聲圖像添加至膨脹的前景掩碼所覆蓋的區(qū)域，從而生成了更豐富的異常圖像。

通過上述改進，本文在現有方法的基礎上生成了更具全面性的異常樣本，有效縮小了合成異常與真實異常樣本之間的差異，從而進一步提升了模型的學習效果和魯棒性。

2.3.4 異常特征生成

已有研究表明，合成異常特征是一種有效的方法。本模型采用了SimpleNet中的異常特征生成策略，通過在特征中簡單添加高斯噪聲來模擬異常特征，以此引導鑒別器學習正常特征與異常特征之間的差異。需要注意的是，異常特征生成器僅使用在訓練階段。

2.3.5 辨別器

鑒別器網絡的功能在于區(qū)分正常特征與異常特征。在訓練階段，鑒別器通過不斷優(yōu)化判別損失函數，旨在最大化正常和異常特征之間的差異。具體而言，訓練過程中，正常特征被視為正樣本，而合成的異常特征以及異常圖像中異常區(qū)域的特征則被視為負樣本。通過這一學習過程，鑒別器逐步提升了其異常檢測的準確性。

2.3.6 前景預測器

由于模型能夠識別大至小范圍的缺陷，因此不可避免地會將背景中的缺陷也視為異常。為減小背景異常的干擾，可考慮采用分割網絡區(qū)分前景和背景。然而，這也帶來了一個新的問題：某些類型的缺陷（如缺失類缺陷）可能會被前景分割網絡錯誤地歸類為背景區(qū)域。由于該方法忽略了背景中的異常信息，可能會導致缺陷區(qū)域被漏檢，從而影響檢測精度。為解決這一問題，可引入前景預測網絡。前景預測網絡利用數據增強技術，模擬出不同大小、形狀和位置的異常區(qū)域，從而生成更多樣化的異常樣本。在訓練階段，僅使用MVTec AD數據集中的10個對象類別的訓練集訓練前景預測器。異常掩碼圖的生成方法與本文提出的異常圖像合成方法類似。通過將正常掩碼圖和模擬的異常掩碼圖一同輸入網絡，前景預測器能夠學習并補償那些被遺漏的異常區(qū)域，進而提升整體的檢測精度。

前景預測器效果見圖4。需要強調的是，前景預測器的目標并非精確地分割出前景掩碼，而是根據測試圖像估測物體在正常狀態(tài)下所占的區(qū)域，以確保不會遺漏因缺失而導致的異常區(qū)域。

3 實驗過程與結果

3.1 數據集和評估指標

本文采用MVTec AD數據集進行實驗，該數據集專為工業(yè)品表面缺陷檢測設計，包含5 354張圖像，涵蓋15個子數據集，其中分為5個紋理子類別和10個對象子類別。每個類別包含60～400張正常樣本用于訓練，測試集則由正常圖像和各類真實異常圖像混合組成，這些異常圖像具有多樣化的紋理和規(guī)模。

在評估圖像表面缺陷檢測性能時，本文采用圖像級和像素級的 AUROC作為主要評估指標。

3.2 實驗設置與實現細節(jié)

本文采用在ImageNet上預訓練的WideResNet50作為骨干網絡，融合了layer2和layer3的特征，并將鄰域大小p設置為3。輸入圖像經過縮放和裁剪，調整為288×288像素的尺寸。在異常特征生成器中，添加的高斯噪聲參數設置為[∈]～N（0，0.015）。在訓練過程中，采用Adam優(yōu)化器，初始學習率設定為0.001，批量大小為8，同時使用二元交叉熵與焦點損失函數作為訓練目標函數。為防止過擬合，實施了早停策略，以確保模型的泛化能力。所有實驗均在RTX 2080 Ti GPU上執(zhí)行。

3.3 實驗結果

將本文方法與其他方法進行對比，結果表明，本文方法在多數現有方法中表現出更優(yōu)越的性能，驗證了其有效性。不同方法在MVTec AD數據集上的性能對比見表1，本文方法在15個類別中的5個類別上實現了100%的圖像級AUROC（Receiver Operating Characteristic Curve），并且在圖像級和像素級的AUROC總平均分數分別達到了99.7%和98.8%。

本文對 MVTec AD 數據集進行了定性實驗，驗證了本文方法在異常分割方面的準確性。圖5展示了MVTec AD數據集上像素級異常分割的定性可視化效果，表明本文方法具有更精確的異常分割能力和排除背景干擾的效果。具體而言，相較于單一方法，結合異常特征合成和異常圖像合成的方法表現出了更高的有效性，而前景預測器的加入則進一步提升了像素級 AUROC異常定位的性能。

4 結語

本文提出了一種結合前景預測與異常合成的工業(yè)品表面缺陷檢測方法，旨在解決無監(jiān)督學習環(huán)境下樣本稀缺的問題。該方法通過引入前景預測網絡和異常合成策略，有效生成了多樣化的異常樣本，提升了模型對異常區(qū)域的檢測能力。實驗結果顯示，在MVTec AD數據集上，本文方法在圖像級和像素級的AUROC平均分數分別達到了99.7%和98.8%，充分證明了其在工業(yè)品缺陷檢測中的有效性和應用潛力。與現有方法相比，本研究的創(chuàng)新之處在于利用前景預測器修正錯誤分類區(qū)域，從而進一步提高了檢測精度，同時采用了多種異常合成策略，以增強樣本的多樣性。未來的研究方向將聚焦于將此方法推廣至更多的實際應用場景，并進一步優(yōu)化模型結構以提升實時檢測性能。同時，鑒于不同工業(yè)環(huán)境中背景的復雜性，研究將更加注重增強模型對背景干擾的魯棒性，以確保其具備更廣泛的適用性和可靠性。

5 參考文獻

［1］彭衛(wèi)兵，張明見，全柳萌，等.基于改進Mask R-CNN的鋼橋多病害智能識別［J］.中國公路學報，2024，37（2）：100-109.

［2］王丹，鐘亮潔.基于異常數據生成和自監(jiān)督學習的路面裂縫檢測［J］.肇慶學院學報，2024，45（5）：6-13.

［3］毛加平.TrisimpleNet：基于三元損失和特征合成的缺陷檢測網絡［J］.應用數學進展，2024，13（5）：2323-2330.

［4］ZHANG X，LI S，LI X，et al.DeSTSeg：Segmentation Guided Denoising Student-Teacher for Anomaly Detection［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Vancouver，BC，Canada，2023.IEEE，2023：3914-3923.DOI：10.1109/CVPR52729.2023.00381.

［5］LIU Z，ZHOU Y，XU Y，et al.SimpleNet：A Simple Network for Image Anomaly Detection and Localization［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Vancouver，BC，Canada，2023.IEEE，2023：20402-20411.DOI：10.1109/CVPR52729.2023.

01954.

［6］BERGMANN P，FAUSER M，SATTLEGGER D，et al.MVTec AD—A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection［C］//2019IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach，CA，USA，2019.IEEE，2019：9584-9592.DOI：10.1109/CVPR.2019.00982.

［7］QIN X，ZHANG Z，HUANG C，et al.U2-Net：Going deeper with nested U-structure for salient object detection［J］.Pattern recognition，2020，106：107404.

［8］ZAVRTANIK V，KRISTAN M，Sko?aj D.DR?M-A discriminatively trained reconstruction embedding for surface anomaly detection［C］ //2021 IEEE/CVF International Conference on Computer Vision（ICCV）.Montreal，QC，Canada，2021.IEEE，2021：8310-8319.DOI：10.1109/ICCV48922.2021." "00822.

［9］Cimpoi M，Maji S，Kokkinos I，et al.Describing Textures in the Wild［C］ //2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Columbus，OH，USA，2014.IEEE，2014：3606-3613.DOI：10.1109/CVPR，" "2014.461.