柴 利，任 磊，顧 錁，陳佳鑫，黃 博，葉 琦，曹 瑋

(1.浙江大學(xué) 控制科學(xué)與工程學(xué)院，浙江 杭州 310027； 2.北京航空航天大學(xué) 自動化科學(xué)與電氣工程學(xué)院，北京 100191; 3.北京工業(yè)大學(xué) 信息學(xué)部，北京 100124； 4.北京航空航天大學(xué) 計算機(jī)學(xué)院，北京 100191; 5.西北工業(yè)大學(xué) 機(jī)電學(xué)院，陜西 西安 710072; 6.上海市航空發(fā)動機(jī)數(shù)字孿生重點(diǎn)實(shí)驗(yàn)室,上海 200241； 7.中國航發(fā)商用航空發(fā)動機(jī)有限責(zé)任公司，上海 200241)

0 引言

基于視覺感知的無接觸自動表面缺陷檢測對控制和提高產(chǎn)品表面質(zhì)量具有不可比擬的優(yōu)勢，在玻璃、半導(dǎo)體芯片、鋼鐵工業(yè)、機(jī)械加工、汽車工業(yè)、瓷磚等行業(yè)的應(yīng)用越來越廣泛[1-4]，是未來工業(yè)制造業(yè)實(shí)現(xiàn)完全自動化、智能化和無人化不可或缺的組成部分。工業(yè)產(chǎn)品表面缺陷智能檢測系統(tǒng)的性能主要取決于3方面的關(guān)鍵技術(shù)：產(chǎn)品表面圖像的快速精準(zhǔn)采集、基于圖像的表面缺陷智能檢測方法，以及缺陷特征的綜合定量評價。本文將介紹相關(guān)的研究進(jìn)展，重點(diǎn)闡述圖像處理和深度學(xué)習(xí)領(lǐng)域的最新技術(shù)，并提出面臨的主要挑戰(zhàn)以及可能的解決思路。

與計算機(jī)和智能自動化領(lǐng)域的大部分應(yīng)用系統(tǒng)類似，基于視覺感知的表面缺陷智能檢測系統(tǒng)可以分為硬件系統(tǒng)和軟件系統(tǒng)兩部分。硬件系統(tǒng)的主要功能是采集獲取圖像，包括光源、工業(yè)攝像機(jī)與鏡頭等成像裝置、圖像視頻傳輸、存儲裝置、計算機(jī)等；軟件系統(tǒng)的主要功能是圖像處理算法、缺陷檢測與識別、數(shù)據(jù)管理存儲等。

國外成熟機(jī)器視覺工業(yè)檢測軟件產(chǎn)品包括HALCON、HexSight、LEADTOOLS、BANNER iVu等。HALCON是一款應(yīng)用廣泛的機(jī)器視覺商業(yè)化軟件[1-2]，包含多種典型的機(jī)器視覺算法，其中的圖像處理庫支持多種編程語言。同時，HALCON也提供了幾乎所有主流工業(yè)相機(jī)和圖像采集卡的接口。在不同行業(yè)不同的應(yīng)用中，硬件系統(tǒng)差異很大，需要根據(jù)具體應(yīng)用需求選擇配置光源、工業(yè)相機(jī)，以及圖像視頻采集卡、計算機(jī)等設(shè)備。成像環(huán)節(jié)非常重要，其結(jié)果直接決定了后續(xù)缺陷檢測問題的難度、檢測準(zhǔn)確率和檢測系統(tǒng)的整體性能。

1 表面圖像采集與預(yù)處理

表面缺陷檢測系統(tǒng)中的圖像采集一般采用工業(yè)相機(jī)[3-4]，圖像采集模塊的性能直接決定了整個系統(tǒng)的檢測精度和運(yùn)行效率。實(shí)際應(yīng)用中需根據(jù)不同應(yīng)用場景來選擇和設(shè)計圖像采集模塊，考慮的主要因素包括圖像尺寸、分辨率、幀率、焦距、視場、景深以及接口等。圖像采集模塊設(shè)計考慮的另一個重要因素是光源配置與光照補(bǔ)償設(shè)計，光源有LED光源、鹵素?zé)?、激光燈、熒光燈等多種類型。光照補(bǔ)償設(shè)計涉及幾何光學(xué)、材料光學(xué)、函數(shù)優(yōu)化等理論，其設(shè)計目標(biāo)是盡可能地突出缺陷特征，同時抑制噪聲干擾及復(fù)雜的背景特征?，F(xiàn)有補(bǔ)償方法包括同軸光照補(bǔ)償、背景光照補(bǔ)償、前景光照補(bǔ)償?shù)?。在某些特定場景的缺陷，可以考慮設(shè)計特殊光譜的成像補(bǔ)償。

圖像采集后應(yīng)經(jīng)過預(yù)處理過程，預(yù)處理主要是去噪與濾波、圖像增強(qiáng)。噪聲與原始圖像的疊加會干擾人們理解圖像信息，導(dǎo)致原始圖像細(xì)節(jié)部分的缺失，進(jìn)而影響后續(xù)圖像處理的結(jié)果。圖像去噪與濾波是圖像處理領(lǐng)域中的基本問題之一，很多傳統(tǒng)成熟的算法已進(jìn)入本科生教材。圖像去噪與濾波的目標(biāo)是：利用合適的算法去除圖像噪聲，盡可能地將圖像中重要的結(jié)構(gòu)特征與細(xì)節(jié)保留下來，得到較高質(zhì)量的復(fù)原圖像[5]。

工業(yè)產(chǎn)品的表面缺陷在圖像中常常表現(xiàn)為邊緣特征，邊緣特征是高頻特征的一部分，傳統(tǒng)的低通濾波器在消除噪聲和濾波過程中，將圖像邊信息(線條)平滑了。與傳統(tǒng)圖像去噪要求不同，保邊(Edge-preserving)性能是衡量現(xiàn)代圖像去噪與濾波算法的重要指標(biāo)。同樣的，產(chǎn)品表面圖像增強(qiáng)的目標(biāo)也變?yōu)槿毕萏卣鞯脑鰪?qiáng)，這與以提高圖像的人眼視覺效果為目標(biāo)的傳統(tǒng)圖像增強(qiáng)算法有很大不同。

1.1 圖像去噪與濾波

近10年來，研究者提出了很多具有良好保邊性能的現(xiàn)代圖像去噪及濾波方法。學(xué)者們發(fā)現(xiàn)，通過非局部和半局部的圖來建立圖像像素之間的聯(lián)系，不僅可以考慮圖像中的像素位置依賴關(guān)系，還可以處理圖像中不同像素的噪聲特性。文獻(xiàn)[5]率先提出了圖譜濾波器設(shè)計的統(tǒng)一框架，這種框架包含了非局部均值(Non-Local Means, NLM)、三維塊匹配(Block-Matching and 3D filtering, BM3D)、雙邊濾波(bilateral filtering)等眾多常用的圖像去噪和濾波算法[5-6]。BUADES等[7]通過對圖像中冗余信息的充分利用，提出了針對自然圖像加性白噪聲的NLM去噪算法，使圖像在去噪過程中,其細(xì)節(jié)特征得到最大程度的保留。NLM算法的去噪性能優(yōu)于很多經(jīng)典的圖像去噪算法，該算法的主要思想是：當(dāng)前像素點(diǎn)的灰度值通過圖像中與它結(jié)構(gòu)相似的像素點(diǎn)的灰度值加權(quán)平均所得。由于在處理每一個像素點(diǎn)時，都需要計算它與圖像中所有像素點(diǎn)的相似度，NLM算法實(shí)現(xiàn)的計算量很大。后來，DABOV等[8]提出一種基于塊匹配的三維變換域?yàn)V波方法——三維塊匹配(BM3D)算法。BM3D算法首先對圖像進(jìn)行分塊處理，然后在整幅圖像中對每個參考塊進(jìn)行相似塊搜索。根據(jù)塊與塊之間的相似性程度，將塊匹配組合成具有很高相關(guān)性的三維矩陣，通過三維酉變換可以有效降低數(shù)據(jù)的相關(guān)性。三維塊匹配算法將空間域和變換域的方法結(jié)合起來，同時引進(jìn)非局部均值的思想，通過三維聯(lián)合濾波，不僅有效地抑制了噪聲信號，還較好地保留了圖像的邊緣細(xì)節(jié)與結(jié)構(gòu)信息。

在傳統(tǒng)的圖像頻域分析中，雙邊濾波器是不能進(jìn)行譜濾波的，文獻(xiàn)[9]將雙邊濾波器模擬成一個圖結(jié)構(gòu)，將像素點(diǎn)當(dāng)成節(jié)點(diǎn)，節(jié)點(diǎn)的亮度值作為信號值，濾波系數(shù)作為邊的權(quán)重值。該論文定義了基于這類圖結(jié)構(gòu)的譜濾波器，濾波響應(yīng)值可通過相應(yīng)Laplacian矩陣的特征值和特征向量計算得出。為了增強(qiáng)平滑效果，ONUKI等[10]提出了三邊濾波方法，該方法先對圖像的梯度進(jìn)行平滑，然后利用平滑后的梯度對圖像進(jìn)行平滑，同時引入圖譜域的參數(shù)優(yōu)化方法，使去噪后的均方誤差最小。

各地智慧城市建設(shè)往往缺少頂層設(shè)計或者在頂層設(shè)計中側(cè)重考慮應(yīng)用建設(shè)、投融資方式等方面的問題，導(dǎo)致項(xiàng)目之間缺乏有機(jī)聯(lián)系，更缺乏對政府間部門協(xié)同、職能改革、機(jī)制創(chuàng)新等方面的考量。最終的建設(shè)成果違背了智慧城市的建設(shè)初衷，出現(xiàn)新的信息化煙囪，新的碎片化數(shù)據(jù)，簡單的完成了信息化建設(shè)，但造成了新的矛盾，降低了智慧城市建設(shè)的效率和效益。

經(jīng)過數(shù)年的發(fā)展，現(xiàn)在已有很多基于圖的圖像去噪和濾波方法[5-6,11-14]。KHERADMAND等[5]通過共軛梯度法將觀測圖像投影到圖Laplacian的低維Krylov子空間來進(jìn)行圖像去噪，得到了與Chebyshev逼近多項(xiàng)式同階次的快速圖像濾波性能。TALEBI 等[11]引入基于NLM的圖譜濾波器和隨機(jī)游走圖Laplacian矩陣，圖譜濾波器能夠?qū)D像的先驗(yàn)信息(例如邊緣、紋理和顯著性)視為一個圖，而將期望的信息視為圖譜響應(yīng)。通過設(shè)計合適的圖結(jié)構(gòu)以及相應(yīng)的圖譜濾波器，以獲得期望的圖像濾波效果。文獻(xiàn)[12-14]提出了各種圖像處理任務(wù)的圖譜濾波器的設(shè)計方法。

在圖信號的維納濾波器研究方面，PERRAUDIN等[15]首先定義了圖信號的廣義平穩(wěn)性(Wide Sense Stationary, WSS)概念，然后估計功率譜密度(Power Spectral Density, PSD)，從而得到最小化均方誤差(Mean Square Error, MSE)意義下的圖維納濾波器。與在圖譜域中執(zhí)行計算圖維納濾波器不同，文獻(xiàn)[16-17]分別提出了基于Chebyshev多項(xiàng)式逼近和基于Lanczos方法的快速計算方法，以上方法可以在頂點(diǎn)域中通過局部運(yùn)算執(zhí)行。文獻(xiàn)[18]將圖信號處理理論應(yīng)用于正電子發(fā)射(Positron Emission Tomography, PET)圖像去噪，設(shè)計了一種低通圖譜濾波器，對噪聲PET圖像在圖Fourier域進(jìn)行低通濾波，最后得到的去噪PET圖像質(zhì)量相比于高斯濾波器和NLM都有所提高。圖濾波方法雖然對于PET圖像具有較好的去噪性能，但其計算速度仍需加快，并且性能可以進(jìn)一步提高。

保邊性能是衡量現(xiàn)代圖像去噪與濾波算法的重要指標(biāo)，邊緣特征也是高頻特征的一部分，傳統(tǒng)的低通濾波器在消除噪聲和濾波過程中，將圖像邊信息(線條)平滑了。如何既保留邊的信息又濾除噪聲，是一個難點(diǎn)問題。圖譜濾波器的優(yōu)勢之一是能夠很好地區(qū)分邊特征與噪聲特征。針對工業(yè)表面缺陷在圖像中常常表現(xiàn)為線條或者邊線特征，研究如何設(shè)計具有高效保邊性能的圖譜濾波器具有重要的意義。

圖譜濾波器依賴于圖結(jié)構(gòu)，不同圖像的圖結(jié)構(gòu)不同，這樣在一類圖像上的圖譜濾波器不能直接應(yīng)用于其他圖像，因?yàn)閳D譜濾波器性能依賴于不同的空間頻域。需要研究圖像空間頻域的泛化問題，提出新的體系結(jié)構(gòu)。另一方面，空間頻域允許在不同的頻域進(jìn)行泛化，但是在圖頂點(diǎn)域上構(gòu)造低維局部濾波器相當(dāng)困難，需要研究在一般圖像上構(gòu)造各向異性擴(kuò)散網(wǎng)絡(luò)的圖譜濾波器。

高清圖像的像素點(diǎn)數(shù)量巨大，構(gòu)造圖譜濾波器時，圖鄰接矩陣元素為像素點(diǎn)之間的相似度。在處理每一個像素點(diǎn)時，都需要計算它與圖像中所有像素點(diǎn)的相似度，計算量巨大。算法的快速實(shí)現(xiàn)和性能分析一直是重點(diǎn)研究問題之一。

1.2 圖像增強(qiáng)

與圖像去噪和濾波的目的類似，傳統(tǒng)圖像增強(qiáng)的主要目的也是提高圖像的質(zhì)量。對表面缺陷檢測的應(yīng)用來說，圖像增強(qiáng)的目的是增大圖像中缺陷特征與其他信息的對比度，為后續(xù)的缺陷特征提取、缺陷檢測和識別提供方便。

GU等[19]采用在圖像質(zhì)量評價模型指導(dǎo)下逐步修正直方圖、依次校正對比度和亮度到合適水平的策略，構(gòu)建了基于大數(shù)據(jù)無監(jiān)督學(xué)習(xí)的圖像對比度客觀評估模型，實(shí)現(xiàn)了對自然圖像、低對比度圖像、低光照圖像、去霧圖像、水下圖像等的魯棒增強(qiáng)。文獻(xiàn)[20]公開了自制的大型專用對比度變化圖像數(shù)據(jù)庫，融合相位一致性和直方圖統(tǒng)計特性，提出了一種分析對比度變化的半?yún)⒖紙D像質(zhì)量度量模型，同時結(jié)合主客觀評估方法，尋找出了基于該模型的最優(yōu)直方圖映射，能實(shí)現(xiàn)自動增強(qiáng)圖像對比度的功能。為了克服過增強(qiáng)和欠增強(qiáng)圖像引入的噪聲、偽影和視覺注意力區(qū)域改變等問題，文獻(xiàn)[21]利用測量顯著性變化輔助生成更好的增強(qiáng)圖像，設(shè)計直方圖修正框架和自動參數(shù)選擇器，獲得了具有自適應(yīng)增強(qiáng)對比度功能的模型。

2 表面缺陷智能檢測

表面缺陷智能檢測一般分為兩個步驟:首先通過圖像分析方法將圖像信息映射到特征空間，然后在特征空間應(yīng)用各類機(jī)器學(xué)習(xí)(深度學(xué)習(xí))方法實(shí)現(xiàn)缺陷檢測與識別。常用的圖像特征有紋理特征、顏色特征、形狀特征等。當(dāng)然，若有足夠多的樣本圖像，也可以直接利用各種學(xué)習(xí)網(wǎng)絡(luò)來實(shí)現(xiàn)表面缺陷檢測。在大部分工業(yè)應(yīng)用中，缺乏足夠的表面缺陷樣本圖像來訓(xùn)練網(wǎng)絡(luò)。因此，圖像的特征提取具有重要意義。

2.1 表面缺陷圖像的特征提取

圖像的特征提取可視為高維圖像空間到低維特征空間的映射，其目標(biāo)是得到具有較小的類內(nèi)聚散度和較大類間聚散度的子空間[1]。表面缺陷圖像主要特征包括形狀特征、顏色特征，紋理特征等。形狀特征具有一定的穩(wěn)定性，一般不受光照亮度的影響，包括幾何特征、拓?fù)浣Y(jié)構(gòu)特征和輪廓特征等。顏色特征是一種基本的視覺特征，對圖像的旋轉(zhuǎn)、平移和尺度變換都不敏感，主要的顏色模型有RGB、HSV、HIS等。圖像紋理特征能反映表面結(jié)構(gòu)排列和像素相互間聯(lián)系的信息，不依賴于圖像的顏色和亮度，通常具有旋轉(zhuǎn)不變性，是圖像的一種重要特征，在目標(biāo)檢測中有廣泛的應(yīng)用。紋理特征提取是圖像分析的一個重要研究問題，學(xué)者們提出了很多有效方法，主要包括統(tǒng)計法、信號處理法、基于模型的方法、結(jié)構(gòu)法和幾何法等。詳見文獻(xiàn)[1]的介紹。

2.2 幾何深度學(xué)習(xí)(Geometric deep learning)

深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層來表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。從數(shù)學(xué)上理解，深度人工神經(jīng)網(wǎng)絡(luò)本質(zhì)上是表達(dá)不同維數(shù)空間之間的一個映射(函數(shù))。給定訓(xùn)練樣本點(diǎn)后，通過調(diào)整網(wǎng)絡(luò)的參數(shù)權(quán)重系數(shù)，不斷極小化損失函數(shù)，從而得到最好擬合效果的擬合函數(shù)。然而，這個擬合過程只極小化了逐點(diǎn)誤差或累積逐點(diǎn)誤差，而沒有考慮點(diǎn)與周圍點(diǎn)之間的其他信息(如鄰域幾何結(jié)構(gòu)、局部幾何度量、整體拓?fù)浣Y(jié)構(gòu)等)。當(dāng)研究對象是底層結(jié)構(gòu)為非歐空間的數(shù)據(jù)，如圖和流形時，若考慮點(diǎn)之間的幾何與拓?fù)湫畔?，則深度人工神經(jīng)網(wǎng)絡(luò)就無能為力。

深度神經(jīng)網(wǎng)絡(luò)借助卷積架構(gòu)來利用數(shù)據(jù)的統(tǒng)計特性，從而能成功處理底層為歐氏結(jié)構(gòu)或網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)。然而，非歐數(shù)據(jù)沒有全局參數(shù)化、坐標(biāo)系統(tǒng)、向量空間結(jié)構(gòu)等屬性。因此，歐氏空間上的卷積運(yùn)算在非歐空間上沒有很好的定義。2017年，BRONSTEIN等[22]系統(tǒng)介紹了幾何深度學(xué)習(xí)這一研究領(lǐng)域，將卷積神經(jīng)網(wǎng)絡(luò)推廣到非歐數(shù)據(jù)。該文獻(xiàn)[22]明確指出：幾何深度學(xué)習(xí)處理兩類問題：第一類問題是描述數(shù)據(jù)的結(jié)構(gòu)，第二類問題是分析定義在非歐空間的函數(shù)。借助幾何深度學(xué)習(xí)可以描述表面圖像的拓?fù)浣Y(jié)構(gòu)，然后學(xué)習(xí)刻畫缺陷特征從而實(shí)現(xiàn)表面缺陷的檢測與識別。

在流形數(shù)據(jù)結(jié)構(gòu)的描述問題中，假設(shè)數(shù)據(jù)是均勻采樣于一個高維歐氏空間中的低維流形，流形學(xué)習(xí)(manifold learning)就是從高維采樣數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應(yīng)的嵌入映射，以實(shí)現(xiàn)維數(shù)約簡或者數(shù)據(jù)可視化[23]。流形學(xué)習(xí)是從觀測到的現(xiàn)象中尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律，自2000年在著名的科學(xué)雜志《Science》發(fā)表以來[24]，已成為信息科學(xué)領(lǐng)域的研究熱點(diǎn)。流形學(xué)習(xí)方法包括兩個步驟：首先構(gòu)造數(shù)據(jù)點(diǎn)的局部關(guān)聯(lián)表示，通常是稀疏連接圖；其次，將數(shù)據(jù)點(diǎn)嵌入到低維空間中，并試圖保留點(diǎn)之間的原始關(guān)聯(lián)性。

目前基于流形的降維算法包括：局部線性嵌入(Locally Linear Embedding, LLE)[24]、多維尺度變換(Multi-Dimensional Scaling, MDS)[25]、隨機(jī)鄰居嵌入(t-SNE)[26]、譜嵌入[27](拉普拉斯特征映射、擴(kuò)散映射)等。MDS類型的方法希望保持?jǐn)?shù)據(jù)在低維空間的映射之后能夠保持流形上的測地線距離，即全局的幾何結(jié)構(gòu);LLE方法保持每個樣本點(diǎn)與它相鄰的多個點(diǎn)的線性組合(體現(xiàn)了樣本的局部線性特征)來重構(gòu)低維空間的點(diǎn)的分布，相當(dāng)于用分段的線性面片近似代替復(fù)雜的幾何形狀，樣本投影到低維空間保持這種線性重構(gòu)關(guān)系;譜嵌入傾向于將具有許多連接的點(diǎn)映射到附近的位置。

典型的流形學(xué)習(xí)是無監(jiān)督的,它從數(shù)據(jù)本身學(xué)習(xí)數(shù)據(jù)的高維結(jié)構(gòu)，而不使用預(yù)定的分類。函數(shù)逼近思想來源于傳統(tǒng)的機(jī)器學(xué)習(xí)問題，是一種有監(jiān)督學(xué)習(xí)方法。采用機(jī)器學(xué)習(xí)中的有監(jiān)督訓(xùn)練方式來更新函數(shù)的固有參數(shù)，從而得到訓(xùn)練變量間的映射關(guān)系。文獻(xiàn)[28]研究了組合圖上的函數(shù)抽樣和逼近問題。利用組合拉普拉斯算子生成的算子薛定諤群對圖進(jìn)行濾波。通過圖上函數(shù)的Poincare和Plancherel-Polya型不等式構(gòu)造了抽樣理論。對于流形上的值函數(shù)逼近問題，由于高維數(shù)據(jù)空間中數(shù)據(jù)的稀疏性以及神經(jīng)元“接受域”對數(shù)據(jù)空間的良好覆蓋約束，利用神經(jīng)網(wǎng)絡(luò)逼近高維非線性函數(shù)是一個經(jīng)典難題。然而，若高維數(shù)據(jù)通常聚集在低維支持流形附近，則考慮目標(biāo)函數(shù)的低維逼近會比高維逼近更精確。文獻(xiàn)[29]采用局部線性嵌入方法尋找到數(shù)據(jù)點(diǎn)到低維空間(對應(yīng)于流形)的映射，并基于變換后數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)來逼近函數(shù)，發(fā)現(xiàn)比基于原始數(shù)據(jù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)具有更好的函數(shù)逼近性能。文獻(xiàn)[30]提出了一種基于流形移動最小二乘(Manifold Moving Least-Squares，MMLS)算法來逼近定義在流形上的函數(shù)，該算法不需要除了流形維數(shù)信息以外的其他先驗(yàn)知識，另外，該算法在定義域和值域上都具有很好的抗噪性能。該算法對于環(huán)境空間的維數(shù)在時間上是線性的。因此，在環(huán)境空間維數(shù)非常大的情況下，可以避免維數(shù)的詛咒，而不需要進(jìn)行非線性降維，不會給流形帶來失真。對于流形結(jié)構(gòu)信號，從訓(xùn)練樣本數(shù)據(jù)出發(fā)，將流形上的深度學(xué)習(xí)與函數(shù)逼近理論相結(jié)合，建立低維流形到高維信號空間的映射表示。

2.3 基于深度學(xué)習(xí)的目標(biāo)檢測

深度學(xué)習(xí)在目標(biāo)檢測與識別方面取得了較大發(fā)展，新的成果層出不窮[2]。基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測性能依賴于網(wǎng)絡(luò)結(jié)構(gòu)的深度，一般來說，網(wǎng)絡(luò)層次越多，目標(biāo)檢測效果越好。但是深度網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，算法計算量巨大，不適用于工業(yè)應(yīng)用中的表面缺陷檢測。而輕量級學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的檢測準(zhǔn)確率和魯棒性相對較差。文獻(xiàn)[31]利用人類視覺感受野的概念將感受野大小和偏心率關(guān)聯(lián)，建立了感受野塊的網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)了輕網(wǎng)絡(luò)結(jié)構(gòu)的檢測準(zhǔn)確率和魯棒性，有望應(yīng)用于工業(yè)產(chǎn)品表面缺陷檢測。

實(shí)際應(yīng)用中具有表面缺陷的圖像樣本很少，絕大多數(shù)的表面圖像是正常的，因而基于機(jī)器視覺的表面缺陷檢測是典型的小樣本學(xué)習(xí)問題。小樣本學(xué)習(xí)既是機(jī)器學(xué)習(xí)中一個重要的研究方向，也具有非常廣闊的應(yīng)用前景?；谏疃葘W(xué)習(xí)傳統(tǒng)目標(biāo)檢測方法需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。這面臨著兩方面困難：①獲取大量高質(zhì)量標(biāo)注數(shù)據(jù)成本很高；②一些工業(yè)應(yīng)用中缺陷圖像很少，難以得到缺陷圖像樣本。尺度不變性對于少樣本情況下的目標(biāo)檢測性能的影響很大。少樣本目標(biāo)檢測中的尺度分布是不平衡的，一般而言，少樣本情況下目標(biāo)尺度分布比大樣本情況下的分布發(fā)散的多，少樣本目標(biāo)檢測精度和魯棒性都較差。文獻(xiàn)[32]提出一種多尺度正樣本增強(qiáng)策略，通過引入一個增強(qiáng)分支到Faster RCNN框架來提升少樣本目標(biāo)檢測效果。

文獻(xiàn)[33]研究了領(lǐng)域自適應(yīng)學(xué)習(xí)問題，提出了一種兩階段跨域目標(biāo)檢測的由粗到細(xì)自適應(yīng)方法，利用復(fù)雜的檢測模型逐步對深度特征進(jìn)行精準(zhǔn)匹配。文獻(xiàn)[34]提出一種基于熵的主動學(xué)習(xí)目標(biāo)檢測方法。多模態(tài)融合檢測可以提高檢測精度，ZHANG等[35]提出一種有效的多模態(tài)目標(biāo)檢測數(shù)據(jù)對比增強(qiáng)方法，通過Pointformer、Imageformer和交叉模態(tài)Transformer模塊聯(lián)合，實(shí)現(xiàn)多模態(tài)信息的充分挖掘。文獻(xiàn)[36]提出一種兩階段的三維點(diǎn)云目標(biāo)檢測方法，通過設(shè)計點(diǎn)云補(bǔ)全模塊和圖神經(jīng)網(wǎng)絡(luò)模塊，顯著提高了檢測性能。

3 工業(yè)圖像檢測與識別的典型應(yīng)用

3.1 鋼鐵冶金

鋼板表面缺陷檢測領(lǐng)域已有成熟的工業(yè)應(yīng)用，美國、英國、歐洲、韓國等公司針對冷軋、熱軋以及連軋機(jī)等產(chǎn)線的鋼板質(zhì)量開發(fā)了成熟的自動檢測系統(tǒng)[1]，可實(shí)現(xiàn)高精度、高可靠性地實(shí)時檢測。我國寶武集團(tuán)、北京科技大學(xué)、東北大學(xué)也開展了深入研究，取得了一系列成果。針對帶鋼表面缺陷檢測問題，HE等[37]將主干網(wǎng)絡(luò)的多級特征圖組合為一個多尺度特征圖，提出一種改進(jìn)的快速R-CNN的深度網(wǎng)絡(luò)，取得了良好的檢測效果。

回轉(zhuǎn)窯是煅燒或焙燒工藝中所用的熱工設(shè)備，用于對輸入物料進(jìn)行機(jī)械、物理或化學(xué)處理，廣泛應(yīng)用于冶金、水泥和環(huán)保等工業(yè)。回轉(zhuǎn)窯在工藝生產(chǎn)過程中是不斷旋轉(zhuǎn)的，受回轉(zhuǎn)窯自身結(jié)構(gòu)特殊性以及生產(chǎn)工藝運(yùn)行機(jī)理復(fù)雜性的影響，熟料質(zhì)量指標(biāo)無法用準(zhǔn)確的數(shù)學(xué)模型進(jìn)行描述，且無法實(shí)現(xiàn)熟料質(zhì)量的在線實(shí)時測量。其熟料的質(zhì)量取決于回轉(zhuǎn)窯燒成帶溫度，但是窯內(nèi)惡劣的環(huán)境使得燒成帶溫度的精確測量至今無法實(shí)現(xiàn)。由于回轉(zhuǎn)窯燒成帶火焰圖像含有豐富的溫度場信息和熟料燒結(jié)信息，很多研究嘗試通過燒成帶火焰圖像來識別燒成狀態(tài)。文獻(xiàn)[38-39]研究了回轉(zhuǎn)窯火焰圖像的濾波去噪、圖像分割、特征提取、檢索聚類等問題，為回轉(zhuǎn)窯質(zhì)量監(jiān)測及自動控制提供了依據(jù)。典型的回轉(zhuǎn)窯圖像如圖1所示。

文獻(xiàn)[40]提出一種基于火焰圖像空間域結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)的燃燒狀態(tài)識別方法。從回轉(zhuǎn)窯火焰圖像的亮度、結(jié)構(gòu)和對比度3個方面度量兩幅圖像間的結(jié)構(gòu)相似性。給定一幅實(shí)際火焰圖像，快速計算比較其與標(biāo)準(zhǔn)圖庫中火焰圖像的結(jié)構(gòu)相似性差異，從而識別火焰圖像的燃燒狀態(tài)。SSIM具有表達(dá)形式簡單、計算復(fù)雜度低的優(yōu)點(diǎn)，識別過程無需對圖像進(jìn)行訓(xùn)練與學(xué)習(xí)，能夠滿足回轉(zhuǎn)窯控制系統(tǒng)在線識別的快速性要求。GUO等[42]利用奇異值分解(Singular Value Decomposition, SVD)和支持向量基(Support Vector Machine, SVM)提出了一種基于火焰圖像的回轉(zhuǎn)窯燒成狀態(tài)識別方法，該方法可以實(shí)時地確定燃燒狀態(tài)。以由正常燃燒狀態(tài)和欠燒狀態(tài)下兩個庫的圖像SVD分解后的特征作為輸入，利用SVM分類器進(jìn)行離線訓(xùn)練。該方法具有精度高、時間復(fù)雜度低的特點(diǎn)，使得回轉(zhuǎn)窯實(shí)時識別成為可能，提出的多標(biāo)簽識別方法可以將燒成狀態(tài)分成多個模態(tài)，有助于后續(xù)的精準(zhǔn)控制。

文獻(xiàn)[40-42]系統(tǒng)研究了基于回轉(zhuǎn)窯火焰圖像的燒成狀態(tài)識別問題，利用圖濾波方法研究了面向回轉(zhuǎn)窯火焰圖像的預(yù)處理和去噪方法，提出了專用的去噪和預(yù)處理算法，并提出了多種基于火焰圖像的回轉(zhuǎn)窯燒成狀態(tài)識別方法。該方法具有精度高、時間復(fù)雜度低的特點(diǎn)，可用于在線自動監(jiān)測和反饋控制。主要的流程圖如圖2所示。

3.2 大氣污染監(jiān)測

基于電化學(xué)傳感器的大氣污染常規(guī)監(jiān)測技術(shù)易受溫濕度干擾、數(shù)據(jù)易被篡改，存在空間分布密度低和延遲時間長等局限，文獻(xiàn)[43]根據(jù)基于變換域的特征提取和基于寬度深度學(xué)習(xí)的非線性映射策略，構(gòu)建了基于圖像的細(xì)顆粒物濃度實(shí)時監(jiān)測模型。針對放空火炬煙氣濃度識別中含濃煙的圖像數(shù)據(jù)少和為煙濃度打標(biāo)簽困難的問題，文獻(xiàn)[44]先用元學(xué)習(xí)在自動選擇的多相似任務(wù)上預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，再用最優(yōu)梯度和學(xué)習(xí)率微調(diào)網(wǎng)絡(luò)，最終構(gòu)建出基于集成元學(xué)習(xí)的煙氣濃度識別模型。GU等[45]針對放空火炬煙氣圖像受環(huán)境背景干擾大和受壓縮噪聲影響而難以準(zhǔn)確定位等問題，利用broadly tuned顏色通道、背景顏色通道和K-means方法等實(shí)現(xiàn)煙氣定位，設(shè)計出了一種基于視覺的火炬煙氣監(jiān)測系統(tǒng)。文獻(xiàn)[46]研究了煙氣圖像的形狀、紋理等復(fù)雜特征，設(shè)計了兩個子深度神經(jīng)網(wǎng)絡(luò)分別提取并融合煙氣圖像的底部紋理特征和高層全局輪廓特征，提出了基于分解模型的雙流煙氣檢測深度網(wǎng)絡(luò)，實(shí)現(xiàn)了“無感式”智能煙氣檢測。PM2.5的實(shí)時估計非常困難，文獻(xiàn)[47]利用優(yōu)質(zhì)天氣下拍攝的“零PM2.5”海量影像樣本研究大數(shù)據(jù)統(tǒng)計建模理論與方法，根據(jù)細(xì)顆粒物改變影像局部分歧度和全局信息熵的先驗(yàn)知識，分別設(shè)計并系統(tǒng)融合局部和全局特征，構(gòu)建了面向大氣細(xì)顆粒物監(jiān)測的大數(shù)據(jù)統(tǒng)計模型，達(dá)到了實(shí)時估計所處環(huán)境的大氣PM2.5濃度指標(biāo)的實(shí)際效用。

3.3 航空發(fā)動機(jī)葉片表面缺陷檢測

發(fā)動機(jī)葉片是高性能航空發(fā)動機(jī)的核心部件之一，葉片型面質(zhì)量對發(fā)動機(jī)的性能具有決定性的影響。航空葉片通常設(shè)計為變截面、強(qiáng)扭曲的薄壁曲面，具有復(fù)雜拓?fù)湫螤睢Ｈ~片缺陷是危害飛行安全的重要因素，典型的表面缺陷包括葉片疲勞裂紋、葉尖卷邊、葉面壓坑、凹痕、燒傷等?？滋綑z測是葉片質(zhì)量監(jiān)測的重要設(shè)備，應(yīng)用于航空發(fā)動機(jī)裝配、試驗(yàn)、服役各階段，對保證發(fā)動機(jī)安全有重要作用。

現(xiàn)有孔探檢測主要為人工檢測，檢測結(jié)果受檢測人員經(jīng)驗(yàn)、責(zé)任心、工作時長等人為因素的影響較大，人工檢測一般效率較低。為了提高檢測質(zhì)量和效率，研究基于視覺感知的發(fā)動機(jī)葉片損傷檢測與識別技術(shù)具有重要的意義。文獻(xiàn)[48]等利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了大型渦扇發(fā)動機(jī)的燃燒室、高壓渦輪、葉片等不同部位的孔探檢測圖像分類。曠可嘉等[49]利用Faster R-CNN和SSD網(wǎng)絡(luò)模型實(shí)現(xiàn)了葉片的凹痕(dent)、裂紋(gap)和燒蝕(ablation)3類缺陷識別問題，圖像共400張，測試集僅40張圖像，因此該方法檢測性能一般。馬瑞陽等[50]收集了CFM56系列發(fā)動機(jī)高壓渦輪的燒蝕、裂紋、涂層缺失和材料缺失4類缺陷損傷圖像共1000余張，通過數(shù)據(jù)增強(qiáng)、數(shù)據(jù)標(biāo)注等構(gòu)建了缺陷數(shù)據(jù)集，提出了一種改進(jìn)的Yolov4-B網(wǎng)絡(luò)模型，同時利用構(gòu)建的缺陷數(shù)據(jù)集進(jìn)行訓(xùn)練，并在實(shí)際環(huán)境中測試了訓(xùn)練后模型的性能。

4 總結(jié)與展望

基于視覺感知的表面缺陷檢測是未來智能無人工廠的關(guān)鍵環(huán)節(jié)，目前已有大量的研究成果，國內(nèi)外公司的成熟產(chǎn)品成功應(yīng)用于很多不同行業(yè)生產(chǎn)中。但是，在理論和應(yīng)用層面仍存在很多未解的重要問題。當(dāng)前面臨的主要挑戰(zhàn)性問題包括：

(1)適用于特定工業(yè)場景的快速成像技術(shù) 復(fù)雜惡劣工業(yè)環(huán)境下特殊光源選擇，光照設(shè)置等。

(2)圖像預(yù)處理與增強(qiáng)新方法 在惡劣工業(yè)環(huán)境或復(fù)雜光照條件下，采集的表面圖像通常含有很強(qiáng)的噪聲、質(zhì)量差，如何在保持缺陷的邊緣或輪廓特征的同時盡可能消除抑制噪聲具有很大的挑戰(zhàn)性。

(3)表面缺陷檢測與識別的高性能學(xué)習(xí)算法 很多工業(yè)場景中，缺陷特征圖像數(shù)據(jù)集很少，面向小樣本和弱監(jiān)督的能夠?qū)嶋H應(yīng)用的學(xué)習(xí)方法嚴(yán)重不足。如何在學(xué)習(xí)算法中融合缺陷檢測與識別的專家經(jīng)驗(yàn)也是重要的研究問題之一。

(4)集成化的表面質(zhì)量檢測管控軟件與裝備 國產(chǎn)軟件平臺或者開放平臺上的算法集成軟件包、基于國產(chǎn)品牌的硬件裝備、包容國內(nèi)外市場中大部分主流產(chǎn)品的數(shù)據(jù)接口、以及不依賴于特定平臺的自主運(yùn)行環(huán)境等都存在嚴(yán)重不足，開發(fā)設(shè)計高端高性能的檢測管控軟件與裝備非常有挑戰(zhàn)性，具有重要的意義。

(5)國家重大工業(yè)場景的表面缺陷檢測問題 例如航空渦輪葉片缺陷的孔探檢測中，受到成像空間有限、鏡頭角度有限、光照條件復(fù)雜、葉片表面形狀多樣、葉片轉(zhuǎn)動的動態(tài)影響等多種因素影響，如何在有限的時間進(jìn)行高質(zhì)量的缺陷檢測，難度很大。由于國外技術(shù)封鎖，開發(fā)相關(guān)高端產(chǎn)品具有重要的意義。

基于視覺感知的表面缺陷檢測方法涉及到多個學(xué)科領(lǐng)域的交叉，圖像采集與成像是根本，智能檢測算法是基礎(chǔ)，工業(yè)軟件與裝備是保障，三者相輔相成，研究中需綜合考慮。本文總結(jié)介紹了基于視覺感知的復(fù)雜產(chǎn)品表面缺陷檢測理論及典型工業(yè)應(yīng)用，重點(diǎn)論述了圖像預(yù)處理與圖像增強(qiáng)、幾何深度學(xué)習(xí)和基于深度學(xué)習(xí)的目標(biāo)檢測方面的前沿進(jìn)展。然后討論了工業(yè)圖像檢測與識別在鋼鐵冶金、大氣污染監(jiān)測以及航空發(fā)動機(jī)葉片檢測等領(lǐng)域的應(yīng)用。最后，給出了幾個仍未解決的挑戰(zhàn)性問題，期望對相關(guān)領(lǐng)域的科研工作者有所幫助。