黃 凱, 趙世聞, 王峻峰, 曾照勇, 郝天峰

(1.上海無線電設(shè)備研究所,上海 201109;2.華中科技大學(xué)機械科學(xué)與工程學(xué)院,湖北 武漢 430074)

0 引言

裝配是對各個零部件根據(jù)工藝要求進行組裝的過程,裝配質(zhì)量的好壞對最終產(chǎn)品的性能有重要影響。由于產(chǎn)品裝配時所需的零部件種類多樣,裝配方式各異,極易出現(xiàn)漏裝、錯裝等裝配質(zhì)量問題,因此需要設(shè)置檢測環(huán)節(jié)對產(chǎn)品裝配質(zhì)量進行檢查。

傳統(tǒng)的裝配質(zhì)量檢測采用人工方式進行,費時費力并且檢測結(jié)果依賴于人的狀態(tài)和技術(shù)水平,檢測的不確定性大[1]。隨著機器視覺的發(fā)展,基于圖像的質(zhì)量檢測方法逐漸應(yīng)用到產(chǎn)品的生產(chǎn)裝配過程。與人工檢測相比,基于圖像的裝配質(zhì)量檢測方法[2]具有速度快、準確度高、檢測標準統(tǒng)一的特點,并且能對質(zhì)量檢測數(shù)據(jù)進行儲存和管理,方便后期進行質(zhì)量追溯。因此基于圖像的裝配質(zhì)量檢測在產(chǎn)品生產(chǎn)中得到了廣泛的應(yīng)用。圖像的分析與處理方法是決定裝配質(zhì)量檢測準確性的關(guān)鍵。近年來,計算機視覺和人工智能技術(shù)不斷發(fā)展,深度神經(jīng)網(wǎng)絡(luò)在圖像分析和處理方面展現(xiàn)出了巨大的潛力,越來越多的研究者將深度神經(jīng)網(wǎng)絡(luò)等手段應(yīng)用到裝配質(zhì)量檢測領(lǐng)域中。

本文綜述了基于圖像的裝配質(zhì)量檢測方法,根據(jù)裝配圖像的使用和處理手段,將其歸納為基于圖像模板匹配的檢測方法、基于圖像智能學(xué)習(xí)的檢測方法以及基于虛實融合圖像的檢測方法。

1 基于圖像模板匹配的裝配檢測

1.1 檢測流程

模板匹配是一種最原始、最基本的圖像檢測方法,基于圖像模板匹配的檢測流程如圖1所示。首先對待檢測圖像和標準裝配模板進行圖像預(yù)處理操作,然后對預(yù)處理圖像進行特征提取,最后根據(jù)搜索策略和匹配算法進行圖像匹配,根據(jù)匹配結(jié)果判斷是否存在裝配質(zhì)量問題。

1.2 圖像預(yù)處理

在實際生產(chǎn)環(huán)境中,由于工業(yè)設(shè)備或者現(xiàn)場環(huán)境對相機的干擾,采集到的圖像會存在噪聲。噪聲會干擾圖像中的重要信息,如物體的邊緣及紋理等特征,對后續(xù)處理造成不利影響[3]。因此需要對采集的圖像進行濾波,以抑制圖像噪聲。目前常用的圖像濾波方法有均值濾波、中值濾波以及高斯濾波等。在裝配質(zhì)量檢測中,通常要根據(jù)裝配對象的實際情況選擇合適的濾波方法。

在利用標準裝配模板判斷裝配質(zhì)量之前,需要根據(jù)目標區(qū)域的特征,將目標與背景分割開來[4]。基于數(shù)字圖像處理的分割方法主要分為基于邊緣的分割和基于區(qū)域的分割兩類。

圖像中目標邊緣位置的結(jié)構(gòu)和像素灰度值具有突變性,根據(jù)這些特征可以提取目標輪廓,將目標與背景區(qū)分開來[5]。因此,有許多學(xué)者通過提取目標圖像的邊緣信息,自適應(yīng)地對具有不同屬性的圖像區(qū)域進行劃分。LIU等[6]設(shè)計了一種半封閉狹小空間內(nèi)裝配遺留物檢測系統(tǒng),如圖2所示。通過Canny邊緣檢測算法提取裝配完成后狹小空間內(nèi)的圖像邊緣信息,利用邊緣匹配算法對空間內(nèi)裝配遺留的微小零件進行檢測。

圖2 半封閉狹小空間裝配遺留物檢測系統(tǒng)

區(qū)域分割是指在一幅圖像中,屬于同一區(qū)域的像素應(yīng)具有相同或相似的屬性,不同區(qū)域的像素屬性不同。因此圖像的分割就是要尋求具有代表性的像素屬性,利用這些屬性對圖像進行劃分[7]。任永強等[8]針對汽車變速箱裝配線上差速器卡簧的裝配防錯需求,利用閾值分割的方法對卡簧圖像進行分割,并提取其雙耳圓孔的輪廓,利用圓心距離判斷卡簧是否存在漏裝或錯裝的情況。SHEN等[9]提出了一種用于軸承的裝配質(zhì)量圖像檢測方法,通過圖像分割、坐標變換以及文本檢測識別機制實現(xiàn)裝配質(zhì)量檢測。

1.3 圖像特征提取

目前,研究者們采用較多的圖像特征有統(tǒng)計特征、幅值特征、角點特征、紋理特征以及形狀特征等。

統(tǒng)計特征是利用圖像灰度值的統(tǒng)計信息來描述圖像,這種方式忽略了圖像的灰度和空間之間的聯(lián)系[10]。而幅值特征在提取圖像的灰度統(tǒng)計信息以外,還有效利用了圖像的灰度與空間之間的信息。角點特征也是圖像分析中經(jīng)常使用的一種特征。HARRIS等[11]提出了一種角點檢測算子,該算子計算簡單、應(yīng)用廣泛,只使用圖像灰度的一階差分和濾波,可以定量地提取角點且提取的角點特征均勻。LOWE[12]基于角點檢測的方法,提出了尺度不變特征轉(zhuǎn)換(scale invariant feature transform,SIFT)算法,SIFT算法在目標尺度發(fā)生變化時,仍能準確檢測出目標。SIFT算法雖然檢測精度高,但在提取圖像角點的過程中要進行大量的計算,運算速度較慢。于是有研究者又提出了加速穩(wěn)健特征(speeded up robust features,SURF)算法[13],與SIFT算法相比,SURF算法的運算速度更快。RUBLEE等[14]使用FAST(features from accelerated segment test)關(guān)鍵點和BRIEF(binary robust independent elementary features)描述子,在2011年提出了一種運算速度大大優(yōu)于SURF和SIFT算法,并且同時具有尺度不變性和旋轉(zhuǎn)不變性的結(jié)合方向信息的快速特征點提取和描述(oriented FAST and rotated BRIEF,ORB)算法,該算法在圖像提取特征領(lǐng)域得到了廣泛使用。紋理特征是一種全局特征,反映的是圖像中同質(zhì)現(xiàn)象的視覺特征,體現(xiàn)物體表面的具有緩慢變換或周期性變化的組織結(jié)構(gòu)排列屬性。紋理特征的提取與匹配主要包含灰度共生矩陣、Tamura紋理特征、自回歸紋理模型方法等。

1.4 標準裝配模板匹配

為了判斷裝配是否符合要求,需要將現(xiàn)場裝配圖像與提前構(gòu)建的標準裝配模板進行匹配,根據(jù)匹配結(jié)果判斷裝配質(zhì)量。KIM等[15]研究了一種基于模板匹配的船舶裝配狀態(tài)檢測方法。對從船舶分段對接裝配過程中獲取到的裝配場景圖像進行分析,從中提取當(dāng)前裝配過程中船舶分段對象的邊緣圖像,將邊緣圖像與該裝配段的模板圖像進行對比,從而能夠及時發(fā)現(xiàn)和處理裝配過程中出現(xiàn)的錯裝問題。CHO等[16]提出一種基于小波變換的圖像模板匹配算法,用于電路板元器件檢測。該算法將標準裝配模板圖像與現(xiàn)場圖像進行小波變換處理,計算變換后兩幅圖像的匹配度,根據(jù)匹配度判斷電子元件是否錯裝和漏裝。何彬媛等[17]對機箱裝配質(zhì)量檢測問題進行了研究,根據(jù)機箱零件的裝配特點,通過SURF算法快速匹配標準模板,根據(jù)模板中零件的裝配標準實現(xiàn)對象的裝配質(zhì)量檢測。

上述基于圖像模板匹配的方法,使用的都是二維的標準裝配模板。有研究者同樣利用裝配對象的三維模型進行匹配。LI等[18]將真實裝配對象與CAD模型直接進行匹配,對裝配狀態(tài)進行判斷。利用迭代最近點法計算真實對象點云模型與三維設(shè)計模型的匹配誤差,然后對匹配誤差進行了分析,通過匹配誤差確定真實對象與CAD模型的相似程度,從而判斷真實裝配對象的裝配狀態(tài)。ABDALLAH等[19]對航空發(fā)動機零部件裝配質(zhì)量檢測進行了研究,如圖3所示。通過算法自動獲取包含檢測對象有用信息的最佳觀測視角,然后利用該最佳視角獲得三維模型,并從三維模型中直接提取其邊緣信息,與當(dāng)前真實圖像進行匹配計算,檢測零部件是否存在,判斷安裝位置是否正確。

圖3 航空發(fā)動機零部件裝配質(zhì)量檢測

基于模板匹配的裝配檢測方法需要人為根據(jù)裝配對象提取相應(yīng)的特征,并與從標準裝配模板中提取的特征進行比較。在特定場景下,算法有較好的表現(xiàn),并且特征的可解釋性較強。但模板匹配法的特征提取依賴于算法設(shè)計人員的經(jīng)驗和水平,并且每種方法都只針對固定場景,因此算法的泛化性和魯棒性較差。

2 基于圖像智能學(xué)習(xí)的裝配檢測

基于圖像智能學(xué)習(xí)的裝配檢測方法分為機器學(xué)習(xí)和深度學(xué)習(xí)兩種,其中機器學(xué)習(xí)需要人工輔助提取特征,而深度學(xué)習(xí)可自適應(yīng)提取特征。

2.1 機器學(xué)習(xí)檢測方法

利用機器學(xué)習(xí)的方式對裝配質(zhì)量進行檢測的流程如圖4所示。

圖4 機器學(xué)習(xí)檢測方法流程

首先利用經(jīng)典數(shù)字圖像處理方法,分析和提取訓(xùn)練集圖像中的特征;然后利用提取到的特征對分類器進行訓(xùn)練;最后利用訓(xùn)練好的分類器再對從現(xiàn)場圖像中提取的特征進行分類,根據(jù)分類結(jié)果判斷裝配質(zhì)量問題。

分類器的本質(zhì)是利用給定的數(shù)據(jù)集訓(xùn)練得到一個函數(shù)映射。而在具體的分類任務(wù)中,通過這個函數(shù)把待分類的樣本映射到目標空間中的一個類別[20]。目前裝配檢測中應(yīng)用最廣泛的機器學(xué)習(xí)分類器包含貝葉斯分類器、人工神經(jīng)網(wǎng)絡(luò)和支持向量機(support vector machine,SVM)等。

貝葉斯分類法屬于統(tǒng)計學(xué)方法,以貝葉斯定理為基礎(chǔ),通過計算給定樣本屬于一個特定類別的概率來進行分類。貝葉斯分類需要預(yù)先獲得樣本的總體分布情況,根據(jù)各個類的先驗概率和條件概率密度,計算樣本的后驗概率,并據(jù)此設(shè)計出判別函數(shù)及決策面[21]?；谌斯ど窠?jīng)網(wǎng)絡(luò)的分類器通過把大量的權(quán)重節(jié)點相互連接,對輸入到分類器的特征信息進行分類。Softmax層[22]常作為人工神經(jīng)網(wǎng)絡(luò)最終的分類層對目標進行分類,其訓(xùn)練速度快,能很好地支持多分類任務(wù)。支持向量機通過將樣本特征所對應(yīng)的空間映射到一個更高維的特征空間,使得低維空間內(nèi)不可分的樣本,在高維空間線性可分或者近似線性可分[23]。支持向量機是一種小樣本學(xué)習(xí)方法,有堅實的數(shù)學(xué)理論基礎(chǔ)。其決策函數(shù)由支持向量決定,因此計算復(fù)雜度取決于支持向量的數(shù)量而不是特征空間的維度數(shù)目。在基于機器學(xué)習(xí)的裝配質(zhì)量檢查方面,BENEDEK等[24]研究了一種基于貝葉斯分類法的電路板焊點檢測框架,通過檢測電路板上不同形狀的焊點進行電路板焊接裝配質(zhì)量檢測。AN等[25]針對飛機電纜支架識別問題,提出了一種低訓(xùn)練復(fù)雜度的電纜支架自適應(yīng)識別混合模型,如圖5所示。該模型利用卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network,CNN)提取包含電纜支架圖像的特征,然后用支持向量機分類器將提取到的特征進行分類,從而實現(xiàn)電纜支架的識別。

圖5 電纜支架自適應(yīng)識別混合模型

2.2 深度學(xué)習(xí)檢測方法

近年來,基于深度學(xué)習(xí)的圖像處理方法也開始應(yīng)用于裝配對象的檢測。傳統(tǒng)的機器學(xué)習(xí)效果往往依賴于特征,即如何人工提取特征,篩選掉冗余特征,然后對特征進行分類[26]。因此,特征的設(shè)計和描述對機器學(xué)習(xí)分類器的影響較大。與機器學(xué)習(xí)的方法相比,深度學(xué)習(xí)最顯著的特點在于通過自適應(yīng)地提取數(shù)據(jù)特征,避免了復(fù)雜的特征工程。

目前,基于深度學(xué)習(xí)的裝配質(zhì)量檢測,主要是利用卷積神經(jīng)網(wǎng)絡(luò)對圖像進行處理,根據(jù)網(wǎng)絡(luò)預(yù)測的結(jié)果判斷裝配質(zhì)量是否符合要求。卷積神經(jīng)網(wǎng)絡(luò)具有大量的隱藏層,并且使用更多的非線性操作,具有更好地挖掘特征的能力。

GIRSHICK等[27]將深度學(xué)習(xí)應(yīng)用到目標檢測中,提出一種基于候選框的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(region-based convolutional neural network,RCNN)算法。該算法使用卷積神經(jīng)網(wǎng)絡(luò)對圖像特征進行提取,然后利用SVM對特征進行分類,利用一個回歸模型預(yù)測目標區(qū)域,在檢測的準確度上取得了較好的效果。為了提高R-CNN的檢測速度,降低網(wǎng)絡(luò)訓(xùn)練難度,REN等[28]在此基礎(chǔ)上進行進一步完善,提出的更快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster R-CNN)的結(jié)構(gòu)如圖6所示。該算法使用Vgg16作為主干特征提取網(wǎng)絡(luò),采用區(qū)域建議網(wǎng)絡(luò)(region proposal network,RPN),利用Softmax代替原來的SVM分類器,將目標分類和定位框回歸放在一起訓(xùn)練,大大縮短了訓(xùn)練時間。

圖6 faster R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

此后,REDMON等[29]提出一種單階段卷積神經(jīng)網(wǎng)絡(luò)YOLO(you only look once)用于對象檢測。該方法巧妙地將對象檢測任務(wù)轉(zhuǎn)換為回歸任務(wù),對于輸入圖像,在多個位置直接回歸出目標的預(yù)測框,提高了卷積神經(jīng)網(wǎng)絡(luò)的檢測效率和檢測精度。在初始YOLO網(wǎng)絡(luò)的基礎(chǔ)上,REDMON又對其進行了系列化改進,進一步提高了算法的精度和時效性。另一種基于SSD(single shot multibox detector)[30]的單階段目標檢測算法,通過提取不同尺度的特征圖做預(yù)測,并采用不同尺度和長寬比的先驗框,與YOLO網(wǎng)絡(luò)相比,提高了小目標檢測的準確度。

趙甘霖等[31]采用深度學(xué)習(xí)方法對線纜裝配質(zhì)量進行檢測。使用YOLO網(wǎng)絡(luò)檢測線纜裝配關(guān)鍵節(jié)點位置,基于計算線纜鄰域平均重合度的方法求得了敷設(shè)路徑的重合度,基于相機逆投影的方法得到了線纜的彎曲半徑。LIU等[32]利用深度學(xué)習(xí)方法對鐵軌緊固件裝配狀態(tài)檢測進行了研究,通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)正確的圖像模板特征,預(yù)測鐵軌緊固件是否存在缺失、松動、損壞的問題。閏俊濤等[33]基于Vgg16卷積神經(jīng)網(wǎng)絡(luò)對小型斷路器進行了檢測和分類,獲取當(dāng)前裝配零件的位置和姿態(tài)。王天諾等[34]設(shè)計三維(3D)神經(jīng)網(wǎng)絡(luò)對裝配動作進行監(jiān)測,能夠在大批量生產(chǎn)模式中有效監(jiān)測工人的操作,提高裝配質(zhì)量。

為了解決神經(jīng)網(wǎng)絡(luò)對設(shè)備的計算資源要求高的問題,姚錫凡等[35]提出一種基于云端和霧端相結(jié)合的算法用于裝配零件識別,云霧結(jié)合的工件識別模型如圖7所示。

圖7 云霧結(jié)合的工件識別模型

在云端對改進的Alexnet神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,然后將訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型部署到霧端,進行實時檢測。張麗秀等[36]將生物地理優(yōu)化算法與神經(jīng)網(wǎng)絡(luò)結(jié)合起來,對YOLOV3網(wǎng)絡(luò)訓(xùn)練過程中的參數(shù)進行優(yōu)化,有效提高了汽車前臉零件裝配檢測的準確率?；谏疃葘W(xué)習(xí)的方法是一種十分有效的裝配質(zhì)量檢測方法,尤其對于漏裝配問題,能夠?qū)崿F(xiàn)高效率和高準確率的檢測。

基于深度學(xué)習(xí)的檢測方法利用數(shù)據(jù)驅(qū)動進行特征提取,根據(jù)大量的訓(xùn)練樣本,能夠獲得深層的特征表達,算法的泛化性好,準確度高。但該方法需要采集和標注大量訓(xùn)練樣本,前期準備工作量大,并且算法對設(shè)備的運算能力要求較高。

3 基于虛實融合圖像的裝配檢測

隨著工業(yè)4.0的發(fā)展,增強現(xiàn)實(AR)技術(shù)逐漸被應(yīng)用于制造和裝配過程。有研究者利用增強現(xiàn)實虛實融合圖像的方式對裝配質(zhì)量進行檢測。通過將虛擬模型、文字、圖片等增強信息疊加到真實環(huán)境中,引導(dǎo)操作人員對產(chǎn)品的裝配質(zhì)量進行檢查。

POLVI等[37]針對產(chǎn)品檢查任務(wù),開發(fā)了一種增強現(xiàn)實輔助檢查系統(tǒng),如圖8所示。

圖8 增強現(xiàn)實輔助檢查系統(tǒng)

通過將文字、箭頭以及三維模型等檢測信息顯示在真實環(huán)境中,輔助檢測人員進行檢測。ZHOU等[38]將增強現(xiàn)實技術(shù)用于管片裝配縫隙檢測,利用增強現(xiàn)實技術(shù)將管片之間允許的縫隙模型注冊在管道拼接位置,當(dāng)管道之間真實縫隙超過虛擬模型的寬度時,則認為出現(xiàn)裝配質(zhì)量問題。

XU等[39]提出了一種基于虛實融合圖像的客艙艙口蓋檢查方法,如圖9所示。

圖9 艙蓋識別和增強信息疊加

根據(jù)艙蓋的邊緣特征對艙蓋的類型進行識別,并疊加相應(yīng)的虛擬信息引導(dǎo)操作人員對艙蓋內(nèi)部的元件進行檢查。劉睿等[40]利用圖像處理和增強現(xiàn)實技術(shù),開展了航天線纜敷設(shè)質(zhì)量檢測研究。首先從裝配現(xiàn)場圖片中分割出線纜對象,然后提取線纜對象局部特征并與模板圖像匹配,根據(jù)獲取的線纜裝配曲率值判斷敷設(shè)質(zhì)量,最后利用增強現(xiàn)實技術(shù)實時顯示質(zhì)量檢測的結(jié)果。MANURI等[41]針對維修作業(yè)任務(wù),提出一種基于增強現(xiàn)實的裝配狀態(tài)驗證系統(tǒng),利用增強現(xiàn)實技術(shù)引導(dǎo)完成當(dāng)前步驟后,將產(chǎn)品CAD模型生成渲染圖的特征點與真實圖像的特征點數(shù)量進行比較,對每一步驟的裝配結(jié)果進行檢測。

目前,基于虛實融合圖像的裝配檢測方法主要應(yīng)用在復(fù)雜產(chǎn)品的手工檢查過程中。檢查人員根據(jù)疊加在真實環(huán)境中的虛擬引導(dǎo)信息,對裝配質(zhì)量進行檢查,并實現(xiàn)對檢查結(jié)果的實時反饋。隨著數(shù)字化技術(shù)的發(fā)展,利用虛實融合圖像的方法逐漸被應(yīng)用到裝配檢查中,通過將虛擬模型、文字、圖像等增強信息疊加到真實環(huán)境中,能有效輔助檢查人員進行質(zhì)量檢查。

4 結(jié)論與展望

在基于圖像的裝配質(zhì)量檢測系統(tǒng)中,圖像分析和處理算法是核心內(nèi)容,包括了利用傳統(tǒng)的數(shù)字圖像處理算法以及利用機器學(xué)習(xí)和深度學(xué)習(xí)的數(shù)字圖像處理算法?；跀?shù)字圖像處理和機器學(xué)習(xí)的方法,需要人為設(shè)計并描述圖像特征,有扎實的數(shù)學(xué)理論支撐。但算法的準確性受檢測環(huán)境的變化影響較大,如背景變化、光照或相機位姿變化。深度學(xué)習(xí)利用深度神經(jīng)網(wǎng)絡(luò),能夠?qū)D像特征進行自適應(yīng)提取和分類,對于提升裝配質(zhì)量檢測的準確性具有重要的意義。

隨著技術(shù)的發(fā)展,基于多學(xué)科交叉的裝配質(zhì)量檢測方法成為研究的熱點。通過將人工智能技術(shù)與增強現(xiàn)實、數(shù)字孿生等數(shù)字化技術(shù)相結(jié)合,能夠進一步推動檢測向自動化與智能化的方向發(fā)展。