鄧智超，顏潤明，楊蕙同，陳浩林，賴錦祥，雷亮

(廣東工業(yè)大學,廣州,510006)

0 序言

電子封裝已逐漸成為世界上最大的工業(yè)領域之一，焊接在電子封裝中的作用變得尤為重要[1].然而焊點缺陷在電子封裝等領域始終客觀存在，目前傳統(tǒng)的人工檢測仍是眾多企業(yè)的主要檢測手段之一.計算機視覺的不斷發(fā)展，使這類復雜的缺陷實現(xiàn)自動識別成為可能.傳統(tǒng)的圖像形態(tài)學算法如濾波、二值化和形態(tài)學等，只能應對簡單的檢測場景.隨著圖像處理和計算機視覺技術的進步，基于內容的產(chǎn)品檢測被廣泛應用于網(wǎng)上購物、自動結賬系統(tǒng)、智能物流等領域[2].現(xiàn)有的產(chǎn)品檢測系統(tǒng)主要使用具有固定單視角的檢測,而焊點的缺陷形狀繁多且呈三維形狀，一些缺陷形狀甚至需要結合多面才能做出準確的判斷，這導致了傳統(tǒng)的檢測算法出現(xiàn)了較多的誤檢和漏檢，在一定程度上限制了計算機視覺在制造業(yè)等領域的發(fā)展.

近年來，卷積神經(jīng)網(wǎng)(convolutional neural networks,CNN)被廣泛應用于圖像分析中.隨著網(wǎng)絡的結構不斷被改良和創(chuàng)新，ResNet[3]等更高性能的網(wǎng)絡在分類、分割和檢測等領域成為了更主流的算法選擇，其關鍵在于加入了卷積層的捷徑連接，有效解決了網(wǎng)絡退化問題.目前大部分的基于CNN的檢測方法仍然以單視圖檢測為主，對于焊點這類三維形狀的缺陷來說，單一視圖的檢測將會不可避免帶來漏檢，因此目前在面對這類缺陷往往是只檢測最具代表性的視圖，一般為俯視圖，或者通過逐一檢測每個視圖來達到識別所有表面的目的；但這不僅可能需要對不同的視圖做獨立的數(shù)據(jù)集和獨立的訓練，而且無法準確判斷需要依賴多面情況的缺陷類型，這使得該類缺陷檢測始終處于程序復雜冗余和精度不穩(wěn)定的狀態(tài).

當前主流的電路元件缺陷檢測方法是自動光學檢測(automatic optic inspection,AOI)，主要分為參考法和非參考法[4].參考法是直接將待檢測圖像與標準圖像的對應像素采用異或、對比矩陣的秩或特征匹配[5]等計算方法，但這些方案對光照等環(huán)境穩(wěn)定性要求高；而采用中值濾波、二值化、邊緣檢測、模板匹配等圖像處理技術[6]，則難以處理形狀波動較大的目標.近年來，國內外在非參考法方向上的研究較多，文獻[7]在Faster R-CNN 的基礎上提出了TDD-net，使用ResNet101 作為網(wǎng)絡主干，在電路板等微小缺陷檢測中獲得了98%的檢測精度，但網(wǎng)絡過大也帶來了檢測效率較低的問題；Chi 等人[8]根據(jù)超聲掃描圖像的特點，提出了雜波抑制和去噪方法，并利用KSW 二維熵對圖像進行二值化處理，在單視圖下能有效識別微小缺陷；文獻[9]在通過在網(wǎng)絡中引入輕量級的倒殘差結構提出了YOLO-M，減少網(wǎng)絡計算量，并成功試驗于超低功耗邊緣人工智能芯片勘智K210 中.

目前大多數(shù)關于焊點檢測的相關研究主要集中在垂直方向上的單視圖檢測，然而焊點屬于微小型檢測目標，且呈三維形狀，僅從垂直方向進行的光學檢測是無法克服空洞、遮擋等缺陷情況.針對上述問題，文中提出一種改進殘差網(wǎng)絡的多視圖焊點檢測方法.該方法通過多視圖拍攝結構獲得不同視圖的不同語義級別信息，運用改進的捷徑連接提升了網(wǎng)絡性能，并融合了自適應特征加權聚合的策略，提高了對三維形狀焊點缺陷的檢測精度.這不僅有效提高了高頻電感元件生產(chǎn)的自動化水平，產(chǎn)生了經(jīng)濟價值，也為同類微小型三維缺陷的識別提供了參考.

1 網(wǎng)絡主干改進設計

實際工業(yè)場景對檢測的要求一般是高精度和高速度，而在卷積神經(jīng)網(wǎng)絡中，更高的精度意味著更高的網(wǎng)絡層數(shù)，而網(wǎng)絡層數(shù)越高，計算量往往越大，檢測速度就越難令人滿意，因此對于網(wǎng)絡的實用需求一般是層數(shù)小并且精度高，這在工業(yè)缺陷檢測領域的應用十分重要.早期的卷積神經(jīng)網(wǎng)絡層數(shù)很小，如VGG(visual geometry group)網(wǎng)絡，這種結構只是隱藏層簡單的堆疊，層與層之間只有相鄰的層存在聯(lián)系.但這種結構隨著網(wǎng)絡深度的增加，實際訓練的精度卻越來越越低，這稱之為網(wǎng)絡的退化，因此VGG 網(wǎng)絡無法做到更深，而網(wǎng)絡層數(shù)的上限一定程度上限制了精度的上限，因為低層網(wǎng)絡難以學習到更局部的特征，這很大程度上限制了卷積神經(jīng)網(wǎng)絡的應用.為了應對這個問題，He 等人[3]借鑒高速網(wǎng)絡的跨層連接思想引出了捷徑連接(shortcut connection)，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡上進一步提出了ResNet 網(wǎng)絡，與傳統(tǒng)網(wǎng)絡不同的是，ResNet 在結構上采用殘差塊的形式堆疊，其網(wǎng)絡模塊結構如圖1 所示.圖1a 中每層卷積后接BN 層(batch normalization)和激活函數(shù)ReLu，使用該結構代表網(wǎng)絡有ResNet18，其中，x為輸入向量，經(jīng)兩層卷積得到輸出向量y，曲線為捷徑連接，ResNet 殘差網(wǎng)絡模塊結構定義為

圖1 殘差網(wǎng)絡模塊結構Fig.1 Residual network block network structure.(a)traditional structure of residual network;(b)improved residual structure

式中:C1和C2分別為第1 和第2 層卷積(Conv)；σ為ReLU 激活函數(shù)，而F(x,{Ci})表示要學習的殘差映射.在引入捷徑連接前，傳統(tǒng)的網(wǎng)絡只是卷積等隱藏層簡單的堆疊，當最優(yōu)特征在淺層網(wǎng)絡時，訓練目標是希望深層網(wǎng)絡的訓練目標是恒等映射，但大量試驗結果表明，傳統(tǒng)網(wǎng)絡的訓練方法在深層網(wǎng)絡實現(xiàn)恒等映射并不容易，也就是深層網(wǎng)絡不可避免會訓練出無效甚至反作用的權重.殘差網(wǎng)絡的思路則是通過引入捷徑連接實現(xiàn)恒等映射，巧妙跳過了深層網(wǎng)絡權重的影響.實現(xiàn)方法是使每個殘差塊的輸入和輸出疊加一次，訓練網(wǎng)絡的目標就從F(x,{Ci})→y變成F(x,{Ci})+x→y.當網(wǎng)絡需要向恒等映射方向優(yōu)化時，只需要對應網(wǎng)絡層的權重都趨于0，即訓練目標為F(x,{Ci})→0.殘差網(wǎng)絡通過主動引入捷徑連接實現(xiàn)恒等映射，使淺層網(wǎng)絡的輸入信號可以直接傳播到深層，讓網(wǎng)絡的收斂方向始終向恒等映射方向發(fā)展.與傳統(tǒng)網(wǎng)絡相比較，這種結構不僅加快了訓練速度，還確保最終訓練精度不會因為深度增加而降低，即緩解了網(wǎng)絡退化問題.

文中的檢測目標與常見的缺陷檢測任務不同，首先在輸入上就需要以多張圖像替代原來的單張圖像，目前以單張圖像作為輸入的網(wǎng)絡結構并不能直接運用于缺陷三維形、環(huán)境復雜的多視圖檢測任務.因此基于殘差網(wǎng)絡思想構建了一個能適應這類任務的模型，提出了改進的殘差網(wǎng)絡模塊結構，如圖1b 所示，將其定義為

式中：x和y′分別為改進后的殘差網(wǎng)絡的輸入、輸出向量；F′和F′′為參與捷徑連接的中間特征；C3和C4分別為第3 和第4 層卷積.

一般來說，更深的神經(jīng)網(wǎng)絡，加入非線性激函數(shù)后，將擁有更大的假設空間，因此最優(yōu)解更有可能被包含其中.文中改進的殘差網(wǎng)絡結構與兩層原始的殘差卷積塊相比較，卷積層數(shù)沒有增加，但額外的捷徑連接以少量的計算代價獲得了更大的假設空間.為了更直觀比較兩個殘差塊的不同，根據(jù)集成的思想[10]，將提出的新殘差網(wǎng)絡結構與傳統(tǒng)殘差網(wǎng)絡結構在相同卷積層數(shù)下展開對比，如圖2 所示.殘差網(wǎng)絡的傳統(tǒng)結構一般如圖2a 所示，這也是方程(1)的自然表示，圖2b 為圖2a 的展開視圖.圓形節(jié)點表示加法.從展開形式看，傳統(tǒng)殘差網(wǎng)絡有O(2n)連接輸入輸出的隱式路徑，n為卷積層數(shù)目.而圖2c 為文中提出的改進殘差網(wǎng)絡結構，圖2d 為圖2c 的展開視圖.原始的ResNet 的兩層殘差結構圖2a 有兩次捷徑連接，展開后圖2b 有4 條隱式路徑.而通過不斷試驗發(fā)現(xiàn)原始的捷徑連接方式并不一定帶來最佳的訓練路徑，而一種呈交叉狀的捷徑連接的殘差網(wǎng)絡帶來更快的收斂和更高的精度，如圖2c 示，其隱式路徑圖2d 最終增加到了5 條.相比傳統(tǒng)的殘差網(wǎng)絡，改進的殘差網(wǎng)絡每次進行四次卷積操作才增加一次加法，增加的計算量和參數(shù)量是幾乎可以忽略的.

圖2 殘差模塊的展開視圖Fig.2 Unraveled view of residual block.(a) 4 layers convolution form of original residual network;(b) unraveled view of Fig.2a;(c) 4 layers convolution form of improved residual network;(d) unraveled view of Fig.2c

為了驗證模型改進的有效性，在進行多視圖訓練前，先將在經(jīng)典數(shù)據(jù)集Cifar100 上的試驗結果作為多視圖檢測的預試驗.如表1 所示，改進后的ResNet 網(wǎng)絡與相同層數(shù)的原始殘差網(wǎng)絡相比，在計算量幾乎不變的情況下，精度得到了有效提升.這表明網(wǎng)絡改進的捷徑連接增加了有效的假設空間，促進了淺層網(wǎng)絡的性能提升.

表1 不同模型在Cifar-100 上的測試結果Table 1 Evaluation results of various models on Cifar-100

2 多視圖缺陷檢測

三維形狀目標的缺陷檢測是計算機視覺、多媒體分析和計算機圖形學中的一個重要研究領域，最近基于多視圖的方法在三維形狀識別和檢索表現(xiàn)出良好的性能.Ma 等人[11]提出了一種新的基于多視圖的三維形狀識別和檢索網(wǎng)絡結構，主要是通過將卷積神經(jīng)網(wǎng)絡與長短期記憶人工神經(jīng)網(wǎng)絡相結合，從多個角度挖掘相關信息，該方法在三維形狀識別和三維形狀檢索方面取得了良好的表現(xiàn).文獻[12]提出了基于X 射線技術的雙標記平移法和旋轉法兩種缺陷定位方法檢測焊縫缺陷深度.通過對人工缺陷及實際焊縫缺陷深度測量，較好的實現(xiàn)過渡區(qū)域干擾下的缺陷識別，但對于檢測系統(tǒng)的機械精度要求較高.

文中提出了一種新的基于改進ResNet 的多視圖自適應融合學習網(wǎng)絡，在焊點缺陷檢測上獲得了優(yōu)于傳統(tǒng)方法的性能.待檢測目標的各種缺陷類型如圖3 所示，這是高頻電感元件上的提取的焊點.通常，焊接的目的是為了保證焊件在受到振動時不至脫落、松動以及保持穩(wěn)定的導電性能.如果焊點存在不合格，那么焊點作為電子封裝中最脆弱的部分，其在使用過程中將很容易出現(xiàn)斷路或者元器件性能參數(shù)不穩(wěn)定[13].自動焊接的普及推動了焊點缺陷自動檢測的需求.與一般的表面缺陷檢測不同，焊點缺陷檢測存在幾個難點：①金屬材料的物理特性，如顏色相近，鏡面反射；②缺陷類型繁多，主要有缺焊、虛焊、冷焊、空洞、拉尖、橋接、剝離以及錫量過多或過少[14]；③焊點呈三維形狀，焊點是否良好，僅從一面判斷或者分別判斷每個面均是不可行的，這因為存在一些缺陷類型，由于視圖原因，它們每個面單獨判斷呈良好，但綜合多個面來看形狀卻是不合格的，這類焊點缺陷類型稱之為多面型缺陷.然而前兩點就使得傳統(tǒng)檢測方法的實現(xiàn)困難重重，因此文中以多視圖整體思路為前提，采用基于卷積神經(jīng)網(wǎng)絡的檢測方法，通過特征層聚合自適應學習，讓網(wǎng)絡在聚合后的特征層學習到不同視圖的整體聯(lián)系.

圖3 常見的幾種焊點缺陷Fig.3 Several common solder joint defects.(a) lack of welding;(b) insufficient solder;(c) voids;(d) pseudo soldering;(e) excessive solder and bridge joint;(f) excessive impurities

2.1 數(shù)據(jù)集

圖3 的數(shù)據(jù)集主要是來自于珠海科德電子有限公司的高頻電感產(chǎn)品，對這類元件來說，焊接質量對其使用的穩(wěn)定性有很大影響.從該類元件中選取了500 個焊點，每個焊點都獲取左視圖、俯視圖和右視圖，總計獲取了1 500 張焊點圖.在多視圖檢測中，同一焊點的3 個視圖將作為一個輸入，以此替代原來的以一張圖作為一個輸入的單視圖檢測.由于數(shù)據(jù)集形狀的較大隨機性，總體看來實際獲得的數(shù)據(jù)集仍然較少，因此在數(shù)據(jù)集預處理階段便采用了大量的數(shù)據(jù)增強，如翻轉、裁剪、旋轉、遮擋和噪聲等[15]，除此之外，在物理層面上也進行了隨機光照強度、隨機光照方向、隨機偏振角等增強，有效緩解了過擬合等問題.

2.2 多視圖自適應融合學習網(wǎng)絡

數(shù)據(jù)集的加載和預處理是以3 張作為一個輸入，因此網(wǎng)絡結構的輸入應有3 張圖像，如圖4所示.3 張不同視圖圖像經(jīng)過一次相同的卷積操作后分別輸入框中的主干網(wǎng)絡，中間框中的部分為以改進殘差塊結構組成的網(wǎng)絡主干，類似于ResNet傳統(tǒng)的4 層結構，主要負責學習圖像的全局特征和局部特征.3 張圖像通過網(wǎng)絡相同的處理，分別形成3 個512 維度的全連接層，然后3 個全連接層通過聚合形成一個1 536 維度的全連接層，最后通過兩次全連接層實現(xiàn)網(wǎng)絡對多視圖特征的自適應學習和缺陷分類.

圖4 多視圖自適應融合學習網(wǎng)絡Fig.4 Multi view adaptive fusion learning network

3 試驗與分析

3.1 超參數(shù)設置

對于所有訓練均不采用預訓練模型，動量[16]為0.9，權重衰減為1 × 10-4，初始學習率為0.1，學習率在epoch 總數(shù)的50%和75%除以10，epoch總數(shù)設為100，損失函數(shù)采用交叉熵，如式（3）所示.

式中：L為總損失值；Li為樣本i的損失值；N為樣本數(shù)目；M為類別數(shù)量；yic為符號函數(shù)，如果樣本i的真實類別等于c，yic取1，否則取0；pic為觀測樣本i屬于類別c的預測概率.

3.2 單視圖與多視圖對比試驗

為了表明多視圖的有效性和必要性，文中展示了單視圖和多視圖的對比試驗結果.為了模擬實際單視圖檢測過程，圖片的標簽確立應是依賴于整體而不是局部，對于單視圖檢測，數(shù)據(jù)集由每次輸入3 張變成每次輸入一張，但3 張圖的標簽仍然保持分開前的缺陷類型.另外，在單視圖檢測網(wǎng)絡中將去掉用于多視圖特征聚合和自適應學習的全連接層FC2 和FC3.單視圖和多視圖的最終測試結果如表2 所示.

表2 不同模型上焊點數(shù)據(jù)集的單視圖和多視圖的測試錯誤率 (%)Table 2 Test error rate of single view and multi view of different models on solder joint dataset

3.3 結果與分析

為了評估多視圖自適應融合學習網(wǎng)絡在實際應用中的性能，文章實現(xiàn)了多個模型在多視圖焊點數(shù)據(jù)集上的訓練和測試，訓練曲線如圖5 所示.在基于改進后的34 層和50 層殘差網(wǎng)絡中，焊點數(shù)據(jù)集通過訓練獲得了較好的精度.從表2 可知，在相同網(wǎng)絡層數(shù)下，改進后的ResNet 網(wǎng)絡的性能是優(yōu)于原始殘差網(wǎng)絡的，對比于MobileNet，DLA[17]和SENet[18]同等輕量模型也有一定精度優(yōu)勢，證明網(wǎng)絡改進的捷徑連接方式對于多視圖聚合自適應學習仍是有效的.在50 層時，多視圖自適應融合學習網(wǎng)絡最小錯誤率只有0.52%，滿足一定的工業(yè)應用需求.此外，相對于單視圖訓練框架，多視圖訓練框架帶來了顯著的性能提升，這是因為單視圖保持了3 個視圖分開前的整體標簽，而多視圖標簽是根據(jù)3 個視圖整體判定的，如圖6 所示.這種整體標簽雖然是正確的，但存在一些缺陷標簽的確定只是取決于某一單面的局部特征，而其它面則可能與良好焊點的單面沒有明顯差異，因此這對于單視圖訓練是很難擬合的，甚至可能擬合到毫不相關的特征.對于檢測目標形狀呈三維狀態(tài)，文中提出的多視圖融合學習策略是能克服這一問題并完成這類識別任務的.

圖5 多視圖自適應融合學習網(wǎng)絡的訓練誤差曲線Fig.5 Training error curve of multi view adaptive fusion learning network

圖6 多視圖拍攝結構和樣品Fig.6 Multi view shooting structure and sample.(a)multi view shooting structure;(b) left view;(c) top view;(d) right view

4 結論

(1) 通過改進ResNet 殘差塊的捷徑連接方案獲得了更多更有效的恒等映射路徑和假設空間，有效提升了網(wǎng)絡的分類性能，能有效識別焊點缺陷.

(2)由于焊點缺陷呈三維形狀，通過獲取焊點的左視圖、俯視圖和右視圖作為數(shù)據(jù)集，并將其作為一個整體分別輸入多視圖自適應融合學習網(wǎng)絡，提高了焊點缺陷識別的魯棒性.

(3)在多視圖缺陷檢測框架上，高頻電感元件的焊點缺陷識別的實際測試精度達99.48%.試驗結果證明了多視圖檢測框架的有效性和可行性.