吳 忍，孫 淵

（上海電機學(xué)院機械學(xué)院，上海201306）

風(fēng)機塔筒就是風(fēng)力發(fā)電機的塔桿，主要起支撐和吸收風(fēng)電機組振動的作用，為確保風(fēng)機發(fā)電量的穩(wěn)定可靠，風(fēng)機塔筒要將風(fēng)力發(fā)電機組支撐于60～100 m的高空。風(fēng)機塔筒的結(jié)構(gòu)型式主要有圓筒式、桁架式等，按照材料類型又可分為純鋼式、混凝土式等。目前，鋼制圓筒式塔架在國內(nèi)外風(fēng)電企業(yè)中應(yīng)用最為廣泛。

風(fēng)機塔筒的焊縫主要包括單節(jié)塔筒的內(nèi)外縱縫，兩節(jié)塔筒組對后的內(nèi)外環(huán)縫以及法蘭盤和筒節(jié)的拼接焊縫。目前我國的塔筒生產(chǎn)中主要采用風(fēng)電塔筒大型焊機對塔筒進行自動化焊接，但是對于塔筒焊縫的無損檢測依然是完全依賴人工，檢測內(nèi)容包括外部和內(nèi)部缺陷檢測。對于外部缺陷，大多采用磁粉檢測（MT）、滲透檢測（PT）和渦流檢測（ET），但是由于風(fēng)機塔筒體積龐大且焊縫分布不平，操作起來十分不便，效率不高［1］。隨著計算機技術(shù)和圖像處理技術(shù)的飛速發(fā)展，在目標(biāo)檢測領(lǐng)域中，先后出現(xiàn)了數(shù)字圖像處理技術(shù)、機器學(xué)習(xí)和深度學(xué)習(xí)3種常用的檢測方法。數(shù)字圖像處理技術(shù)也就是傳統(tǒng)圖像處理技術(shù)，采集圖像時易受外界環(huán)境的噪聲干擾，泛化能力不強。機器學(xué)習(xí)在一定程度上能夠抵抗外界噪聲干擾，但是機器學(xué)習(xí)模型的參數(shù)設(shè)置和目標(biāo)特征點都要人為設(shè)定，過分依賴經(jīng)驗，因此精確度和效率無法得到保障。深度學(xué)習(xí)的出現(xiàn)解決了以上兩種目標(biāo)檢測方法存在的問題，以卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）為基礎(chǔ)，出現(xiàn)了R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD等多種目標(biāo)檢測算法，不需要人為地進行特征提取。深度學(xué)習(xí)算法可自動進行特征提取，對目標(biāo)進行檢測和分類，同時具有很高的檢測效率和準(zhǔn)確性。

本文提出一種基于傳統(tǒng)圖像處理和CNN的風(fēng)機塔筒焊縫缺陷檢測算法。該算法首先使用傳統(tǒng)圖像處理算法將工業(yè)相機采集到的焊縫圖像進行灰度化。然后對焊縫灰度圖像進行增強處理，改善圖像的視覺效果，清晰化圖像，便于計算機對圖像進行進一步處理分析。最后將圖像作為訓(xùn)練好的CNN的輸入，通過CNN判斷焊縫外部是否存在缺陷。

1 傳統(tǒng)圖像處理

焊縫圖像的質(zhì)量將會直接影響缺陷檢測的準(zhǔn)確度。經(jīng)過有效傳統(tǒng)處理的圖像，具有更好的缺陷特征和更高的識別度。本文將對原始焊縫圖像進行灰度化和圖像增強處理。

1.1 圖像灰度化

目前彩色圖片顏色空間包括RGB、CMY（K）、HSV和CIE-XYZ顏色空間，主流的顏色空間是RGB三通道彩色圖［2］。RGB圖像是以三維矩陣的方式存儲，訓(xùn)練CNN時，需要對RGB 3種分量進行處理，將會增加網(wǎng)絡(luò)訓(xùn)練的時間和難度，而且顏色本身容易受到光照等因素的干擾，很難提供準(zhǔn)確的關(guān)鍵信息。因此，需要將采集到的彩色圖片灰度化，降低圖像的矩陣維數(shù)。

圖像經(jīng)過灰度化之后，顏色信息丟失，但圖像的梯度信息仍然能保留下來。在焊縫的缺陷檢測中，為了識別出缺陷，最關(guān)鍵的因素是圖像的梯度，也就是圖像的邊緣信息。目前圖像灰度化的方法包括分量法、最大值法、平均值法和加權(quán)平均法。

分量法是指將RGB圖像中三分量的亮度值分別作為3個灰度圖像的灰度值，根據(jù)后續(xù)的實際需求選取其中1個灰度值。最大值法是將RGB圖像中三分量亮度最大的亮度值作為灰度圖像的灰度值。平均值法是以RGB圖像三分量亮度值的平均值作為灰度圖像的灰度值。加權(quán)平均法是將三分量以不同的權(quán)值進行加權(quán)平均［3］。通常情況下，人眼對綠色最敏感，而對藍色最不敏感，對RGB圖像的三分量加權(quán)平均得到灰度圖像的灰度值為

式中：i，j為圖像中某一像素點在圖像中的位置坐標(biāo)［4］；R(i，j)為該像素點的紅色度值；G(i，j)為該像素點的綠色度值；B(i，j)為該像素點的藍色度值。

本文采用加權(quán)平均法對焊縫圖像進行灰度化，焊縫原圖像以及灰度化后的灰度圖像如圖1、圖2所示。

圖1 焊縫原圖

圖2 焊縫灰度圖像

1.2 圖像增強

通過圖像增強，圖像所含信息的質(zhì)量和辨識度會得到有效提升，對于實驗觀察或者進一步的分析處理都十分有利。圖像的信息主要是通過某些特征傳達出來的，比如圖像的邊緣、輪廓以及對比度等。通過對這些圖像特征的突出和增強，可更好地顯示圖像的有效信息，提高圖像的使用價值。圖像增強按照作用域的不同可分為空域內(nèi)處理和頻域內(nèi)處理?？沼騼?nèi)處理是直接對圖像進行處理；頻域內(nèi)處理是在圖像的某個變換域內(nèi)，對圖像的變換系數(shù)進行運算，再通過逆變換獲得圖像的增強效果［5］。本文采用空域內(nèi)的圖像銳化方法對焊縫灰度圖像進行增強處理。

圖像銳化主要是指邊緣銳化，突出圖像中的邊緣或紋理，使圖像中的各種邊界更明顯。從數(shù)學(xué)的角度來看，銳化前的圖像相當(dāng)于是被“積分”了的圖像，為了達到銳化的效果，要運用“微分”運算將被“積分”了的圖像還原。在圖像銳化的過程中，需要運用到各種邊緣檢測算子，比如Roberts算子、Sobel算子、Prewitt算子和Laplace算子等，其中前3種算子為一階邊緣算子，也屬于微分算子，Laplace算子通常作為二階邊緣算子［6］。

對于離散的圖像f(x，y)，Roberts算子的灰度計算公式為

式中：Ro(i，j)為該像素點增強后的灰度值；f(i，j)、f(i+1，j+1)、f(i，j+1)、f(i+1，j)分 別為該像素點本身、右下方、右方以及正下方像素點的灰度值。

Roberts算子由兩個2階的模板組成［5］：

Sobel算子為兩個3×3矩陣［5］

這兩個算子分別代表圖像的水平和垂直梯度。

Prewitt算子大小與Sobel相同，均為3×3的算子［5］

Laplace算子是一種不依賴于邊緣方向的二階微分算子，是標(biāo)量而不是矢量。Laplace算子具有旋轉(zhuǎn)不變的性質(zhì)，在圖像處理中經(jīng)常用來提取圖像的邊緣，其表達式為

數(shù)字圖像的近似公式為［5］

在Matlab中基于以上4種算子對焊縫灰度圖像銳化后的效果如圖3所示。

由圖3可見，經(jīng)過銳化后的焊縫圖像中焊縫從背景中凸顯出來，更加清晰，且基于Laplace算子銳化后的圖像相比其他3種算子的銳化效果更加優(yōu)秀，不僅焊縫邊緣準(zhǔn)確清晰，且焊縫內(nèi)的特征也能有效體現(xiàn)出來。因此，本文選擇Laplace算子對焊縫灰度圖像進行銳化處理。

圖3 圖像增強效果

2 CNN結(jié)構(gòu)

CNN和普通的神經(jīng)網(wǎng)絡(luò)十分相似，都由大量的神經(jīng)元組成。CNN是一種前饋神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，且CNN的默認輸入都是圖像，一個CNN包括很多層，它們的輸入是三維的，輸出也是三維的。CNN通常包含輸入層、卷積層、池化層、全連接層和輸出層，有些應(yīng)用于分類問題的CNN還具有Softmax層［7］。本文采用的CNN結(jié)構(gòu)如圖4所示。

圖4 CNN結(jié)構(gòu)

（1）輸入層。輸入層是整個神經(jīng)網(wǎng)絡(luò)的輸入，在進行圖像處理的CNN中，輸入層代表著輸入圖像的像素矩陣。三維矩陣可以代表一張圖片，三維矩陣的長和寬代表圖像的大小，三維矩陣的深度代表圖像的色彩深度［8］。本文輸入層的圖像均為灰度圖像，故深度為1。從輸入層開始，CNN通過不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)將上一層的三維矩陣轉(zhuǎn)化為下一層的三維矩陣，直至最后的全連接層。

（2）卷積層。卷積層是CNN中最重要的部分，和傳統(tǒng)的全連接層不同，卷積層每個節(jié)點上的輸入只是上一層神經(jīng)網(wǎng)絡(luò)的一小塊。卷積層的目標(biāo)就是通過對神經(jīng)網(wǎng)絡(luò)中的每一個小塊進行深入分析，進而得到圖像抽象程度更高的特征，卷積層會增加原始節(jié)點的深度。

卷積層由很多個特征映射組成，每一個特征映射都包含一個卷積核，不同的特征映射所包含的卷積核也是不同的，其所能抽取的特征類型也不同。卷積核大小要根據(jù)圖像的大小來確定，卷積核過大，會產(chǎn)生過擬合，太小則很難完全提取圖像的有效特征［9］。

經(jīng)過卷積后圖像的WF（寬）和HF（高）分別為

式中：W、H為原圖像的寬和高；F為卷積核的大小；S為步長；P為邊界填充大小［10］。

卷積層中需要訓(xùn)練的參數(shù)數(shù)量只與卷積核的大小和數(shù)量有關(guān)，同時，卷積層中同一個特征映射的所有神經(jīng)元具有相同的卷積核，被稱為權(quán)值共享［11］，這樣就可降低需要訓(xùn)練的參數(shù)個數(shù)和訓(xùn)練難度。

（3）池化層。池化層能在保留卷積層有用數(shù)據(jù)的同時，降低數(shù)據(jù)的維度，進而減少CNN的計算量，提高訓(xùn)練速度。即池化層神經(jīng)網(wǎng)絡(luò)不會減少矩陣的深度，但它可以縮小矩陣的大?。?2］。經(jīng)過池化操作，可將分辨率較高的圖片變?yōu)榉直媛瘦^低的圖片，進一步縮小最后全連接層中的節(jié)點個數(shù)。同時，池化操作還可防止過度擬合［13］。

（4）全連接層。經(jīng)過多次卷積層和池化層處理之后，輸入的圖像信息已被抽象成信息含量更高的特征。隨著卷積層和池化層層數(shù)的增加，特征映射的數(shù)量越來越多，每一個特征映射具有的神經(jīng)元數(shù)量越來越少，直至神經(jīng)元的數(shù)量減少為1［14］。當(dāng)每個特征平面都只有一個神經(jīng)元的時候，網(wǎng)絡(luò)的連接變成了全連接。全連接層的每個節(jié)點都與上一層的所有節(jié)點相連，匯總提取的特征。

（5）輸出層。輸出層的神經(jīng)元個數(shù)和網(wǎng)絡(luò)具體的任務(wù)有關(guān)，對于本文的焊縫識別來說，輸出層的個數(shù)為需要檢測的焊縫情況種類。

3 CNN的訓(xùn)練和實驗

本文采用7層CNN結(jié)構(gòu)，包括3層卷積層、3層池化層和1層全連接層?；谒仓圃鞆S采集的300張焊縫圖片，由于單張圖片過大，而且單張圖片既包含焊縫缺陷位置，也包含焊縫正常位置，通過圖像分割將300張照片擴展為正常焊縫圖片500張，焊縫成形差和焊縫裂紋圖片各200張。由于條件的限制，現(xiàn)階段采集到的樣本圖片數(shù)量較少，將會影響到網(wǎng)絡(luò)的訓(xùn)練效果。本文對圖像添加噪聲、變換缺陷所處位置等方法，將正常圖片數(shù)量擴充至1 200張，其中1 000張用于網(wǎng)絡(luò)訓(xùn)練，200張用于網(wǎng)絡(luò)測試。將焊縫成形差的圖片和焊縫裂紋的圖片分別擴充至600張，各自的500張用于網(wǎng)絡(luò)訓(xùn)練，100張作為測試集用于網(wǎng)絡(luò)測試。3種訓(xùn)練樣本的圖片如圖5所示。

圖5 焊縫缺陷樣本

本文的數(shù)據(jù)集訓(xùn)練在Win10系統(tǒng)下進行，處理 器 為Intel（R）Core（TM）i7-8550U，顯 卡 為GTX 1050，內(nèi)存32 GB，CNN的訓(xùn)練和測試都是基于Matlab中的Deep Learn Toolbox-master。

CNN在訓(xùn)練過程中對網(wǎng)絡(luò)的學(xué)習(xí)率、Batch和迭代次數(shù)等進行調(diào)試，網(wǎng)絡(luò)參數(shù)的調(diào)試對于網(wǎng)絡(luò)測試的準(zhǔn)確率和效率至關(guān)重要。學(xué)習(xí)率是指在優(yōu)化算法中更新網(wǎng)絡(luò)權(quán)重的幅度大小，學(xué)習(xí)率可以恒定，也可基于動量或是自適用。過大的學(xué)習(xí)率可能會導(dǎo)致網(wǎng)絡(luò)訓(xùn)練永遠無法達到要求，過小的學(xué)習(xí)率則會使網(wǎng)絡(luò)訓(xùn)練效率變慢，有時還會出現(xiàn)局部最優(yōu)的情況。Batch是指每次輸入CNN的圖片數(shù)量。在可控的情況下，Batch值的選擇越大越好，值越大，模型下降的方向越準(zhǔn)，震蕩越小，但過大的Batch則會使收斂精度陷入不同的局部值。迭代次數(shù)是指模型訓(xùn)練過程中遍歷數(shù)據(jù)集的次數(shù)，其會直接影響模型的分類精度［15］。根據(jù)CNN的訓(xùn)練情況，最終確定學(xué)習(xí)率為0.2，Batch值為60，迭代次數(shù)為6 000。將測試集圖片輸入訓(xùn)練好的CNN，測試結(jié)果準(zhǔn)確率如表1所示。

表1 測試結(jié)果

根據(jù)測試結(jié)果可以看出，本文的CNN對于檢測識別風(fēng)機塔筒焊縫是否存在焊縫成形差和裂紋缺陷具有很高的識別準(zhǔn)確率。

4 結(jié) 語

目前風(fēng)機塔筒的焊縫外部缺陷檢測主要是通過人工檢測，本文提出的基于CNN的檢測方法具有耗時短、魯棒性高的特點，經(jīng)過實驗測試也具有很高的檢測準(zhǔn)確率。在之后的研究中，需要進一步提高學(xué)習(xí)樣本的數(shù)量和樣本的多樣化，增強樣本的采集質(zhì)量，優(yōu)化神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，從而提高網(wǎng)絡(luò)的檢測準(zhǔn)確率。