李 姣， 郭 鵬

(華北電力大學(xué) 控制與計算機工程學(xué)院，北京 102206)

0 引 言

風(fēng)電機組葉片將風(fēng)能轉(zhuǎn)換成機械能進而轉(zhuǎn)為電能，是風(fēng)電機組獲取風(fēng)能的關(guān)鍵部件，因為風(fēng)電機組長期運行在自然條件極其惡劣的環(huán)境中，葉片表面極易產(chǎn)生裂紋、腐蝕、剝落等故障，常采用無人機拍攝風(fēng)機圖像作為數(shù)據(jù)來源[1]，由于無人機拍攝需要與葉片角度保持一致，而葉片要及時調(diào)整對風(fēng)角度，無法時刻與光照直射角度垂直，常會出現(xiàn)光照條件不佳、故障被陰影遮擋的圖像數(shù)據(jù)。常規(guī)計算機視覺算法無法分辨陰影邊緣和風(fēng)電機組葉片邊緣，導(dǎo)致識別準確率低下。若對其及時準確識別分類，能極大的降低經(jīng)濟損失，確保葉片良好運行，消除安全隱患。

陰影檢測主要分為兩類，一類是基于某些先驗知識的傳統(tǒng)方法[2，3]。文獻[4]利用適應(yīng)Gamma校正預(yù)處理優(yōu)化算法對處于光照不均環(huán)境的圖像進行處理，通過Gamma校正對光照分量進行校正處理，但這種所需樣本較多，若實際樣本數(shù)據(jù)量少則效果不佳。文獻[5]利用了將直方圖均衡化與同態(tài)濾波兩種方法融合的圖像增強算法，但其算法運行時間較慢，實時性差。

另一種是深度學(xué)習(xí)方法，采用監(jiān)督數(shù)據(jù)來建立魯棒模型[6-8]。然而，當(dāng)模型結(jié)構(gòu)不佳時，這種深度學(xué)習(xí)方法往往會在陰影去除結(jié)果中出現(xiàn)顏色失真或其他問題。文獻[9]通過小波變換對光照不均圖像進行增強處理，利用卷積和循環(huán)深度神經(jīng)網(wǎng)絡(luò)使光照不均的文本圖像改善。但該種方法僅適合研究對象為黑白文本圖像，對于其他非黑白圖像數(shù)據(jù)效果不佳。文獻[10]利用改進的生成對抗網(wǎng)絡(luò)算法訓(xùn)練了霧霾圖像生成像素與像素之間的映射關(guān)系， 實現(xiàn)無霧圖像與有霧圖像之間的轉(zhuǎn)換，但該模型的算法存在參數(shù)不確定性和應(yīng)用場景局限性，對其他場景適應(yīng)性差。Nguyen和Wang等人基于一個新的堆疊條件產(chǎn)生式對抗網(wǎng)路進行檢測陰影區(qū)域和去除陰影重建場景[11，12]。

對于圖像分類領(lǐng)域，近幾年CNN應(yīng)用十分廣泛，文獻[13]利用三維多通道卷積神經(jīng)網(wǎng)絡(luò)以提取高光譜圖像的空譜聯(lián)合信息,并挖掘深層特征實現(xiàn)分類。文獻[14]利用改進的卷積神經(jīng)網(wǎng)絡(luò)，通過多尺度壓縮激勵模塊將卷積層中得特征進行重新標定以提高分類準確率。但該類方法并未考慮工業(yè)實際圖像具有光照不均得情況，針對復(fù)雜光照背景的圖像沒有做出合理的處理。

本文使用專注遞歸生成對抗網(wǎng)絡(luò)(Attentive Recurrent Generative Adversarial Network，ARGAN)來檢測陰影區(qū)域以及減弱陰影對故障分類識別的影響。專注遞歸生成對抗網(wǎng)絡(luò)包括生成器和判別器，在生成器中的每一個漸進步驟中，都會使用陰影處理檢測器來生成處理圖，并在生成器中使用專注重復(fù)單元，以實現(xiàn)更好的陰影去除效果。利用陰影去除編碼器，將先前的陰影去除圖像和當(dāng)前檢測到的陰影結(jié)合，以獲得負殘差用于生成無陰影或弱陰影圖像。將生成的圖像再通過卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，從而得到識別概率較高的圖像分類結(jié)果。

1 風(fēng)電機組葉片表面基本故障

風(fēng)電機組葉片的缺陷或損壞不僅會降低風(fēng)電機組的使用壽命和發(fā)電效率，也會增加監(jiān)控失誤、安全風(fēng)險和維護成本，因此及時識別葉片故障對機組安全運行十分重要。葉片故障損傷類型有多種，包括運輸過程中的損傷以及運行過程中的損傷。本文主要研究風(fēng)機葉片運行中的故障。

1.1 剝落

風(fēng)電機組葉片剝落主要發(fā)生在與空氣摩擦碰撞的表面，由于風(fēng)機常處于環(huán)境惡劣地區(qū)，剝落是頻繁出現(xiàn)并且危害風(fēng)機運維安全的故障。如圖1所示，現(xiàn)場采集到的圖像數(shù)據(jù)中又出現(xiàn)了故障被陰影所遮擋導(dǎo)致識別概率不佳的情況。故而本文著重針對風(fēng)電機組葉片剝落的圖像數(shù)據(jù)作為分析對象。

圖1 風(fēng)電機組葉片剝落圖像Fig.1 Diagram of wind turbine spalling

1.2 裂紋

風(fēng)電機組葉片由于考慮成本效益和重量因素，一般采用性價比高、重量輕的纖維材料制造。如圖2所示，由于葉片長期處于陣風(fēng)、惡劣天氣、不可預(yù)測的空氣動力、雷擊和重力荷載等極端條件下，纖維材料會受到損壞，從而導(dǎo)致葉片表面出現(xiàn)裂紋。

圖2 風(fēng)電機組葉片裂紋圖像Fig.2 Diagram of wind turbine cracking

1.3 腐蝕

風(fēng)電機組葉片腐蝕常發(fā)生于沿海風(fēng)場，如圖3所示，由于海水蒸發(fā)鹽分和空氣中的污垢混合形成鹽霧，被鹽霧附著的葉片直接暴露在惡劣的環(huán)境中，承受著不斷變化的載荷和自重引起的循環(huán)疲勞載荷，經(jīng)歷極端的溫度和濕度變化，導(dǎo)致葉片表面材料固性下降，逐漸被腐蝕。

圖3 風(fēng)電機組葉片腐蝕圖像Fig.3 Diagram of wind turbine corrosion

2 葉片表面陰影檢測與消除

本文采取專注遞歸生成對抗網(wǎng)絡(luò)(ARGAN)用于陰影的檢驗和減弱，得到經(jīng)過處理的圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進行分類處理。如圖4所示，詳細展示了ARGAN預(yù)處理與遷移學(xué)習(xí)故障識別的流程。

圖4 ARGAN預(yù)處理與遷移學(xué)習(xí)葉片故障識別流程圖Fig.4 Flow chart of blade fault identification based on ARGAN preprocessing and transfer learning

其中，專注遞歸生成對抗網(wǎng)絡(luò)用來找到有陰影的圖像和與之相對應(yīng)的無陰影的圖像之間的映射關(guān)系。專注遞歸生成對抗網(wǎng)絡(luò)包含一個生成器和一個判別器，其中生成器包含用于陰影檢測和去除的多個漸進步驟，對于在生成器的最后一步生成的陰影去除圖像，利用判別器進行分類。與其他生成對抗網(wǎng)絡(luò)不同的是，ARGAN包含包含多個漸進步驟，并在生成器中使用專注重復(fù)單元，以實現(xiàn)更好的陰影去除效果。圖5為專注遞歸生成對抗網(wǎng)絡(luò)結(jié)構(gòu)圖，其中生成器由n個陰影注意檢測器和n個陰影圖像編碼器組成，用來生成一個沒有陰影或弱陰影的圖像，判別器由5個卷積層和全連接層構(gòu)成，用來判斷最終輸出圖像是否真實。

圖5 專注遞歸生成網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Structure diagram of ARGAN

2.1 生成網(wǎng)絡(luò)

生成網(wǎng)絡(luò)不需要嚴格的生成數(shù)據(jù)的表達式，這就避免了如果數(shù)據(jù)非常復(fù)雜時，復(fù)雜度過度增長導(dǎo)致的計算量突增而無法計算[15]。

如圖5所示，生成網(wǎng)絡(luò)由N個漸進步驟組成，每個步驟有一個陰影處理檢測器用來檢測到陰影區(qū)域，一個通過長、短期記憶(LSTM)形成的循環(huán)單元可以形成循環(huán)網(wǎng)絡(luò)，其中LSTM可以充分利用循環(huán)網(wǎng)絡(luò)中前一步的中間輸出作為前一步，生成后一步陰影區(qū)域的處理圖。

通過不同形式的專題性質(zhì)的內(nèi)容學(xué)習(xí)，學(xué)生可以更全面、更深入地認識和體會課內(nèi)單篇文本。為了實現(xiàn)教學(xué)的有效性，教師應(yīng)根據(jù)教學(xué)目標或者學(xué)生情況的不同，在教學(xué)內(nèi)容設(shè)計時，或選擇單篇教學(xué)，或選擇不同形式的專題教學(xué)，這樣也會形成同課異構(gòu)中“異構(gòu)”的不同精彩。

圖6 生成網(wǎng)絡(luò)原理示意圖 Fig.6 Schematic diagram of generative network principle

其中陰影檢測器設(shè)計為10個卷積層，通道數(shù)為64，LSTM層和卷積層各一個，具有批處理規(guī)范化和泄漏ReLU激活函數(shù)(Conv+BN+LRelu)，可從輸入圖像中提取特征。所有陰影檢測器具有相同的結(jié)構(gòu)，每個輸出都是一個矩陣，矩陣的值在0到1之間，值越大則該區(qū)域被標記為陰影區(qū)域概率更高，通過賦予不同的值可以有效區(qū)分圖像中的陰影區(qū)域和其他區(qū)域。

陰影去除編碼器是為了去除或減弱圖像中的陰影，利用了負殘差的思想。陰影去除編碼器將圖像與陰影結(jié)合起來，并且將檢測到的陰影區(qū)域生成負殘差，以恢復(fù)陰影較淡的圖像。

陰影消除編碼器原理公式如下：

(1)

(2)

式中：I為輸入圖像；Ai為陰影注意圖；Gdet為陰影注意檢測器；Grem為陰影去除編碼器；Qi為輸出圖像。

如圖7所示，編碼器使用Conv+BN+LReLU從圖像中提取特征，再利用批處理歸一化的反卷積層和ReLU激活函數(shù)生成具有特定分布特征數(shù)據(jù)的圖像。

圖7 判別網(wǎng)絡(luò)原理示意圖Fig.7 Schematic diagram of discriminant network principle

2.2 判別網(wǎng)絡(luò)

判別器相當(dāng)于一個二進制分類器，用來預(yù)測發(fā)生器的最終輸出圖像是真是假。經(jīng)過生成器處理后能減弱陰影部分，最后判別器判別照片為真實。為了使ARGAN更加穩(wěn)定，采用譜歸一化方法。判別網(wǎng)絡(luò)結(jié)構(gòu)包含五個Conv+BN+LRelu函數(shù)和一個全連接層，全連接層輸出輸入圖像的概率值，通過計算偽圖像和真實圖像的交叉熵損失來區(qū)分偽圖像和真實圖像。

3 風(fēng)電機組葉片故障識別

卷積神經(jīng)網(wǎng)絡(luò)可以直接對二維圖像進行處理，因此在圖像處理方面得到了廣泛的應(yīng)用，并取得了較多的研究成果，該網(wǎng)絡(luò)通過簡單的非線性模型從原始圖像中提取出更加抽象的特征，并且在整個過程中只需少量的人工參與[16]。

3.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)引入三個核心思想：局部感知(local field)，權(quán)值共享(shared weights)，下采樣(subsampling)，局部感知即卷積神經(jīng)網(wǎng)絡(luò)提出每個神經(jīng)元不需要感知圖像中的全部像素，只對圖像的局部像素進行感知，然后在更高層將這些局部的信息進行合并，從而得到圖像的全部表征信息[17]。如圖8所示，卷積神經(jīng)網(wǎng)絡(luò)不同層的神經(jīng)單元采用局部連接的方式，即每一層的神經(jīng)單元只與前一層部分神經(jīng)單元相連，每個神經(jīng)單元只響應(yīng)感受野內(nèi)的區(qū)域，這樣的局部連接模式保證了學(xué)習(xí)到的卷積核對輸入的空間局部模式具有最強的響應(yīng)，權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量[18]。

圖8 卷積神經(jīng)網(wǎng)絡(luò)原理示意圖 Fig.8 Schematic diagram of convolution neural network

卷積層主要模擬生物感受器官中的刺激區(qū)域—感受野，利用不同大小的卷積核(常見有1×1，3×3，5×5)與前一層輸入數(shù)據(jù)卷積來提取特征。卷積層與池化層交替出現(xiàn)，一方面有助于降低模型參數(shù)，另一方面可以減小過擬合。池化層卷積核通常大小為2×3。卷積層卷積核深度都與當(dāng)前層深度一致，只需要在長、寬兩維度移動，池化層卷積核還需要在深度上移動。

全連接層全連接主要用于綜合特征，經(jīng)過卷積池化后，對于輸入數(shù)據(jù)來說已經(jīng)提取到更高層的特征，全連接層將這些特征綜合起來，將結(jié)果傳輸給下一層，從而做分類。

在訓(xùn)練過程中，需要對權(quán)值偏置進一步調(diào)整，調(diào)整參考值參考交叉熵代價函數(shù)，之所以選擇使用交叉熵，是因為當(dāng)誤差越大時，權(quán)值和偏置調(diào)整的幅度就越大，當(dāng)誤差變小時，權(quán)值和偏置調(diào)整的幅度也會變小。如果交叉熵值越小則模型效果越好。而過擬合的存在會影響模型對新數(shù)據(jù)的判斷，通常表現(xiàn)為模型太復(fù)雜、數(shù)據(jù)量小，對已存在數(shù)據(jù)有接近 100%的準確率，而對于新數(shù)據(jù)判斷能力不足，因為網(wǎng)絡(luò)在訓(xùn)練過程中已經(jīng)記住存在的數(shù)據(jù)，為了避免過擬合，采用 Dropout 的方法暫時摘除部分節(jié)點。

3.2 遷移學(xué)習(xí)思想

遷移學(xué)習(xí)是將一個問題上訓(xùn)練好的模型通過簡單的調(diào)整使其適應(yīng)一個新的問題，被遷移的模型往往是使用大量樣本訓(xùn)練出來的，例如Google提供的Inception-v3網(wǎng)絡(luò)模型使用ImageNet數(shù)據(jù)集訓(xùn)練，而ImageNet中有120萬標注圖片[20]。然而在實際應(yīng)用中，很難收集到如此多的風(fēng)電機組葉片樣本數(shù)據(jù)，由于風(fēng)電機組葉片圖像數(shù)據(jù)不足，若直接識別則會造成過擬合，為此本文利用了遷移學(xué)習(xí)的思想。

Inception-v3屬于卷積神經(jīng)網(wǎng)絡(luò)的一種，該模型參考AlexNet，將AlexNet中的全連接層替換為平均池化層，極大地降低了模型參數(shù)數(shù)量，同時使用非對稱卷積核提高多樣性[21]。Inception-v3模型可以對1 000種圖片進行圖像分類，訓(xùn)練好的模型的倒數(shù)第二層已經(jīng)過訓(xùn)練，可以輸出一組足夠好的值，以便分類器用來區(qū)分要求識別的所有類,重新訓(xùn)練最后一層就可以完成風(fēng)電機組葉片的分類任務(wù)[22]。

該模型深度達到46層，由11個Inception模塊組成，Inception模塊示意圖如圖9所示, Inception的結(jié)構(gòu)為不同大小卷積核按照并聯(lián)的方式連在一起，共同作用于輸入，利用不同大小的卷積核提取不同的特征，然后組合在一起共同輸出。

圖9 Inception-v3模型流程示意圖Fig.9 Schematic diagram of Inception-v3 model

3.3 風(fēng)電機組葉片識別結(jié)果

為了研究經(jīng)過ARGAN算法的葉片圖像處理效果，采用同態(tài)濾波算法，直方圖均衡化兩種傳統(tǒng)的光照不均處理方法以及兩種生成對抗網(wǎng)絡(luò)的變體方法作為對比。

如圖10，圖10(a)為原始圖像數(shù)據(jù)識別結(jié)果，圖10(b)為經(jīng)過同態(tài)濾波處理后的圖像數(shù)據(jù)識別結(jié)果，圖10(c)為經(jīng)過直方圖均衡化處理的圖像數(shù)據(jù)識別結(jié)果，圖10(d)為經(jīng)過條件生成對抗網(wǎng)絡(luò)(CGAN)處理后的圖像數(shù)據(jù)識別結(jié)果，圖10(e)為經(jīng)過深度卷積生成對抗網(wǎng)絡(luò)(DCGAN)處理的圖像數(shù)據(jù)識別結(jié)果，圖10(d)為經(jīng)過ARGAN處理的數(shù)據(jù)識別結(jié)果。

由圖10可以明顯的看出，雖然傳統(tǒng)的處理方法對于光照不均的圖像相比原始數(shù)據(jù)有一定的優(yōu)化程度，但同時也弱化了葉片故障區(qū)域的特征，導(dǎo)致雖然能分類正確，但概率并不高。對于兩種生成對抗網(wǎng)絡(luò)的方法，即條件式生成對抗網(wǎng)絡(luò)和深度卷積生成對抗網(wǎng)絡(luò)都在生成對抗網(wǎng)絡(luò)本體做了一定程度的優(yōu)化改進，但針對風(fēng)電機組故障葉片這個復(fù)雜場景應(yīng)用卻不如ARGAN效果好。本文所采用的方法在真實保留葉片故障區(qū)域特征的同時，降低了陰影區(qū)域?qū)δＰ妥R別分類的干擾，較大程度的提高了識別精度，可使識別概率由原始數(shù)據(jù)的54%提高到89%。

圖10 風(fēng)機故障葉片圖像識別結(jié)果Fig.10 Image recognition results of fan fault blade

本實驗用RMSE進行陰影去除的定量比較，可以由圖10和表1中各種方法準確率、訓(xùn)練時間以及RSME值的對比得到，算法越復(fù)雜訓(xùn)練時間相對越長，相比其他幾種方法，經(jīng)過專注遞歸生成對抗網(wǎng)絡(luò)對光照不均的圖像處理后，再由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)分類的風(fēng)電機組葉片識別概率最高，可接近90%，并且降低了均方根誤差。

表1 陰影處理葉片識別結(jié)果對比

由ARGAN處理后的模型識別損失函數(shù)如圖11，由圖11可以看出隨著模型訓(xùn)練次數(shù)不斷增加，損失函數(shù)逐漸減小，最終穩(wěn)定在[0～0.1]區(qū)間內(nèi)。

圖11 葉片識別損失函數(shù)變化曲線Fig.11 Variation curve of blade identification loss function

由陰影處理葉片識別對比結(jié)果和損失函數(shù)變化曲線驗證了相比于其他的圖像處理方法，經(jīng)過專注遞歸生成對抗網(wǎng)絡(luò)對光照不均的圖像處理后，再由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)分類的風(fēng)電機組葉片識別概率最高，這種方法對于有陰影遮擋的風(fēng)電機組葉片故障有較好的分類識別效果。

4 結(jié) 論

本文針對光照不均，故障被陰影遮擋的風(fēng)電機組葉片先進行專注遞歸生成對抗網(wǎng)絡(luò)預(yù)處理，處理后的圖片再經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)進行分類識別，通過與兩種傳統(tǒng)的陰影處理方法以及其他GAN方法對比，可看出由ARGAN處理后的圖像分類識別效果最佳。因此得出以下結(jié)論：

(1) 利用專注遞歸生成對抗網(wǎng)絡(luò)對光照不均，有陰影遮擋故障的風(fēng)電機組葉片圖像進行處理，可為后續(xù)葉片分類減少干擾，突出故障特征，有利于后期分類識別。

(2) 基于遷移學(xué)習(xí)的思想，利用卷積神經(jīng)網(wǎng)絡(luò)可以使樣本數(shù)據(jù)不足的風(fēng)電機組葉片有較好的識別分類結(jié)果。