新華電力發(fā)展投資有限公司 賀振華 劉 暢 裴 勝

新能源開發(fā)和利用是當(dāng)前全球能源領(lǐng)域的熱門話題。隨著全球能源需求的不斷增長(zhǎng)和環(huán)境問題的日益凸顯，清潔可再生能源的開發(fā)和利用已成為全球能源領(lǐng)域的重要發(fā)展方向。在這方面，風(fēng)能作為一種清潔可再生能源，具有廣闊的發(fā)展前景，其具有無污染、無排放、能源取之不盡的特點(diǎn)，已成為世界各國(guó)重點(diǎn)發(fā)展的清潔能源之一。然而，由于風(fēng)能發(fā)電設(shè)備的工作環(huán)境惡劣，例如海洋風(fēng)電場(chǎng)，設(shè)備長(zhǎng)期處于海上受風(fēng)浪侵蝕，容易導(dǎo)致發(fā)電機(jī)葉片的損壞，從而影響設(shè)備運(yùn)行。

因此，及時(shí)、準(zhǔn)確地診斷故障成為風(fēng)能發(fā)電設(shè)備維護(hù)中的重要環(huán)節(jié)。隨著人工智能和機(jī)器學(xué)習(xí)技術(shù)的不斷發(fā)展，基于這些技術(shù)的風(fēng)能發(fā)電設(shè)備檢測(cè)和診斷技術(shù)已經(jīng)應(yīng)用于實(shí)際生產(chǎn)中。這些技術(shù)可通過對(duì)設(shè)備的實(shí)時(shí)監(jiān)測(cè)和數(shù)據(jù)分析，識(shí)別并預(yù)測(cè)故障，及時(shí)采取維護(hù)措施，提高設(shè)備的可靠性和穩(wěn)定性，降低設(shè)備運(yùn)行成本和維護(hù)費(fèi)用，為實(shí)現(xiàn)可持續(xù)能源目標(biāo)貢獻(xiàn)力量。

1 現(xiàn)狀

針對(duì)風(fēng)能發(fā)電設(shè)備的葉片損傷診斷，目前有三種方法：基于人工的檢測(cè)、基于故障字典的模式識(shí)別，以及基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的故障診斷。

傳統(tǒng)的人工檢測(cè)方式需要專業(yè)人員進(jìn)行高空檢測(cè)，其成本高，安全風(fēng)險(xiǎn)大，且穩(wěn)定性差。而基于故障字典的模式識(shí)別方法需要事先建立和查詢字典，無法識(shí)別新型故障，也存在很多限制。相比之下，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法不需要人力高空檢測(cè)，可以從葉片的多模態(tài)數(shù)據(jù)中提取特征進(jìn)行自動(dòng)化診斷，安全系數(shù)高。同時(shí)，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法能夠利用大量的數(shù)據(jù)進(jìn)行訓(xùn)練，能夠識(shí)別新型故障，具有更好的泛化性能和適應(yīng)性。因此，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法能夠提高設(shè)備維護(hù)效率，降低能源生產(chǎn)成本，是風(fēng)能設(shè)備故障診斷領(lǐng)域的重要研究方向之一。

而基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方法中，多模態(tài)診斷的效率往往高于單模態(tài)。相比于傳統(tǒng)的方法，多模態(tài)診斷具有更高的檢測(cè)精度和效率。同時(shí)，多模態(tài)診斷可以利用不同模態(tài)之間的互補(bǔ)信息，提高診斷的可靠性和準(zhǔn)確性，對(duì)于一些難以檢測(cè)的隱蔽性故障也具有更好的診斷能力。因此，多模態(tài)診斷是未來風(fēng)能設(shè)備故障診斷的重要方向之一，能夠更好地提高設(shè)備維護(hù)效率，降低能源生產(chǎn)成本，促進(jìn)可持續(xù)能源的發(fā)展。

基于以上現(xiàn)狀，本文提出了一種多模態(tài)數(shù)據(jù)融合的風(fēng)機(jī)葉片故障診斷的方法，從圖像、聲音、振動(dòng)三個(gè)模態(tài)獲得數(shù)據(jù)，在多模態(tài)的角度對(duì)葉片健康狀況進(jìn)行診斷。

2 多模態(tài)融合診斷的模型介紹

模型圖介紹如下：在這個(gè)故障診斷模型中，利用無人機(jī)、麥克風(fēng)、振動(dòng)傳感器獲得了風(fēng)機(jī)葉片的圖像、聲音和振動(dòng)三個(gè)模態(tài)的數(shù)據(jù)。然后，針對(duì)這三種模態(tài)的數(shù)據(jù)，分別構(gòu)建了圖像模態(tài)和聲振混合模態(tài)兩個(gè)模型。其中，圖像模態(tài)的模型對(duì)圖像進(jìn)行了處理，然后使用CBAM-Resnet進(jìn)行訓(xùn)練，最終得到了圖像模態(tài)的檢測(cè)模型；而聲振混合模型則是基于1D-CNN進(jìn)行設(shè)計(jì)的，用于處理聲音和振動(dòng)模態(tài)數(shù)據(jù)的融合，通過對(duì)聲振融合后的數(shù)據(jù)進(jìn)行訓(xùn)練，最終得到了聲振融合模態(tài)的檢測(cè)模型。這兩個(gè)模型分別利用不同的模態(tài)進(jìn)行故障檢測(cè)，通過綜合分析不同模態(tài)的結(jié)果，能夠提高故障檢測(cè)的準(zhǔn)確率和可靠性，為風(fēng)能設(shè)備的維護(hù)和運(yùn)營(yíng)提供更好的支持。

圖1 模型圖

ResNet是一種深度卷積神經(jīng)網(wǎng)絡(luò)，由多個(gè)卷積層、池化層、全連接層和輸出層構(gòu)成，可有效提取輸入圖像的特征向量[1]。在處理風(fēng)機(jī)葉片圖像時(shí)，由于存在光照不均、背景復(fù)雜、缺陷占比小等問題，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)可能難以準(zhǔn)確提取特征。因此，為了解決這個(gè)問題，引入了注意力機(jī)制。CBAM是一種低成本的注意力引入方式，其包括通道注意力和空間注意力兩部分，可以在幾乎不增加計(jì)算成本的情況下提高特征質(zhì)量[2]。

圖2 CBAM-Resnet結(jié)構(gòu)

通道注意力機(jī)制用于學(xué)習(xí)各個(gè)通道之間的相互依賴關(guān)系，通過對(duì)通道維度進(jìn)行加權(quán)，提高了卷積層輸出的質(zhì)量?？臻g注意力機(jī)制則用于學(xué)習(xí)圖像中不同位置的重要性，通過對(duì)空間維度進(jìn)行加權(quán)，可以進(jìn)一步提高特征的區(qū)分度。在將CBAM應(yīng)用到ResNet中時(shí)，通過將注意力機(jī)制引入到每個(gè)ResNet塊中，可以進(jìn)一步提高風(fēng)機(jī)葉片缺陷檢測(cè)的準(zhǔn)確率和魯棒性。試驗(yàn)證明，將CBAM應(yīng)用到ResNet中可以顯著提高風(fēng)機(jī)葉片缺陷檢測(cè)的效果。相比傳統(tǒng)的ResNet模型，引入CBAM后的模型具有更好的特征表達(dá)能力和魯棒性，可以更準(zhǔn)確地檢測(cè)風(fēng)機(jī)葉片的缺陷。

1D-CNN模型是一種卷積神經(jīng)網(wǎng)絡(luò)（CNN）的形式，用于處理一維數(shù)據(jù)[3]。其通常包括輸入層、卷積層和Softmax層，接收一維向量作為振動(dòng)信號(hào)的輸入，并對(duì)該向量進(jìn)行多次卷積和池化操作。每個(gè)卷積核都可以學(xué)習(xí)特定的特征，比如振動(dòng)信號(hào)的頻率、振幅、振動(dòng)模式等。在經(jīng)過多次卷積和池化后，1D-CNN模型最終輸出一個(gè)全連接向量，該向量包含了該振動(dòng)信號(hào)的各種特征信息。1D-CNN模型的訓(xùn)練是通過反向傳播算法實(shí)現(xiàn)的。在訓(xùn)練過程中，模型的輸出結(jié)果會(huì)與實(shí)際結(jié)果進(jìn)行比較，計(jì)算出誤差，并根據(jù)誤差調(diào)整模型參數(shù)。

隨著訓(xùn)練的進(jìn)行，模型會(huì)逐漸調(diào)整自身，使得其能夠更好地適應(yīng)訓(xùn)練數(shù)據(jù)，并在測(cè)試數(shù)據(jù)上表現(xiàn)出更好的泛化性能。通常情況下，訓(xùn)練數(shù)據(jù)會(huì)被分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，以便對(duì)模型進(jìn)行評(píng)估和比較。1D-CNN模型在振動(dòng)信號(hào)分析和診斷領(lǐng)域中得到了廣泛應(yīng)用。該模型能夠自動(dòng)提取信號(hào)中的特征，并且相較于傳統(tǒng)的振動(dòng)信號(hào)分析方法，具有更高的準(zhǔn)確性和效率。

圖3 1D-CNN模型

模型的使用流程：模型的使用包括兩個(gè)過程，第一個(gè)過程是模型的訓(xùn)練，第二個(gè)是基于訓(xùn)練好的模型進(jìn)行故障的診斷。

該模型的訓(xùn)練基于大量的多模態(tài)風(fēng)機(jī)葉片數(shù)據(jù)，這些數(shù)據(jù)包括聲音、振動(dòng)和圖像等多種模態(tài)。為了充分利用這些數(shù)據(jù)，模型采用了多層多模態(tài)數(shù)據(jù)融合的方法，將不同模態(tài)的數(shù)據(jù)進(jìn)行有機(jī)結(jié)合，從而獲得更加全面和準(zhǔn)確的特征表示。在第一步中，模型需要對(duì)聲音和振動(dòng)數(shù)據(jù)進(jìn)行融合。通過使用1D-CNN的多層卷積對(duì)振動(dòng)和聲音向量進(jìn)行處理，可以獲得降維后的向量。這些向量將被聯(lián)接成聲振混合向量，進(jìn)而用于故障判別。通過這種方法，模型可以同時(shí)利用振動(dòng)和聲音數(shù)據(jù)，提高檢測(cè)的準(zhǔn)確率和魯棒性。

在第二步中，模型使用梯度下降法對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，以得到聲振模態(tài)的診斷模型。通過訓(xùn)練模型，可以提高模型的診斷準(zhǔn)確率和魯棒性，從而更好地捕捉到風(fēng)機(jī)葉片故障的本質(zhì)特征。此外，為了提高模型的診斷能力，模型還包括基于圖像模態(tài)的診斷模型。該模型使用ResNet網(wǎng)絡(luò)處理風(fēng)機(jī)葉片的圖像數(shù)據(jù)，并根據(jù)獲得的故障數(shù)據(jù)進(jìn)行訓(xùn)練。通過這種方法，可以有效地處理圖像中的噪聲和背景復(fù)雜度等問題，提高診斷的準(zhǔn)確性。

最后，模型將聲振模態(tài)和圖像模態(tài)的診斷結(jié)果進(jìn)行融合，得到一個(gè)綜合模型。該模型能夠更好地捕捉到風(fēng)機(jī)葉片故障的本質(zhì)特征，提高診斷的準(zhǔn)確性。

在基于訓(xùn)練好的模型進(jìn)行故障診斷時(shí)，需要獲得葉片的多模態(tài)數(shù)據(jù)。在進(jìn)行診斷前，需要對(duì)獲得的葉片數(shù)據(jù)進(jìn)行預(yù)處理，包括噪聲濾波、數(shù)據(jù)歸一化等操作，以確保數(shù)據(jù)質(zhì)量和一致性。接下來，將預(yù)處理后的數(shù)據(jù)輸入到模型中，模型將從多個(gè)數(shù)據(jù)源獲取信息，如聲音、振動(dòng)、圖像等，將不同模態(tài)的數(shù)據(jù)進(jìn)行有機(jī)結(jié)合，從而獲得更加全面和準(zhǔn)確的特征表示。

模型將對(duì)每個(gè)模態(tài)的數(shù)據(jù)進(jìn)行處理和分析，然后將結(jié)果進(jìn)行融合，得到綜合的診斷結(jié)果。這個(gè)綜合結(jié)果可以直接用于葉片的故障診斷，也可以通過結(jié)合專家經(jīng)驗(yàn)和其他外部信息，提高診斷的準(zhǔn)確性和可靠性。需要注意的是，模型診斷結(jié)果只是作為參考，最終的判斷結(jié)果還需要人工進(jìn)行確認(rèn)和判斷。當(dāng)診斷結(jié)果和實(shí)際情況不符時(shí)，需要進(jìn)一步分析和修正模型，以提高模型的準(zhǔn)確性和可靠性。

圖4 聲振數(shù)據(jù)的混合檢測(cè)模型

該模型可被裝載到風(fēng)機(jī)遠(yuǎn)程檢測(cè)系統(tǒng)中進(jìn)行風(fēng)機(jī)葉片的故障檢測(cè)，檢測(cè)系統(tǒng)可以遠(yuǎn)程收集到葉片的各項(xiàng)狀態(tài)指標(biāo)，通過5G信號(hào)發(fā)射器等方式發(fā)送到檢測(cè)端，檢測(cè)端對(duì)于收集到的葉片的信號(hào)進(jìn)行處理，得到葉片故障的診斷，反饋給人工，人工可以進(jìn)行進(jìn)一步檢測(cè)。這樣的檢測(cè)方式實(shí)現(xiàn)了遠(yuǎn)程監(jiān)控，同時(shí)檢測(cè)的準(zhǔn)確率得到提升，并且降低了檢測(cè)成本。

在試驗(yàn)驗(yàn)證部分，通過構(gòu)建模擬風(fēng)機(jī)平臺(tái)對(duì)模型進(jìn)行訓(xùn)練和驗(yàn)證。平臺(tái)的構(gòu)建包括模擬風(fēng)機(jī)的構(gòu)建和風(fēng)機(jī)故障對(duì)照組的設(shè)置。對(duì)照組包括三組：正常葉片風(fēng)機(jī)、磨損葉片風(fēng)機(jī)、斷裂葉片風(fēng)機(jī)。

通過該模型在模擬平臺(tái)上的驗(yàn)證得到，該模型相比單一模態(tài)的模型具有更好的泛化能力。同時(shí)對(duì)于故障檢測(cè)的準(zhǔn)確率也有所提升。

試驗(yàn)結(jié)果顯示，該模型可以更好地檢測(cè)出風(fēng)機(jī)葉片缺陷，尤其是在復(fù)雜環(huán)境下具有更好的魯棒性。此外，該模型還具有更好的泛化能力，即在不同的測(cè)試數(shù)據(jù)集上也能表現(xiàn)出很好的性能。這為風(fēng)機(jī)設(shè)備的故障診斷和維護(hù)提供了有效的工具和手段。通過使用多模態(tài)模型，可以更快速、準(zhǔn)確地檢測(cè)出風(fēng)機(jī)葉片缺陷，幫助設(shè)備維護(hù)人員更好地了解設(shè)備的狀態(tài)并采取相應(yīng)的措施，從而保證設(shè)備的正常運(yùn)行和延長(zhǎng)其壽命。

該模型的提出可以為風(fēng)能設(shè)備運(yùn)維帶來多方面的積極影響。首先，基于深度學(xué)習(xí)的檢測(cè)系統(tǒng)可以提高葉片損壞檢測(cè)的準(zhǔn)確率，多模態(tài)數(shù)據(jù)融合，可以更快速、精確地檢測(cè)出葉片的故障。其次，該模型可以實(shí)現(xiàn)遠(yuǎn)程監(jiān)控和線上檢測(cè)，通過傳感器獲取數(shù)據(jù)后實(shí)時(shí)分析和診斷，大大降低了檢測(cè)的成本，并且減少了現(xiàn)場(chǎng)檢測(cè)的安全風(fēng)險(xiǎn)。最后，該系統(tǒng)的泛用性廣，可以對(duì)多種環(huán)境下風(fēng)電設(shè)備的故障檢測(cè)都具有積極的影響。綜上所述，該模型的提出對(duì)于風(fēng)能設(shè)備運(yùn)維具有重要意義，有望對(duì)風(fēng)能行業(yè)檢測(cè)技術(shù)領(lǐng)域的產(chǎn)生積極影響。