焦曉峰，蔣興群，劉 波，宋 力，3，陳永艷，3，張憲琦

（1.內(nèi)蒙古電力科學(xué)研究院，呼和浩特 010020；2.內(nèi)蒙古工業(yè)大學(xué)，呼和浩特 010051；3.內(nèi)蒙古自治區(qū)可再生能源重點(diǎn)實(shí)驗(yàn)室，呼和浩特 010051；4.哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部，哈爾濱 150001）

0 引言

葉片是風(fēng)力發(fā)電機(jī)組將風(fēng)能轉(zhuǎn)變?yōu)殡娔艿年P(guān)鍵部件，在工作過程中易受風(fēng)沙、雷擊和海水等因素的破壞與腐蝕[1-4]，出現(xiàn)表面漆皮脫落、裂紋和雷擊損傷等情況，影響機(jī)組性能并帶來安全隱患[5]。

目前國內(nèi)對葉片損傷的檢測方法主要依賴于人工檢測，如使用高分辨率相機(jī)從風(fēng)力發(fā)電機(jī)組底部多角度拍攝靜止的葉片，根據(jù)圖像人工分析判定葉片健康狀況；或使用高空吊籃的方式對風(fēng)力機(jī)組葉片進(jìn)行人工檢測等。人工檢測效率低，且受人為因素影響嚴(yán)重，無法保證檢測精度，且高空作業(yè)的危險性和檢測成本高，不適合日常巡檢[6-8]。

針對上述不足，本文利用風(fēng)電場大數(shù)據(jù)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的方法[9-10]，用大量風(fēng)力機(jī)葉片圖像構(gòu)建損傷葉片圖像數(shù)據(jù)集，選取CenterNet算法[11]作為基礎(chǔ)檢測網(wǎng)絡(luò)，構(gòu)建風(fēng)機(jī)葉片損傷檢測識別模型，實(shí)現(xiàn)對葉片損傷的快速準(zhǔn)確檢測識別。骨干網(wǎng)絡(luò)采用DLA-60網(wǎng)絡(luò)[12]，并在DLA-60中引入弱監(jiān)督數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)（Weakly Supervised Data Augmentation Network，WS-DAN）算法[13]中的注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制（Attention Guided Data Augmentation），提升風(fēng)機(jī)葉片損傷檢測識別模型的精度，并通過實(shí)驗(yàn)驗(yàn)證該算法的實(shí)時性和精確性。

1 CenterNet與注意力機(jī)制相結(jié)合的風(fēng)力機(jī)葉片損傷檢測識別網(wǎng)絡(luò)

1.1 CenterNet和注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制

CenterNet算法由ZHOU等人于2019年提出[11]，將目標(biāo)檢測問題看作一個關(guān)鍵點(diǎn)估計(jì)問題。Center?Net算法大致流程如下：

（1）由主干網(wǎng)絡(luò)輸出特征圖（Feature Map）；

（2）將特征圖送入3個處理分支，分別得到熱力圖（Heat Map）、物體寬高的預(yù)測情況和物體中心距離熱力點(diǎn)偏移情況（Offset）；

（3）通過后處理過程，得到目標(biāo)物體邊界框（Bounding Boxes）。

WS-DAN算法中的注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，可使網(wǎng)絡(luò)更加關(guān)注圖像中的有效特征區(qū)域。注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制主要包含兩個操作：一是注意力剪裁（Attention Cropping），裁剪并放大其中一個注意力區(qū)域（Attention Region），增強(qiáng)局部特征呈現(xiàn)；二是注意力刪除（Attention Drop?ping），隨機(jī)從圖像中刪除一個注意力區(qū)域，以激勵網(wǎng)絡(luò)模型提取其他有識別力的部分。

1.2 DLA-60網(wǎng)絡(luò)中添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制

借鑒WS-DAN算法中的注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，在主干網(wǎng)絡(luò)DLA-60后添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，其結(jié)構(gòu)示意圖如圖1所示。添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制前，需添加注意力分支，用于提取注意力圖并作為后續(xù)的輸入。改進(jìn)后的網(wǎng)絡(luò)命名為DLATT，由主干網(wǎng)絡(luò)、注意力分支和注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制三個模塊構(gòu)成。DLATT網(wǎng)絡(luò)工作流程如下。

圖1 CenterNet主干網(wǎng)絡(luò)DLA?60添加注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制示意圖Fig.1 Diagram of DLA?60 backbone network with attention?guided data enhancement mechanism

（1）獲取特征圖。預(yù)處理后的圖片經(jīng)過主干網(wǎng)絡(luò)得到特征圖。

（2）提取注意力圖。步驟（1）中特征圖進(jìn)入注意力分支，提取出包含更多目標(biāo)物的注意力圖，為后續(xù)圖像增強(qiáng)提供基礎(chǔ)。

（3）注意力引導(dǎo)數(shù)據(jù)增強(qiáng)。依據(jù)步驟（2）中的注意力圖對原圖進(jìn)行注意力引導(dǎo)數(shù)據(jù)增強(qiáng)，主要包含兩個操作：注意力剪裁和注意力刪除。經(jīng)過注意力剪裁和刪除后，將兩次操作獲得的數(shù)據(jù)傳入后續(xù)網(wǎng)絡(luò)并進(jìn)行計(jì)算，對輸出結(jié)果計(jì)算損失并與原始損失相加，以此約束主干網(wǎng)絡(luò)，使其更加關(guān)注圖片中檢測框區(qū)域。引入注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，將原圖和增強(qiáng)后的數(shù)據(jù)都作為輸入數(shù)據(jù)進(jìn)行訓(xùn)練，使得網(wǎng)絡(luò)在不需要額外標(biāo)注信息的情況下更加關(guān)注圖像中的有效特征區(qū)域，提升了網(wǎng)絡(luò)性能。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 風(fēng)機(jī)損傷葉片圖像數(shù)據(jù)集的構(gòu)建

搜集整理內(nèi)蒙古西部多個風(fēng)電場的損傷葉片圖像共計(jì)691張，將風(fēng)機(jī)葉片表面損傷分為漆皮脫落、裂紋、雷擊、鼓包和劃痕5種類型[14-17]，各類損傷示例如圖2所示。為防止訓(xùn)練模型時出現(xiàn)過擬合現(xiàn)象，對圖像采取亮度變換、水平鏡像和圖像旋轉(zhuǎn)等方法將圖像總量擴(kuò)充為2288張，使用LabelImg圖像標(biāo)注工具，并且按照PASCAL-VOC2007數(shù)據(jù)集格式進(jìn)行標(biāo)注。訓(xùn)練集、驗(yàn)證集和測試集采用8∶1∶1比例劃分，具體數(shù)據(jù)量為訓(xùn)練集1830張，驗(yàn)證集229張，測試集229張，至此完成了風(fēng)力機(jī)損傷葉片圖像數(shù)據(jù)集的構(gòu)建。

圖2 損傷葉片圖像示例Fig.2 Sample image of damaged leaf

2.2 實(shí)驗(yàn)平臺及參數(shù)

基于Pytorch深度學(xué)習(xí)框架對構(gòu)建好的風(fēng)機(jī)葉片損傷檢測網(wǎng)絡(luò)進(jìn)行訓(xùn)練和測試。主干網(wǎng)絡(luò)的初始學(xué)習(xí)率設(shè)置為1.25e-4，共訓(xùn)練500個迭代輪次，批量大小（Batch Size）設(shè)置為4，至300個迭代輪次和400個迭代輪次時，學(xué)習(xí)率均下降90%。

在CenterNet算法中，采用損失值選取最優(yōu)模型，即當(dāng)損失值達(dá)到最低時選取此時的模型，但更低的損失值并不代表該模型準(zhǔn)確度一定最優(yōu)。為實(shí)現(xiàn)模型的最優(yōu)選取，在CenterNet算法檢測模型訓(xùn)練時，每訓(xùn)練一定量迭代輪次后再用驗(yàn)證集進(jìn)行測試，采用平均準(zhǔn)確率作為衡量模型優(yōu)劣的指標(biāo)，選取平均準(zhǔn)確率最大的模型作為最優(yōu)模型。

2.3 實(shí)驗(yàn)評價指標(biāo)

采用準(zhǔn)確率、召回率和平均準(zhǔn)確率來綜合衡量檢測算法的效果。實(shí)驗(yàn)中，設(shè)定交并比（Intersec?tion Over Union，IOU）閾值大于0.5時目標(biāo)檢測正確，式（1）和（2）分別為準(zhǔn)確率P與召回率R的計(jì)算方法。在目標(biāo)檢測中，主要通過平均準(zhǔn)確率PA來衡量分類器的性能，如式（3）所示。對于目標(biāo)檢測而言，每個類別都會計(jì)算出其P、R值，得到一條P-R曲線。PA越大，代表檢測器的檢測效果越好。平均準(zhǔn)確率均值PMA是對所有類別的平均準(zhǔn)確率值求平均，更能反映檢測器的整體性能。

式中：P—準(zhǔn)確率，即符合要求的正確識別物體的個數(shù)占總識別物體個數(shù)的百分比；

R—召回率，即符合要求的正確識別物體個數(shù)占總正確物體個數(shù)的百分比；

NTP—模型正確檢測到的目標(biāo)數(shù)量；

NFP—模型錯誤檢測到的目標(biāo)數(shù)量；

NFN—模型漏檢的目標(biāo)數(shù)量；

PA—平均準(zhǔn)確率，不同P和R點(diǎn)的組合繪出的曲線下面的面積。

2.4 實(shí)驗(yàn)結(jié)果分析

為驗(yàn)證本文提出算法的有效性，對CenterNet算法、YOLOv3算法和基于CenterNet的改進(jìn)算法在229張測試圖像上的識別結(jié)果進(jìn)行統(tǒng)計(jì)對比，結(jié)果如表1所示。

從表1可看出，CenterNet算法與YOLOv3算法平均準(zhǔn)確率均值基本相同，達(dá)到85%。CenterNet與注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制結(jié)合的風(fēng)機(jī)葉片損傷檢測識別算法平均準(zhǔn)確率均值為88.0%，比其他兩種算法整體值提升了2.6%。通過注意力機(jī)制約束主干網(wǎng)絡(luò)使其更加關(guān)注圖片中檢測框區(qū)域，實(shí)現(xiàn)對風(fēng)機(jī)葉片損傷檢測模型精度的提升，且檢測時間基本與原網(wǎng)絡(luò)持平，檢測時間具體數(shù)值見表2。采用CenterNet與注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制結(jié)合的風(fēng)機(jī)葉片損傷檢測算法的檢測效果如圖3所示。

表1 不同算法識別的平均準(zhǔn)確率Tab.1 Average accuracy of recognition by different algorithms %

表2 各模型的檢測時間對比Tab.2 Detection rate of different models

采用CenterNet與注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制結(jié)合的風(fēng)力機(jī)葉片損傷檢測算法對裂紋、雷擊、劃傷和鼓包四種損傷類型均有較好的檢測效果，其中對表面漆皮脫落損傷的檢測識別精度提高了6.1個百分點(diǎn)。由于表面漆皮脫落存在損傷特征多樣性、微小性和損傷區(qū)域雜亂性等特點(diǎn)，給檢測識別帶來了大量的干擾，導(dǎo)致檢測精度較低。本文通過算法改進(jìn)，對于損傷特征明顯的表面漆皮脫落有很好的檢測識別效果，如圖3（a）和圖3（b）所示。表1中數(shù)據(jù)顯示，雷擊損傷的檢測精度較初始下降了0.9個百分點(diǎn)，考慮到雷擊損傷的圖像數(shù)據(jù)量較少，使得注意力引導(dǎo)增強(qiáng)機(jī)制沒有得到充分的訓(xùn)練學(xué)習(xí)，從而沒有發(fā)揮出應(yīng)有的效果，后期對雷擊損傷圖像數(shù)據(jù)積累后，可對網(wǎng)絡(luò)進(jìn)行進(jìn)一步的訓(xùn)練學(xué)習(xí)來提升雷擊損傷的檢測準(zhǔn)確率。

圖3 風(fēng)力機(jī)損傷葉片檢測識別模型效果圖Fig.3 Effect diagram of wind turbine damaged blade detection and recognition model

3 結(jié)語

針對目前風(fēng)電場中對于風(fēng)力機(jī)葉片損傷檢測效率低、成本高等問題，本文利用風(fēng)電場大數(shù)據(jù)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的方法，選取CenterNet算法作為基礎(chǔ)的檢測網(wǎng)絡(luò)構(gòu)建風(fēng)機(jī)葉片損傷檢測識別模型，并對其骨干網(wǎng)絡(luò)DLA-60進(jìn)行改進(jìn)，加入注意力引導(dǎo)數(shù)據(jù)增強(qiáng)機(jī)制，使平均準(zhǔn)確率均值由85.4%增至88.0%，整體檢測識別精度提升了2.6個百分點(diǎn)。在保證檢測識別精度的同時提升了安全系數(shù)和工作效率、節(jié)約了大量經(jīng)濟(jì)成本，也為風(fēng)機(jī)葉片的故障檢測與維修提供參考依據(jù)，保障了風(fēng)電機(jī)組的安全穩(wěn)定運(yùn)行。