汪 磊 何怡剛 譚 暢

(1.武漢大學(xué) 電氣與自動化學(xué)院,武漢 430072;2.國家電網(wǎng)湖北超高壓公司,武漢 430000)

近年來,為了解決環(huán)境污染和能源危機的問題,推進能源轉(zhuǎn)型勢在必行[1].根據(jù)國家能源局2020年公布的新能源裝機數(shù)據(jù)顯示,2020年新增風(fēng)電裝機7 167萬k W、太陽能發(fā)電4 820萬k W,風(fēng)光新增裝機之和約為1.2 億k W.隨著風(fēng)電裝機容量的不斷增長,越來越多的風(fēng)電場被安設(shè)在高海拔、嚴(yán)寒的地區(qū).在惡劣的氣象條件下,風(fēng)電機組的葉片出現(xiàn)結(jié)冰風(fēng)險的概率較大.葉片結(jié)冰會影響風(fēng)機的空氣動力效率和扭矩,導(dǎo)致渦輪機停機、功率損失和渦輪機部件損壞[2].因此,風(fēng)機葉片覆冰的有效檢測成為避免上述問題的關(guān)鍵,這對于確保風(fēng)電系統(tǒng)的可靠性、穩(wěn)定性和經(jīng)濟性運行具有現(xiàn)實意義.

目前,針對風(fēng)機葉片覆冰檢測的傳統(tǒng)研究方法包括直接法和間接法[3].直接法是指直接測量由葉片表面上的冰沉積引起的特性變化,例如:質(zhì)量、信號反射、介電常數(shù)、電感和電導(dǎo)率等.直接法涉及的檢測手段包括:頻率檢測、光纖檢測、紅外檢測和超聲檢測等[4].通常,直接方法需要額外放置傳感器,這會增加相關(guān)成本.此外,傳感器本身也容易出現(xiàn)設(shè)備老化、檢測值漂移等問題,給實時覆冰檢測帶來了困難.間接方法首先收集數(shù)據(jù),例如:環(huán)境溫度和濕度、風(fēng)力渦輪機功率損失;然后根據(jù)這些特征與葉片結(jié)冰程度之間的相關(guān)性建立葉片覆冰檢測模型.一般來說,間接方法存在一些缺點,例如:缺乏普遍性、魯棒性低以及對結(jié)冰機制的依賴性強.

隨著數(shù)據(jù)采集與監(jiān)視控制(SCADA)系統(tǒng)在風(fēng)電行業(yè)的廣泛應(yīng)用,研究人員可以獲得風(fēng)電機組每個組件或子系統(tǒng)的大量狀態(tài)檢測數(shù)據(jù).數(shù)據(jù)驅(qū)動方法不用掌握復(fù)雜的物理機制,這是因為這類方法可以通過挖掘歷史數(shù)據(jù)中的隱藏信息來檢測葉片的結(jié)冰狀態(tài).數(shù)據(jù)驅(qū)動方法包括淺層機器學(xué)習(xí)和深層機器學(xué)習(xí)方法.從本質(zhì)上來說,葉片覆冰檢測是一個經(jīng)典的時間序列分類問題.淺層機器學(xué)習(xí),例如反向傳播神經(jīng)網(wǎng)絡(luò)(BPNN)、隨機森林(RF)和支持向量機(SVM)等,都存在難以學(xué)習(xí)時間序列數(shù)據(jù)的時間相關(guān)性的缺陷,一般需要通過復(fù)雜的特征提取和特征增強來人為地添加時間特征以確保預(yù)測精度[5].具有循環(huán)結(jié)構(gòu)的深度學(xué)習(xí)方法,比如:循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)、長短期記憶(LSTM)和門控遞歸單元(GRU)等,也被用于時間序列分析,這類方法具有較強的非線性擬合能力且能較好地學(xué)習(xí)時間序列的時間相關(guān)性特征.但是,這類循環(huán)網(wǎng)絡(luò)模型不支持并行計算,訓(xùn)練效率不高[6].

自然語言處理(NLP)與時間序列分析非常類似.為了進一步優(yōu)化NLP中循環(huán)結(jié)構(gòu)模型的性能,谷歌提出了一種用于機器翻譯的Transformer模型[7].該模型不存在循環(huán)結(jié)構(gòu),而是完全依靠自注意力機制來建立輸入和輸出之間的全局依存關(guān)系,可以學(xué)習(xí)序列的各種尺度的復(fù)雜依賴信息.同時,Transformer模型支持圖像處理單元(GPU)并行運算,大大提高了模型訓(xùn)練效率[8].

考慮到上述分析中Transformer模型的諸多優(yōu)點,本文對谷歌的Transformer模型進行了改進,使其可以用于時間序列分類.同時,蜻蜓算法(dragonfly algorithm,DA)[9]用于優(yōu)化Transformer網(wǎng)絡(luò)中的超參數(shù).本研究設(shè)計了DA-Transformer的混合模型,實現(xiàn)了風(fēng)機葉片的高精度覆冰檢測.其主要貢獻如下:

(1)使用DA-Transformer模型整合了風(fēng)機的SCADA 系統(tǒng)的多傳感器信息.它僅使用數(shù)據(jù)驅(qū)動的方法來捕獲風(fēng)機葉片覆冰的復(fù)雜特征,而無需構(gòu)建復(fù)雜的物理模型和安裝額外的傳感器.

(2)提出的模型中的DA 可以避免人工調(diào)整超參數(shù)的困難.同時,與粒子群算法和遺傳算法相比,DA在優(yōu)化Transformer的超參數(shù)時,表現(xiàn)出更快的收斂速度和更優(yōu)的收斂結(jié)果.

(3)為解決傳感器數(shù)據(jù)的類不平衡和變量選擇問題,本文采用重疊/非重疊滑動窗口分割法生成類平衡的樣本;此外,采用基于決策樹分類器的遞歸特征消除方法進行變量選擇,不僅控制了數(shù)據(jù)規(guī)模而且提升了計算效率.

1 基于DA-Transformer的分類模型

1.1 模型基礎(chǔ)

自注意力機制是Transformer模型的核心基礎(chǔ),它是由注意力機制衍生出來的.注意力機制是可以描述為Query 到一系列Key-Value 對的映射,其中Source中的構(gòu)成元素可以視為一系列Key-Value對數(shù)據(jù).計算注意力值的過程主要分為3個階段[7]:其一是使用點積、拼接或者感知器等函數(shù)計算Query和Key直接的相似度;其二是使用softmax函數(shù)來歸一化第一階段中獲得的權(quán)重;其三是將權(quán)重和相應(yīng)的值相加以獲得最終注意力值.以上3個階段的數(shù)學(xué)描述如下:

式中:L x為Source的長度;S為計算相似度的函數(shù);A為注意力值.

縮放點積注意力模型[7]如圖1(a)所示.其中Mat Mul和Scale分別是矩陣乘積和縮放操作,它是多頭注意力模型的核心,由d k維的Query和Key以及d v維的Value組成,其輸出是

圖1 Transformer中的注意力模型

該模型可以作為注意力層,將n×d k的序列Q編碼為n×d v的序列,分析Q中的每個子向量,并根據(jù)式(2)獲得式(3)如下:

式中:z為歸一化因子;q t、k s和v s分別為Q,K和V中的子向量.先計算每個k s和q t的內(nèi)積,然后通過softmax函數(shù)獲得q t和每個v s之間的相似性,最終通過加權(quán)求和得到d v維向量.

如圖1(b)所示的多頭注意力[7]是谷歌提出的一種新模型.其中Linear和Concat分別是線性化和拼接操作,它是對注意力機制的改進.該模型首先通過投影矩陣映射Q、K和V,然后執(zhí)行注意力運算,此過程重復(fù)h次,最后將結(jié)果拼接起來,上述操作可以描述為:

自注意力[7]是指在時間序列內(nèi)進行注意力計算,以尋找時間序列內(nèi)部的聯(lián)系.谷歌使用的是多頭自注意力,可以描述為:

1.2 Transformer模型

為了解決多傳感器數(shù)據(jù)的分類問題,本文在谷歌編碼器-解碼器結(jié)構(gòu)的Transformer模型基礎(chǔ)上進行了修改來處理時間序列,所提出的模型僅含有一個編碼器,如圖2所示.

圖2 Transformer分類模型的結(jié)構(gòu)

在編碼器中,有一個輸入層,一個位置編碼層和n個相同的堆疊編碼器層.每個編碼器層中都包含一個多頭注意力層和一個前饋層,編碼器層中的每個子層之后是歸一化層.SCADA 系統(tǒng)中采集的多維傳感器數(shù)據(jù)通過輸入層映射到dmodel維輸入向量中,這有助于采用多頭注意力機制.位置編碼層通過正弦和余弦函數(shù)對傳感器數(shù)據(jù)中的順序信息進行編碼來獲得位置編碼向量,然后將dmodel維的輸入向量與位置編碼向量的元素相加來獲得帶有位置信息的時間序列向量,該向量被送入n個編碼器層中.最后一個編碼器層的特征數(shù)據(jù)經(jīng)過全連接層和Softmax層可以輸出多傳感器數(shù)據(jù)的分類結(jié)果.

1.3 蜻蜓算法(DA)

根據(jù)蜻蜓飛行、覓食和避敵的過程,Mirjalili在2016年首次提出了蜻蜓算法[9].蜻蜓在運動過程中的位置更新主要分為以下5種行為.

(1)分離行為是指蜻蜓個體與其相鄰個體之間避免碰撞的過程,其數(shù)學(xué)模型為

式中:S i為第i個蜻蜓個體的分離;X為個體當(dāng)前所在位置;X j為與個體相鄰的第j個蜻蜓的位置;N為與蜻蜓i相鄰的個體總數(shù).

(2)對齊行為是指蜻蜓個體與相鄰個體之間速度保持一致的過程,其數(shù)學(xué)模型為

式中:A i為第i個蜻蜓個體在參與對齊行為時的位置向量;v j為相鄰個體的速度.

(3)凝聚行為是指蜻蜓個體向周圍群體中心靠近的過程,其數(shù)學(xué)模型為

式中:C i為第i個蜻蜓個體在進行凝聚行為時的位置向量.

(4)覓食行為是指蜻蜓個體靠近食物源的過程,其數(shù)學(xué)模型為

式中:F i為第i個蜻蜓個體進行覓食行為時的位置向量;X+為食物源所處的位置.

(5)避敵行為是指蜻蜓防止自身被獵食時做出的反應(yīng),其數(shù)學(xué)模型為

式中:E i為第i個蜻蜓個體避敵行為的位置向量;X-為個體獵食所處的位置.

在模擬蜻蜓的群體行為的過程中,需要對其運動的步長ΔX和位置X矢量進行更新,其中步長向量顯示蜻蜓的運動方向,可以描述為

式中:s為分離權(quán)重;a為對齊權(quán)重;c為凝聚權(quán)重;f為覓食權(quán)重;e為避敵權(quán)重;ω為慣性權(quán)重;t為當(dāng)前迭代次數(shù).

位置向量的更新分成兩種情況,有鄰近蜻蜓時可以描述為

無鄰近蜻蜓時,位置進行更新采用隨機游走公式:

式中:d為個體位置向量的維度;r1和r2取[0,1]之間的隨 機數(shù);β為 常量,取1.5;Γ(x)=(x-1)!.

1.4 基于DA-Transformer網(wǎng)絡(luò)的風(fēng)機葉片覆冰檢測

本文提出了如圖3 所示的DA-Transformer風(fēng)機葉片覆冰檢測模型.

圖3 基于DA-Transformer的風(fēng)機葉片覆冰檢測

為了減少手動調(diào)整Transformer模型超參數(shù)的工作量,DA 用于自動優(yōu)化這些超參數(shù),從而獲得最佳的Transformer檢測模型.待優(yōu)化的參數(shù)被看成是蜻蜓搜尋食物源的最優(yōu)個體所處的空間位置,蜻蜓飛行在多維空間中搜索最優(yōu)超參數(shù)組合,使得模型的適應(yīng)度值最小.此外,為了說明本文方法在風(fēng)機葉片覆冰檢測的應(yīng)用中具有更加普遍的適應(yīng)性,在描述具體實現(xiàn)步驟時也考慮了特殊的數(shù)據(jù)驅(qū)動情景.具體實現(xiàn)步驟如下:

Step1:收集來自SCADA 系統(tǒng)的多傳感器數(shù)據(jù),并進行數(shù)據(jù)異常檢測和清洗以提高數(shù)據(jù)質(zhì)量;

Step2:對樣本數(shù)據(jù)進行最大-最小歸一化處理,并將它們映射到[0,1]之間.歸一化公式為:

式中:xmin和xmax分別是樣本數(shù)據(jù)集的最小值和最大值;x是原始樣本數(shù)據(jù).

Step3:利用變量選擇來控制輸入模型的數(shù)據(jù)規(guī)模、減少無關(guān)變量引發(fā)的噪聲并提高模型的計算效率;

Step4:利用類平衡處理方法來避免類的嚴(yán)重不均衡對檢測結(jié)果的干擾;

Step5:將整個數(shù)據(jù)集按照3∶1∶1的比例劃分為訓(xùn)練集、驗證集和測試集;

Step6:利用人工經(jīng)驗和DA 算法來獲得不同超參數(shù)組合的候選Transformer模型;在訓(xùn)練集上訓(xùn)練這些候選模型并在驗證集上評估它們.DA 算法優(yōu)化超參數(shù)的過程包括:①設(shè)置待優(yōu)化超參數(shù)的維度n d和取值范圍,確定最大迭代次數(shù)Tmax和種群大小npop;②初始化蜻蜓種群,隨機生成種群的位置向量X和步長向量ΔX;③據(jù)初始化超參數(shù)的值建立Transformer網(wǎng)絡(luò)模型,對訓(xùn)練集和驗證集的數(shù)據(jù)分別進行訓(xùn)練和評估,并將評估結(jié)果的二分類交叉熵?fù)p失函數(shù)作為每個蜻蜓個體的適應(yīng)度值;④更新蜻蜓5種行為的權(quán)重s、a、c、f、e和慣性權(quán)重ω;⑤根據(jù)式(7)～(11)更新蜻蜓個體的位置;⑥更新領(lǐng)域半徑,根據(jù)式(12)更新蜻蜓的步長向量;當(dāng)有鄰近蜻蜓時,根據(jù)式(13)更新位置向量,反之則根據(jù)式(14)更新位置向量;⑦判斷是否滿足終止條件,該條件為適應(yīng)性達到穩(wěn)定或迭代次數(shù)達到最大值;如果滿足條件,則獲得最佳超參數(shù)并結(jié)束,否則,下一次迭代更新.

Step7:根據(jù)通過DA 優(yōu)化獲得的最佳超參數(shù),構(gòu)造DA-Transformer風(fēng)機葉片覆冰檢測模型,并結(jié)合評估指標(biāo)對檢測結(jié)果進行分析.

2 實驗分析

本文所有風(fēng)機葉片覆冰檢測的數(shù)據(jù)驅(qū)動模型都是在基于Python 3.7.4架構(gòu)下完成的.實驗計算機系統(tǒng)為Win10 64位,CPU 為AMD Ryzen 7 4800 H Radeon Graphics 2.90 GHz,GPU 為NVIDIA Ge-Force RTX 2060,Tensorflow-gpu 版本為2.0.0,Keras版本為2.4.3.

2.1 數(shù)據(jù)來源和評價指標(biāo)

實驗數(shù)據(jù)由全球最大的風(fēng)機制造商之一的金風(fēng)科技公司提供.SCADA 系統(tǒng)記錄了位于我國內(nèi)蒙古的兩臺風(fēng)機(分別記為WT#1和WT#2)的實時運行數(shù)據(jù).有記錄的WT#1和WT#2運行時間分別約為727 h和349 h,數(shù)據(jù)的分辨率為7 s.風(fēng)機的原始傳感器數(shù)據(jù)通常有數(shù)百個維度.然而,專業(yè)的風(fēng)電工程師從這些收集的變量中選擇了26個與風(fēng)機葉片結(jié)冰相關(guān)的參數(shù)變量,見表1.此外,工程師還給出了結(jié)冰期和非結(jié)冰期的完整標(biāo)簽.

表1 來自SCADA系統(tǒng)的變量

本文選擇的風(fēng)機葉片覆冰檢測的評價指標(biāo)包括P(Precision)、R(Recall)和F1score.這些參數(shù)分別定義為

其中:TP、FP、FN 和TN 分別為真陽性、假陽性、假陰性和真陰性.由于識別盡可能多的結(jié)冰期至關(guān)重要,因此Recall性能比Precision更重要.F1用于評估整體性能,這是因為F1可以在Precision和Recall之間建立平衡.

2.2 變量選擇和類不平衡處理

為了完成風(fēng)機葉片覆冰檢測任務(wù),在進行輸入變量選擇時需要選擇與結(jié)冰狀態(tài)具有更大相關(guān)性的變量.對于DA-Transformer而言,變量選擇的目的是從26個候選變量中選擇S(S≤26)個變量.

本文使用基于決策樹分類器的遞歸特征消除(RFE)[10]方法進行變量選擇.RFE 通過遞歸刪除特征并基于剩余特征來構(gòu)建新的模型.它使用模型精度來確定哪些特征組合對預(yù)測目標(biāo)特征貢獻最大.但是,在應(yīng)用RFE 時,很難確定要保留的最佳特征數(shù)量.針對這一缺陷,將4折交叉驗證與RFE 相結(jié)合,對不同的特征子集進行評分,并選擇最佳評分的特征集合.重復(fù)分層的4折交叉驗證策略用于評估RFE的質(zhì)量.應(yīng)用此策略時,在每次重復(fù)之前對數(shù)據(jù)樣本進行打亂,其中每個子集包含的每個目標(biāo)類的樣本百分比與完整數(shù)據(jù)集大致相同.對迭代過程中的評估結(jié)果進行平均,交叉驗證的分?jǐn)?shù)和特征數(shù)量之間的相關(guān)性如圖4所示.

圖4 帶有4折交叉驗證的RFE特征選擇結(jié)果

從實驗結(jié)果來看,最佳特征數(shù)為12個.此外,保留變量分別對應(yīng)表1中編號為1、2、3、6、8、9、10、14、15、16、19和20的變量.絕大多數(shù)溫度傳感器變量被保留,而速度、風(fēng)向、加速度和直流功率傳感器變量被丟棄.這些結(jié)果與葉片結(jié)冰檢測專業(yè)工程師的知識并不矛盾.值得指出的是,圖4中的結(jié)果只能展示多個變量的累計交叉驗證分?jǐn)?shù)而無法表示每一個變量的重要性.

為了進一步驗證提出的變量選擇方法的有效性,以風(fēng)機WT#1為例,進行各個變量與葉片覆冰狀態(tài)之間的互信息相關(guān)性分析[5-6],分析結(jié)果如圖5所示.

由圖5可以看出所有變量分別與覆冰狀態(tài)標(biāo)簽之間的相關(guān)性程度,根據(jù)互信息值由高到低進行排序并選擇相關(guān)性程度最大的前12個變量,這些優(yōu)選的變量依然跟本文提出的變量選擇方法的實驗結(jié)果一致.因此,即使在不考慮各個變量對覆冰檢測的具體貢獻程度的情況下,本文提出的基于決策樹分類器的RFE變量選擇方法也具有積極的工程應(yīng)用價值.

圖5 候選變量與覆冰狀態(tài)之間的互信息相關(guān)性分析

以風(fēng)速和風(fēng)電功率為例,風(fēng)機WT#1的實時運行數(shù)據(jù)如圖6所示.

圖6 風(fēng)機WT#1運行狀態(tài)的風(fēng)速-功率散點圖

由圖6可知,正常樣本和覆冰樣本之間存在嚴(yán)重的類不平衡情況,即風(fēng)機通常大部分時間都在正常條件下工作,葉片覆冰現(xiàn)象出現(xiàn)的情況較少.類不平衡的數(shù)據(jù)直接用于風(fēng)機葉片的覆冰檢測會干擾實驗結(jié)果.

為了消除類不平衡的干擾,本文采用如圖7所示的方法來生成平衡數(shù)據(jù)集,即對非結(jié)冰數(shù)據(jù)進行非重疊分割而對結(jié)冰數(shù)據(jù)進行重疊分割.分割窗口采用固定長度的滑動窗口,且該滑動窗口的長度為128(約為15 min).經(jīng)過上述方法生成的正常樣本和覆冰樣本的個數(shù)均為2 736個,且每個樣本是128×12的矩陣.值得指出的是,這里僅討論了風(fēng)機WT#1 的情況,風(fēng)機WT#2的情況也類似,此處不再贅述.

圖7 類不平衡處理方法

2.3 DA-Transformer模型的參數(shù)選擇和優(yōu)化結(jié)果

根據(jù)人工經(jīng)驗確定Transformer模型的部分超參數(shù),包括:編碼器層的層數(shù)為2、Dropout為0.5、學(xué)習(xí)率為0.005、優(yōu)化器為Adam、激活函數(shù)為Relu.將經(jīng)過類不平衡處理后的數(shù)據(jù)作為特征量輸入到Transformer模型中,利用DA 算法來優(yōu)化剩下的4個關(guān)鍵超參數(shù),包括:epoch、batch_size和兩個編碼器層中神經(jīng)元的數(shù)量(h1和h2).表2顯示了優(yōu)化過程中模型參數(shù)的配置.其中DA 的適應(yīng)度函數(shù)是葉片覆冰檢測結(jié)果的交叉熵?fù)p失函數(shù),全部樣本上的損失函數(shù)具體表達式為

表2 DA-Transformer模型的參數(shù)

式中:w是權(quán)重;m是樣本個數(shù);y i是樣本i上真實標(biāo)簽;σi是樣本i的sigmoid函數(shù)值.

傳統(tǒng)的參數(shù)優(yōu)化方法(例如:GA 和PSO 算法)存在過早收斂的缺陷,因此,本文使用DA 來搜索最佳超參數(shù).訓(xùn)練集和驗證集用于優(yōu)化超參數(shù)的不同算法的對比實驗.該比較實驗在驗證集中的適應(yīng)度值結(jié)果如圖8所示.

圖8 不同參數(shù)優(yōu)化算法的對比

上述算法的種群大小為20,迭代次數(shù)為200.在GA 中,種群的交叉概率為0.3,變異概率為0.8.在PSO 中,最大權(quán)重和最小權(quán)重分別為0.9和0.4,局部和全局學(xué)習(xí)因子分別為1.5和1.7.DA 將在47次迭代后收斂,并且獲得的最小適應(yīng)度為0.22.DA 的優(yōu)化性能優(yōu)于GA 和PSO,它可以通過更少的迭代獲得更小的適應(yīng)度值.優(yōu)化后的Transformer模型剩下的超參數(shù)epoch、batch_size、h1和h2分別為37、63、38和26.

2.4 風(fēng)機葉片覆冰檢測結(jié)果

為了驗證DA-Transformer對覆冰檢測的性能,本文比較了6 個現(xiàn)有的基線模型,包括樸素貝葉斯(NB)[11]、一類支持向量機(OC-SVM)[12]、隨機森林(RF)[13]、極端梯度提升(XGBoost)[14]、局部異常因子(LOF)[15]、卷積神經(jīng)網(wǎng)絡(luò)(CNN).需要注意的是,以上6種模型都可以應(yīng)用于分類任務(wù)中.CNN 是一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類器.多維的傳感器數(shù)據(jù)可以視為圖像,利用深度CNN 進行特征挖掘,在CNN 網(wǎng)絡(luò)的后面同樣采用全連接層和Softmax層,可以實現(xiàn)覆冰檢測的結(jié)果.此外,對比的基線模型中還補充了DA-Transformer 的消融模型Transformer.

本文采用了結(jié)合人工經(jīng)驗和機器網(wǎng)格搜索的有效策略來定義優(yōu)化上述所有模型性能所需的超參數(shù).具有不同超參數(shù)組合的候選模型首先使用訓(xùn)練集進行訓(xùn)練,然后基于驗證集進行評估.具有最低誤差的模型被認(rèn)為具有最佳超參數(shù).選擇的特定超參數(shù)是使用K折交叉驗證的策略實現(xiàn)的.

最佳參數(shù)模型用于測試.重復(fù)試驗10次,計算評價指標(biāo)的平均值.當(dāng)考慮風(fēng)機WT#1和WT#2時,8個模型的測試結(jié)果見表3.

表3 不同模型覆冰檢測結(jié)果的對比

由表3可知,深度學(xué)習(xí)模型比淺層模型的總體檢測性能更好.然而,DA-Transformer模型的Recall和F1總是優(yōu)于其它基線模型.這是因為DA-Transformer中的Transformer網(wǎng)絡(luò)通過自注意力機制來挖掘數(shù)據(jù)的特征信息,它不僅能考慮局部信息還能考慮全局信息.此外,提出模型中的DA 智能優(yōu)化算法能進一步提升原始Transformer 性能.與Transformer相比,DA-Transformer在風(fēng)機WT#1 和WT#2中進行覆冰檢測時,分別將F1提高了6.4%和4.7%.這說明了采用智能算法優(yōu)化超參數(shù)不僅可以減少工程人員的工作量而且可以提升覆冰檢測的效果.與CNN 相比,Transformer在風(fēng)機WT#1和WT#2中檢測時,分別將F1提高了1.2%和3.6%.這同樣也說明Transformer比CNN 在時間相關(guān)性建模方面具有更明顯的優(yōu)勢.因此,本文不再討論智能算法優(yōu)化CNN 的情況.

3 結(jié)論

本文將NLP領(lǐng)域中機器翻譯的Transformer模型引入到風(fēng)機葉片覆冰檢測領(lǐng)域.針對Transformer深度模型中難以確定最優(yōu)超參數(shù)的問題,利用DA 智能算法來優(yōu)化Transformer的部分超參數(shù),從而進一步提升了Transformer模型的檢測性能.實驗結(jié)果表明提出的DA-Transformer模型在兩個實際風(fēng)機的覆冰檢測任務(wù)中獲得的分?jǐn)?shù)(F1)分別高達93.0%和94.6%.本文的工作對提升風(fēng)電工程技術(shù)人員的工作效率和檢測效果具有一定的貢獻.然而,本文研究的局限性在于DA-Transformer的檢測結(jié)果依賴大量帶有標(biāo)簽的數(shù)據(jù)樣本.利用小樣本機器學(xué)習(xí)來解決數(shù)據(jù)樣本量有限的覆冰檢測場景仍然有待進一步研究.