花 君,嚴(yán) 珂,陸慧娟,葉敏超

(中國(guó)計(jì)量大學(xué) 信息工程學(xué)院,浙江 杭州 310018)

目前空調(diào)故障頻繁發(fā)生,空調(diào)設(shè)備復(fù)雜,故障原因種類繁多,并且空調(diào)故障是伴隨著設(shè)備電子元器件的老化逐漸顯露出來(lái),當(dāng)人們察覺(jué)出來(lái)時(shí),往往故障程度已經(jīng)很嚴(yán)重,因此對(duì)空調(diào)故障進(jìn)行及時(shí)的檢測(cè)診斷，以避免在故障狀態(tài)下運(yùn)行產(chǎn)生巨大能耗和安全隱患，具有可行性和現(xiàn)實(shí)意義[1-3]。近年來(lái),空調(diào)設(shè)備越來(lái)越復(fù)雜同時(shí)也更加智能,傳統(tǒng)的診斷技術(shù)遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)代空調(diào)設(shè)備診斷的需求[4-7],在這樣的局面下,深度學(xué)習(xí)技術(shù)慢慢崛起,很多學(xué)習(xí)模型中都很好結(jié)合了時(shí)序數(shù)據(jù)的特點(diǎn)[8],訓(xùn)練性能不斷提高。循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural networks, RNN)[9]是運(yùn)用內(nèi)部的記憶來(lái)處理任意輸入的時(shí)序數(shù)據(jù),通過(guò)自循環(huán)的結(jié)構(gòu)能長(zhǎng)久的讓數(shù)據(jù)在網(wǎng)絡(luò)層上傳輸。在工業(yè)故障診斷方面,RNN使現(xiàn)有的神經(jīng)網(wǎng)絡(luò)故障診斷的方法不斷提高,更加適應(yīng)現(xiàn)代較復(fù)雜的設(shè)備并且在實(shí)時(shí)故障診斷中擴(kuò)展性大大的提高。但由于存在梯度消失和梯度爆炸、長(zhǎng)期記憶能力不足等問(wèn)題,為解決該問(wèn)題,1997年,Hochreiter和Schmidhuber等人[10]提出長(zhǎng)短期記憶網(wǎng)絡(luò)(Long short-term memory, LSTM)[11]即在RNN中添加了三個(gè)門控機(jī)制,即輸入門、遺忘門和輸出門,使梯度消失和梯度爆炸的這樣的難題可以很好的處理[12-14]。

集中式空調(diào)中冷水機(jī)組(Chiller)系統(tǒng)消耗能量很大,頻繁出故障,是很重要的一個(gè)子系統(tǒng)[15-16]。本文針對(duì)冷水機(jī)組數(shù)據(jù),提出了一種基于LSTM的空調(diào)故障診斷模型并且通過(guò)多次實(shí)驗(yàn)調(diào)節(jié)、優(yōu)化得到較優(yōu)的LSTM模型,實(shí)驗(yàn)表明,所搭建的模型能對(duì)空調(diào)故障進(jìn)行準(zhǔn)確的診斷。

1 LSTM記憶循環(huán)神經(jīng)網(wǎng)絡(luò)

LSTM記憶循環(huán)神經(jīng)網(wǎng)絡(luò)是對(duì)RNN結(jié)構(gòu)進(jìn)行改進(jìn),LSTM在算法中加入了一個(gè)帶有依此通過(guò)三個(gè)門并進(jìn)行判斷和更新的cell結(jié)構(gòu)Ct。根據(jù)信息傳入到cell中判斷當(dāng)前是否是符合算法認(rèn)證,LSTM會(huì)只記住需要記住的信息,會(huì)直接遺忘無(wú)用信息,在這樣的判斷下不斷調(diào)控,使誤差保持恒定。

如圖1,時(shí)間的連接是被LSTM記憶單元狀態(tài)——細(xì)胞狀態(tài)Ct進(jìn)行調(diào)控,通過(guò)三個(gè)門結(jié)構(gòu)對(duì)細(xì)胞狀態(tài)更新,cell中每個(gè)時(shí)刻不同gate的計(jì)算公式如下:

ft=σ(Wf×[ht-1,xt]+bf),

(1)

it=σ(Wi·[ht-1,xt]+bi),

(2)

(3)

(4)

ot=σ(Wo·[ht-1,xt]+bo),

(5)

ht=ot·tanh(Ct)。

(6)

圖1 LSTM神經(jīng)元cell結(jié)構(gòu)圖Figure 1 A long short-term memory cell

2 基于LSTM的故障診斷模型

2.1 網(wǎng)絡(luò)模型整體框架

冷水機(jī)組故障數(shù)據(jù),模擬了空調(diào)冷卻器系統(tǒng)正常樣本各類故障數(shù)據(jù)并進(jìn)行整理,根據(jù)故障嚴(yán)重程度不同進(jìn)行劃分,利用空調(diào)故障數(shù)據(jù)的時(shí)序性,搭建包含輸入層、隱藏層、輸出層、網(wǎng)絡(luò)訓(xùn)練模塊的LSTM的空調(diào)系統(tǒng)故障診斷模型,網(wǎng)絡(luò)模型整體框架圖如圖2。

本文搭建了兩層網(wǎng)絡(luò),如圖2,逐層訓(xùn)練LSTM,將上一層LSTM網(wǎng)絡(luò)的隱藏層的神經(jīng)元的輸出與下一層相對(duì)應(yīng),進(jìn)行計(jì)算,并輸出序列的最后數(shù)據(jù)數(shù)入Softmax分類器作為輸出層,把預(yù)測(cè)標(biāo)簽y′為再傳入網(wǎng)絡(luò)優(yōu)化模塊進(jìn)行不斷優(yōu)化模型,通過(guò)實(shí)驗(yàn)對(duì)比選出最優(yōu)參數(shù)并進(jìn)行交叉驗(yàn)證,搭建相對(duì)最優(yōu)的LSTM模型。在網(wǎng)絡(luò)訓(xùn)練及優(yōu)化模塊中,選擇合適的損失函數(shù)很重要,使用Softmax輸出時(shí),選擇交叉熵Cross entropy。

通過(guò)不過(guò)優(yōu)化器進(jìn)行對(duì)比,相同參數(shù)下取不同優(yōu)化器(Adadelta、AdaGrad、RMSProp、Adam、Nadam、Adamax)對(duì)模型進(jìn)行訓(xùn)練進(jìn)行對(duì)比發(fā)現(xiàn)Nadam對(duì)學(xué)習(xí)率約束和梯度的更新影響較優(yōu),因此選擇Nadam算法作為模型的超參數(shù)優(yōu)化算法。

圖2 基于LSTM冷水機(jī)組故障模型框架Figure 2 A fault model framework based on LSTM water chiller

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

本數(shù)據(jù)來(lái)自于美國(guó)供暖、制冷與空調(diào)工程師學(xué)會(huì)(ASHRAE)的第一個(gè)工程包ASHRAE project 1043-RP,是一架90 t的離心式冷卻器。實(shí)驗(yàn)選取了由4種不同嚴(yán)重程度的數(shù)據(jù)組成的5種故障種類的數(shù)據(jù)包,如表1。

表1 故障嚴(yán)重性級(jí)別

數(shù)據(jù)集首先進(jìn)行預(yù)處理,數(shù)據(jù)集分為兩部分,前2/3用作歷史數(shù)據(jù)或培訓(xùn)輸入,其余1/3的數(shù)據(jù)作為測(cè)試樣本處理,訓(xùn)練數(shù)據(jù)樣本根據(jù)其故障類型(正常、F1、F2、F3、F4和F5)。測(cè)試集數(shù)據(jù)不僅選取了故障程度等級(jí)分別為一級(jí)、二級(jí)、三級(jí)、四級(jí)的數(shù)據(jù)組成的4組數(shù)據(jù)集進(jìn)行測(cè)試,還從4種故障嚴(yán)重程度數(shù)據(jù)集中進(jìn)行隨機(jī)組合成一組混合數(shù)據(jù)集,以這5組數(shù)據(jù)作為測(cè)試集驗(yàn)證網(wǎng)絡(luò)訓(xùn)練的模型。

3.2 評(píng)價(jià)指標(biāo)

本文選用冷水機(jī)組故障數(shù)據(jù)測(cè)試所得的分類準(zhǔn)確準(zhǔn)確率(Accuracy)作為評(píng)價(jià)標(biāo)準(zhǔn),衡量的是故障樣本分類正確的比例。Accuracy的計(jì)算公式為

(7)

模型診斷的故障標(biāo)簽和實(shí)際故障標(biāo)簽相同率較高,分類越準(zhǔn)確,Accuracy也越高。

3.3 實(shí)驗(yàn)結(jié)果及評(píng)估

模型使用美國(guó)冷水機(jī)組數(shù)據(jù)進(jìn)行性能評(píng)估,選取合適的超參數(shù)可以提高模型的整體訓(xùn)練性能。

測(cè)試集選用故障嚴(yán)重程度為一級(jí)的數(shù)據(jù)集。為避免實(shí)驗(yàn)測(cè)試的偶然性,其中每次實(shí)驗(yàn)進(jìn)行30次取實(shí)驗(yàn)結(jié)果的平均值。通過(guò)固定其它參數(shù)不變而變化一種參數(shù)進(jìn)行實(shí)驗(yàn)。初始參數(shù)如表2。

表2 初始參數(shù)

3.3.1 不同迭代次數(shù)的網(wǎng)絡(luò)診斷結(jié)果

觀察不同的迭代次數(shù)下訓(xùn)練準(zhǔn)確率和損失函數(shù)變化,如圖3,迭代次數(shù)慢慢增加,訓(xùn)練準(zhǔn)確率呈上升趨勢(shì),并且在迭代次數(shù)為80之后,趨于平穩(wěn)；損失函數(shù)隨著迭代次數(shù)增大經(jīng)歷了先下降又遞增波動(dòng)的過(guò)程。這說(shuō)明迭代次數(shù)過(guò)大將導(dǎo)致模型產(chǎn)生了嚴(yán)重的過(guò)擬合。因此,將迭代次數(shù)定為50。

圖3 不同迭代次數(shù)下,LSTM模型訓(xùn)練誤差和驗(yàn)證誤差變化以及損失函數(shù)的變化Figure 3 LSTM model training error and verification error with various epochs

3.3.2 不同參數(shù)下的網(wǎng)絡(luò)診斷結(jié)果

如圖4(a),在相同參數(shù)下取不同LSTM層數(shù)的選擇(Layer=1,2,3,4)對(duì)模型進(jìn)行訓(xùn)練,實(shí)驗(yàn)表明,LSTM層數(shù)并不是越多越好,基于本數(shù)據(jù)集,數(shù)據(jù)量不是非常龐大,過(guò)多的隱藏層層數(shù)會(huì)導(dǎo)致過(guò)擬合,因此,模型選用2層LSTM層。

小批量梯度下降算法(Mini-batch gradient descent)被用在本模型的訓(xùn)練模塊,針對(duì)訓(xùn)練的樣本數(shù)量大,相對(duì)于隨機(jī)和批量梯度相機(jī)算法,該算法更能使模型收斂波動(dòng)平穩(wěn),合適的小批處理量能大大提高網(wǎng)絡(luò)收斂速度。網(wǎng)絡(luò)的損失函數(shù)定義為

(8)

其中B表示一個(gè)批次中樣本的數(shù)量。相同參數(shù)下取不同批處理量進(jìn)行試驗(yàn)。通過(guò)實(shí)驗(yàn)對(duì)比,小批處理量為32時(shí)模型性能最好。

為了研究隱藏層神經(jīng)元個(gè)數(shù)對(duì)網(wǎng)絡(luò)訓(xùn)練的影響,實(shí)驗(yàn)中多次調(diào)整神經(jīng)元個(gè)數(shù),通過(guò)對(duì)比確定神經(jīng)元個(gè)數(shù)為32效果較優(yōu),收斂速度也最快。

如圖4(b)在相同參數(shù)下取不同丟棄率(Dropout_rate=0.1,0.2,0.3,0.4,0.5)模型的訓(xùn)練會(huì)出現(xiàn)過(guò)擬合,因此在每層LSTM后加Dropout層。Dropout可在模型的訓(xùn)練過(guò)程當(dāng)中,一定概率的丟棄網(wǎng)絡(luò)單元,使網(wǎng)絡(luò)的結(jié)構(gòu)發(fā)生了變化,減少冗余。實(shí)驗(yàn)結(jié)果得出丟棄率為0.1時(shí)效果較好。

學(xué)習(xí)率的選取常常是模型中最難調(diào)試的一個(gè)參數(shù)。在相同參數(shù)下取不同學(xué)習(xí)率(Lr=0.001,0.002,0.003,0.004,0.005)進(jìn)行實(shí)驗(yàn),效果如圖4(c),可清楚的看出,學(xué)習(xí)率為0.002時(shí)分類準(zhǔn)確率最高,因此,將模型學(xué)習(xí)率定為0.002。

序列長(zhǎng)度的選取對(duì)整個(gè)模型效果的影響也非常重要,通過(guò)實(shí)驗(yàn)對(duì)比,由實(shí)驗(yàn)結(jié)果圖4(d),模型的序列長(zhǎng)度定為16時(shí),模型的分類準(zhǔn)確率最高。

通過(guò)固定其它參數(shù)不變而變化一種參數(shù)和交叉驗(yàn)證的方式選出最優(yōu)的LSTM模型參數(shù),如表3。

圖4 固定其它參數(shù)不變而變化一種參數(shù)下分類準(zhǔn)確率的變化圖Figure 4 Classification accuracy with one parameter changed

表3 最優(yōu)模型參數(shù)

3.3.3 對(duì)比傳統(tǒng)RNN和GRU

將將本模型在4個(gè)不同故障程度等級(jí)分別為一級(jí),二級(jí),三級(jí),四級(jí)以及混合選取不同故障程度的數(shù)據(jù)集上進(jìn)行測(cè)試,評(píng)價(jià)指標(biāo)使用準(zhǔn)確率(Accuracy)。并和RNN和GRU進(jìn)行了對(duì)比實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4。從圖5可以清楚的看出,除了RNN方法只在故障程度為三級(jí)的數(shù)據(jù)集中表現(xiàn)最優(yōu),其他四組實(shí)驗(yàn)中,LSTM模型中分類表現(xiàn)都比RNN和GRU和好,這說(shuō)明搭建的LSTM模型泛化能力比RNN和GRU好。

表4 三種方法在5組數(shù)據(jù)集中診斷性能對(duì)比

Table 4 Diagnostic performance comparison of three methods in five data sets

故障嚴(yán)重程度RNNGRULSTM10%0.707 90.827 30.828 620%0.846 90.871 30.869 330%0.938 50.933 20.931 340%0.901 00.906 40.911 6混合0.855 10.874 00.886 5

圖5 三種方法在5組數(shù)據(jù)集中診斷性能對(duì)比Figure 5 Diagnostic performance comparison of three methods in five data sets

4 結(jié) 論

本文提出的搭建的LSTM的空調(diào)故障診斷模型,包括模型的框架、網(wǎng)絡(luò)結(jié)構(gòu)、超參數(shù)優(yōu)化等內(nèi)容。并使用冷水機(jī)組故障數(shù)據(jù)進(jìn)行訓(xùn)練,對(duì)5組不同故障嚴(yán)重程度數(shù)據(jù)進(jìn)行訓(xùn)練。本模型很好地利用了故障數(shù)據(jù)中時(shí)序的關(guān)聯(lián)性,利用了前后故障樣本對(duì)當(dāng)前故障樣本的影響,從而為空調(diào)故障的及時(shí)準(zhǔn)確地診斷提供了保障,減少了維護(hù)人力成本,盡早地發(fā)現(xiàn)了故障種類并針對(duì)性地進(jìn)行維修,進(jìn)而提高了能源利用率,使設(shè)備使用年限大大延長(zhǎng)。但是，該模型對(duì)于故障嚴(yán)重程度較低的情況其診斷準(zhǔn)確率還不夠高,故，我們的后續(xù)的工作準(zhǔn)備通過(guò)加入T-SNE對(duì)數(shù)據(jù)進(jìn)行降維等尋求更有效的參數(shù)優(yōu)化方法和在保證故障診斷率的同時(shí)提高故障診斷的快速性,使之能做到診斷更及時(shí)并減少能源消耗。