耿鑫月, 胡昌華, 鄭建飛, 裴 洪

火箭軍工程大學(xué), 陜西 710025

0 引 言

作為具有高儲能的新型電池,鋰離子電池由于其快速充電速度、長時(shí)間使用壽命、高能量密度和無記憶效應(yīng)等特點(diǎn),廣泛應(yīng)用于電動汽車、電子設(shè)備和無人機(jī)等領(lǐng)域[1-2].然而,隨著充放電次數(shù)的增多以及工作時(shí)長的累積,電池的容量呈下降趨勢[3].預(yù)測和健康管理(prognostics and health management, PHM)技術(shù)是確保電子設(shè)備安全和可靠的必要條件,其中,電池剩余壽命(remaining useful life, RUL)預(yù)測是健康管理的先要條件[4].為確保鋰電池運(yùn)行的安全性和可靠性,預(yù)先的RUL預(yù)測對鋰電池的維護(hù)和更換提供關(guān)鍵性的信息[5].

現(xiàn)有鋰電池RUL預(yù)測方法主要分為兩類[6-7]:傳統(tǒng)建模的方法[8]、數(shù)據(jù)驅(qū)動的方法[9].數(shù)據(jù)驅(qū)動的方法不要求掌握關(guān)于鋰電池運(yùn)行原理的先驗(yàn)知識,可以利用電池的監(jiān)測數(shù)據(jù)直接進(jìn)行建模,從監(jiān)測數(shù)據(jù)中獲得電池的潛在退化規(guī)律,進(jìn)而預(yù)測其RUL[10-11].對比傳統(tǒng)建模方法而言,數(shù)據(jù)驅(qū)動的方法使用更加便捷,普適性更高.數(shù)據(jù)驅(qū)動方法分支中的深度學(xué)習(xí)具有學(xué)習(xí)復(fù)雜以及高層次特征的能力[12],可以更好地適應(yīng)鋰電池的復(fù)雜變化和使用情況,廣泛應(yīng)用于鋰電池RUL預(yù)測中.史永勝等[13]結(jié)合經(jīng)驗(yàn)?zāi)B(tài)分解與長短期記憶(long short-term memory, LSTM)網(wǎng)絡(luò)將鋰電池退化趨勢分解為若干局部和主退化趨勢,實(shí)現(xiàn)鋰電池的壽命預(yù)測.ZHANG等[14]通過遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)和LSTM網(wǎng)絡(luò)捕獲退化容量之間潛在的長期依賴關(guān)系,構(gòu)建鋰電池RUL預(yù)測模型.REN等[15]針對鋰電池退化數(shù)據(jù)量不足等提出改進(jìn)(convolution neural network, CNN)和LSTM網(wǎng)絡(luò),挖掘有限數(shù)據(jù)中的深層信息.

現(xiàn)有關(guān)于鋰電池RUL預(yù)測的研究中,通常使用RNN網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)與預(yù)測.然而,使用基于RNN框架以循環(huán)方式對時(shí)間序列數(shù)據(jù)進(jìn)行建模,會產(chǎn)生較高的時(shí)間成本,并且還會由于長期依賴而降低網(wǎng)絡(luò)預(yù)測性能;而CNN網(wǎng)絡(luò)受到卷積核大小的限制,在對時(shí)序特征的處理方面存在不能得到長距離特征的問題.并且,上述文獻(xiàn)僅考慮了循環(huán)次數(shù)單一時(shí)間尺度下鋰電池的性能退化,忽略了工作時(shí)長這一時(shí)間尺度下鋰電池的性能退化.然而,實(shí)際工程中,鋰電池在運(yùn)行過程中的性能退化是由循環(huán)次數(shù)與工作時(shí)長兩個(gè)時(shí)間尺度下的退化耦合作用的.循環(huán)使用次數(shù)是指電池充放電次數(shù),每個(gè)循環(huán)都會造成電池性能一定程度的退化,如容量降低、內(nèi)阻增加和溫度升高等.電池的退化速率取決于電池的放電深度、充電速率等,充電速率越高,性能退化越快.工作時(shí)長是指電池使用時(shí)長,隨著電池使用時(shí)長的增多以及不規(guī)范使用造成的長時(shí)間放電和充電,將會導(dǎo)致電池溫度的升高以及內(nèi)部化學(xué)反應(yīng)的加劇,電池內(nèi)部部件將會承受更多的應(yīng)力.因此,僅考慮循環(huán)次數(shù)下鋰電池的性能退化,將很難利用到不同時(shí)間尺度中包含的壽命信息,對RUL預(yù)測結(jié)果的精確度有所影響,也會導(dǎo)致電池的RUL信息不全面,進(jìn)一步,影響后續(xù)健康管理與維護(hù)策略的制定.

為解決上述問題,本文采用VASWANI等[16]提出的一種基于自我注意力機(jī)制的網(wǎng)絡(luò)模型Transformer網(wǎng)絡(luò),以應(yīng)對RNN網(wǎng)絡(luò)與CNN網(wǎng)絡(luò)在RUL預(yù)測方面的局限性;并且,本文綜合考慮了鋰電池運(yùn)行過程中兩種時(shí)間尺度中蘊(yùn)含的壽命信息,進(jìn)一步提出了雙時(shí)間尺度下基于Transformer網(wǎng)絡(luò)的鋰電池RUL預(yù)測模型,該模型以鋰電池容量為網(wǎng)絡(luò)輸入,剩余循環(huán)壽命和剩余工作時(shí)長為網(wǎng)絡(luò)輸出,建立了容量與雙重時(shí)間尺度的映射關(guān)系,引入的Transformer網(wǎng)絡(luò)不僅可以有效地學(xué)習(xí)時(shí)間序列中的變化趨勢,而且其多頭注意力機(jī)制可以學(xué)習(xí)鋰電池容量退化的長期依賴性,加速網(wǎng)絡(luò)的訓(xùn)練性能.最后,通過馬里蘭大學(xué)公開數(shù)據(jù)集中的CS2鋰電池?cái)?shù)據(jù)集實(shí)例對比驗(yàn)證了該模型的有效性.

1 Transformer網(wǎng)絡(luò)簡介

Transformer網(wǎng)絡(luò)在2017年首次被提出,此網(wǎng)絡(luò)不僅可以有效學(xué)習(xí)時(shí)間序列的長期依賴性,還可以采用并行運(yùn)算提高運(yùn)行效率,在自然語言處理領(lǐng)域具有顯著成果.近年來,Transformer網(wǎng)絡(luò)也逐漸被應(yīng)用于RUL預(yù)測研究上,比如:DING等[17]基于Transformer網(wǎng)絡(luò)編碼器,將注意力機(jī)制的全局上下文捕獲與卷積操作的局部依賴性建模相結(jié)合,有效提高了退化的特征提取能力.MO等[18]將單獨(dú)的門卷積單元與每個(gè)時(shí)間步局部上下文信息結(jié)合,并利用Transformer網(wǎng)絡(luò)編碼器層作為主要預(yù)測網(wǎng)絡(luò),取得良好的預(yù)測結(jié)果.

標(biāo)準(zhǔn)的Transformer網(wǎng)絡(luò)是一個(gè)由編碼器和解碼器組成的序列到序列的結(jié)構(gòu).Transformer網(wǎng)絡(luò)的輸入序列被編碼器映射至一個(gè)更高維的向量中,進(jìn)一步,將向量通過解碼器生成一個(gè)輸出序列.與RNN網(wǎng)絡(luò)的不同之處在于,Transformer網(wǎng)絡(luò)通過多頭注意力機(jī)制建立長期依賴關(guān)系.本文利用Transformer網(wǎng)絡(luò)的編碼器從電池的監(jiān)測數(shù)據(jù)中獲取了容量退化的長期依賴性,以及容量退化與不同時(shí)間尺度下RUL的相互關(guān)系,使用一個(gè)全連接層對編碼器輸出進(jìn)行預(yù)測,獲得網(wǎng)絡(luò)的輸出結(jié)果,其結(jié)構(gòu)如圖1所示.

圖1 Transformer_Encode結(jié)構(gòu)Fig.1 Structure of the Transformer_Encode

由圖1可以看出,每個(gè)編碼器層由多個(gè)結(jié)構(gòu)相同的子編碼器堆疊組成.單個(gè)子編碼器由位置編碼層、多頭注意力機(jī)制層和前饋全連接層構(gòu)成,且都經(jīng)過規(guī)范化處理,采用殘差連接,可有效防止梯度消失,加速模型收斂.在本文中,提出了一種基于Transformer解碼器的RUL預(yù)測模型,充分高效地獲取鋰電池容量中的退化趨勢,并建立其與雙重時(shí)間尺度的映射關(guān)系.

2 雙時(shí)間尺度下基于Transformer網(wǎng)絡(luò)的RUL預(yù)測

2.1 數(shù)據(jù)預(yù)處理

數(shù)據(jù)預(yù)處理包括兩部分:第一步是對數(shù)據(jù)進(jìn)行平滑處理,去除數(shù)據(jù)的異常點(diǎn);本文采用卡爾曼濾波對原始數(shù)據(jù)進(jìn)行降噪處理,提高數(shù)據(jù)的平滑度.第二步即為歸一化處理,為了減少輸入數(shù)據(jù)分布變化對網(wǎng)絡(luò)模型的影響,需對數(shù)據(jù)進(jìn)行歸一化處理,本文采用min-max歸一化法對數(shù)據(jù)進(jìn)行處理.設(shè)xt={xt(1),xt(2),…,xt(n)},表示長度為n的輸入序列,令xt被映射到(0,1]

(1)

2.2 Transformer模型搭建

本文利用Transformer編碼器從電池運(yùn)行歷史數(shù)據(jù)中學(xué)習(xí)容量退化的長期依賴性.Transformer層有兩個(gè)子層:多頭注意力層和前饋全連接層,為了充分考慮序列的位置信息,利用基礎(chǔ)的位置編碼對序列進(jìn)行了一些相對的位置標(biāo)記.采用了不同頻率的正弦和余弦函數(shù)進(jìn)行位置標(biāo)注

(2)

(3)

多頭注意力層的目的是捕獲特征之間的依賴關(guān)系.多頭注意力層將位置編碼層輸出序列Xt劃分為多組,并對每組通過獨(dú)立的自注意力機(jī)制處理.在每組中,輸入序列被轉(zhuǎn)換為3個(gè)向量:查詢向量、鍵向量和價(jià)值向量.然后,計(jì)算查詢向量和鍵向量之間的注意力得分,并將得分用于對價(jià)值向量進(jìn)行加權(quán).進(jìn)一步,將加權(quán)的價(jià)值向量連接和轉(zhuǎn)換,產(chǎn)生注意力機(jī)制的輸出.最后,把每組自注意力機(jī)制的結(jié)果拼接起來進(jìn)行一次線性變換獲得輸出序列.給出第L-1層多頭注意力機(jī)制的表達(dá)

(4)

headi=Attention(Q,K,V)

(5)

(6)

MultiHead(HL-1)=Concat(head1,…,headh)Wo

(7)

前饋全連接層由兩個(gè)線性變換組成,中間包含一個(gè)ReLU激活函數(shù).前饋全連接層的加入可以增強(qiáng)模型學(xué)習(xí)輸入序列前后間的復(fù)雜的非線性關(guān)系的能力.非線性激活函數(shù)允許層學(xué)習(xí)輸入特征之間的相互作用,而線性變換允許層學(xué)習(xí)輸入序列中不同位置的不同權(quán)重.為防止注意力機(jī)制對復(fù)雜過程的擬合度不夠,加入前饋網(wǎng)絡(luò)增加非線性表達(dá)能力,進(jìn)而增強(qiáng)模型的能力.從上一層多頭注意力層得到

HL=FFN(MultiHead(HL-1)),FFN(*)=w2·ReLU(w1*+b1)+b2

(8)

在網(wǎng)絡(luò)的每個(gè)子層后加入一個(gè)規(guī)范化層,因?yàn)?隨著網(wǎng)絡(luò)層數(shù)增加,網(wǎng)絡(luò)的計(jì)算參數(shù)會出現(xiàn)偏大或偏小的情況,有可能會引發(fā)網(wǎng)絡(luò)學(xué)習(xí)異常,模型收斂速度減緩.因此,引入規(guī)范化層對數(shù)值進(jìn)行歸一化操作,使其特征值在合理范圍.

2.3 鋰電池RUL預(yù)測

網(wǎng)絡(luò)的輸出層為一個(gè)全連接層,利用全連接層來映射網(wǎng)絡(luò)學(xué)習(xí)獲得的剩余壽命信息,進(jìn)而獲得最終的預(yù)測結(jié)果,鋰電池剩余循環(huán)次數(shù)和剩余工作時(shí)長.

(9)

2.4 損失函數(shù)的定義與訓(xùn)練

在模型訓(xùn)練和學(xué)習(xí)過程中使用均方誤差(mean squared error, MSE)來評估損失,目標(biāo)函數(shù)定義如下:

(10)

3 實(shí)例驗(yàn)證和結(jié)果分析

3.1 數(shù)據(jù)集介紹

本文選取美國馬里蘭大學(xué)先進(jìn)壽命周期工程中心(center for advanced life cycle engineering, CALCE)公開的CS2型號電池?cái)?shù)據(jù)集[19-20],來驗(yàn)證本文所提基于Transformer的雙時(shí)間尺度設(shè)備RUL預(yù)測模型.將Arbin BT2000鋰電池系統(tǒng)應(yīng)用于鋰電池退化實(shí)驗(yàn)中.室溫下將額定容量為1.1Ah的CS2鋰離子電池在0.55A的恒定電流下充電,直至達(dá)到額定電壓4.2 V,在1.1 A的恒定電流下放電,直至電壓降到2.7 V.數(shù)據(jù)集中共包含4塊電池?cái)?shù)據(jù):CS2_35、CS2_36、CS2_37和CS2_38,數(shù)據(jù)結(jié)構(gòu)在室溫下由電流、電壓、運(yùn)行循環(huán)、工作時(shí)長和容量5種形式構(gòu)成,其主要測試數(shù)據(jù)如表1所示,不同時(shí)間尺度下容量衰減趨勢如圖3所示.

表1 CS2電池主要測試數(shù)據(jù)Tab.1 CS2 Lithium-ion battery main test data

圖3 CS2型號電池容量退化軌跡Fig.3 Model CS2 battery capacity degradation trajectory

3.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)集中部分電池?cái)?shù)據(jù)由于測量誤差等因素存在異常值,首先對原始數(shù)據(jù)進(jìn)行卡爾曼濾波,去除數(shù)據(jù)中的異常點(diǎn).然后,采取min-max歸一化方法對電池容量數(shù)據(jù)、循環(huán)次數(shù)以及工作累計(jì)時(shí)長進(jìn)行歸一化操作,進(jìn)一步使用滑動時(shí)間窗方法生成固定長度的訓(xùn)練樣本.設(shè)置時(shí)間窗長度為32,步長為1,每組數(shù)據(jù)包含訓(xùn)練集、測試集和RUL標(biāo)簽3部分,訓(xùn)練集和測試集為鋰電池的容量數(shù)據(jù),RUL標(biāo)簽為鋰電池循環(huán)使用次數(shù)和鋰電池累計(jì)工作時(shí)長.最后,把經(jīng)上述預(yù)處理的數(shù)據(jù)輸入到Transformer網(wǎng)絡(luò)進(jìn)行RUL預(yù)測.

3.3 超參數(shù)設(shè)置

使用網(wǎng)格搜索法選取網(wǎng)絡(luò)的最優(yōu)參數(shù),Transformer網(wǎng)絡(luò)的主要參數(shù)設(shè)置如表2.

表2 網(wǎng)絡(luò)參數(shù)設(shè)置Tab.2 Network parameter settings

使用表2中最優(yōu)參數(shù),將經(jīng)處理的訓(xùn)練集輸入模型中進(jìn)行訓(xùn)練和預(yù)測.在訓(xùn)練過程中,使用CS2_36、CS2_37和CS2_38的全部數(shù)據(jù)和CS2_35的前32個(gè)數(shù)據(jù)作為訓(xùn)練集進(jìn)行訓(xùn)練,選用CS2_35后848個(gè)數(shù)據(jù)作為測試集;采用Adam優(yōu)化器對模型權(quán)值進(jìn)行優(yōu)化.

3.4 剩余壽命預(yù)測

為驗(yàn)證本文所提雙時(shí)間尺度Transformer模型的優(yōu)越性,引入3類常用于時(shí)間序列學(xué)習(xí)的網(wǎng)絡(luò)模型,即GRU、LSTM以及Bi-LSTM.首先,基于本文所提網(wǎng)絡(luò)模型驗(yàn)證雙時(shí)間尺度RUL預(yù)測相較于單時(shí)間尺度RUL預(yù)測的精確性.然后,再分別實(shí)現(xiàn)每種網(wǎng)絡(luò)考慮雙時(shí)間尺度下的性能退化預(yù)測鋰電池RUL,進(jìn)一步驗(yàn)證本文使用網(wǎng)絡(luò)模型的優(yōu)越性.5種RUL預(yù)測方法,分別記為方法1～5.方法1為本文所提Transformer網(wǎng)絡(luò)僅考慮單時(shí)間尺度下的性能退化去預(yù)測其RUL;方法2～5為4種網(wǎng)絡(luò)考慮雙時(shí)間尺度協(xié)同下的退化進(jìn)行RUL預(yù)測,且方法5即為本文所提方法.

(1)預(yù)測模型對比試驗(yàn)

圖4給出了僅考慮單時(shí)間尺度和同時(shí)考慮雙時(shí)間尺度下的退化,并通過本文所用Transformer網(wǎng)絡(luò)預(yù)測方法在一次全測試循環(huán)進(jìn)行RUL預(yù)測的結(jié)果對比圖.

圖4 基于Transformer的鋰電池RUL預(yù)測結(jié)果對比Fig.4 Comparison of lithium battery RUL prediction results based on Transformer

從圖4可以看出,鋰電池RUL預(yù)測結(jié)果與退化數(shù)據(jù)有關(guān),盡管在預(yù)測前期預(yù)測值波動比較大,但隨著獲取的退化數(shù)據(jù)的累積,單時(shí)間尺度和雙時(shí)間尺度模型的預(yù)測結(jié)果在預(yù)測后期都不再發(fā)散,收斂在RUL真實(shí)值附近.同時(shí),本文所提模型的RUL預(yù)測結(jié)果在預(yù)測后期更加接近RUL真實(shí)值.僅考慮單時(shí)間尺度的RUL預(yù)測結(jié)果在預(yù)測后期大多小于RUL真實(shí)值,表明僅考慮單一時(shí)間尺度下的性能退化往往會低估RUL,因?yàn)闆]有考慮到另一個(gè)時(shí)間尺度的退化和壽命信息.由此可得,考慮雙時(shí)間尺度對退化影響的建模更符合實(shí)際工程使用情況,可有效的提高鋰電池剩余壽命預(yù)測的準(zhǔn)確度.

(2)不同網(wǎng)絡(luò)對比試驗(yàn)

為定量分析不同網(wǎng)絡(luò)模型的性能,本文引入兩個(gè)評價(jià)指標(biāo),均方根誤差(root mean squared error, RMSE)和平均絕對誤差(mean absolute error, MAE)作為評估模型RUL預(yù)測是否準(zhǔn)確的指標(biāo).

RMSE計(jì)算公式為

(11)

MAE計(jì)算公式為

(12)

方法2～5將本文所提Transformer網(wǎng)絡(luò)模型與GRU、LSTM以及Bi-LSTM 4種方法在CS2_35數(shù)據(jù)集上的單步預(yù)測結(jié)果進(jìn)行對比,損失通過RMSE和MAE來表示,表3給出了預(yù)測最終趨于穩(wěn)定時(shí)4種方法預(yù)測結(jié)果的損失值.圖5給出了不同網(wǎng)絡(luò)下基于雙時(shí)間尺度影響下鋰電池剩余壽命預(yù)測圖.圖5(a)是考慮鋰電池工作時(shí)長影響的鋰電池剩余循環(huán)次數(shù)預(yù)測結(jié)果,圖5(b)表示考慮鋰電池循環(huán)壽命影響的鋰電池剩余工作時(shí)長預(yù)測結(jié)果.

表3 不同方法雙時(shí)間尺度下的RUL預(yù)測結(jié)果對比Tab.3 Comparison of RUL prediction results on dual time scales of different methods

圖5 不同網(wǎng)絡(luò)雙時(shí)間尺度下的鋰電池RUL預(yù)測結(jié)果對比Fig.5 Comparison of lithium battery RUL prediction results under dual time scales of different networks

通過對比圖5中預(yù)測結(jié)果和表3中的誤差值可得,預(yù)測后期本文所提方法和RUL真值相差較小,從RMSE和MAE對比,本文所提基于Transformer的預(yù)測方法的預(yù)測誤差均為最低.相對于基于GRU和LSTM的預(yù)測方法,基于Bi-LSTM網(wǎng)絡(luò)的預(yù)測方法從前后兩個(gè)方向上對時(shí)間相關(guān)性進(jìn)行學(xué)習(xí),因此,其RMSE和MAE相對更小一些.而本文所提的Transformer網(wǎng)絡(luò)預(yù)測模型,進(jìn)一步提高了RUL預(yù)測的精度,這得益于Transformer網(wǎng)絡(luò)的多頭注意力機(jī)制層可以有效學(xué)習(xí)電池容量退化過程中的長期依賴性,大大提高網(wǎng)絡(luò)的預(yù)測性能.

4 結(jié) 論

針對鋰電池運(yùn)行過程中的性能退化由多時(shí)間尺度下的退化協(xié)同作用這一問題,本文提出一種基于Transformer網(wǎng)絡(luò)的雙時(shí)間尺度剩余壽命預(yù)測模型.其中應(yīng)用卡爾曼濾波對原始數(shù)據(jù)中的異常點(diǎn)進(jìn)行濾波,提升數(shù)據(jù)的平滑度.進(jìn)一步應(yīng)用Transformer網(wǎng)絡(luò)有效學(xué)習(xí)鋰電池容量衰減中的退化趨勢,利用網(wǎng)絡(luò)結(jié)構(gòu)中的多頭注意力機(jī)制層學(xué)習(xí)鋰電池容量退化的長期依賴性,提高網(wǎng)絡(luò)的預(yù)測性能.經(jīng)實(shí)例驗(yàn)證,相比僅考慮單時(shí)間尺度影響的預(yù)測模型,本文所提預(yù)測模型具有更好的預(yù)測精度,并且此網(wǎng)絡(luò)模型對比基于RNN基本框架的預(yù)測模型而言,可以有效降低長期依賴性對網(wǎng)絡(luò)預(yù)測模型的影響.未來將進(jìn)一步研究多狀態(tài)影響下鋰電池的性能退化對雙時(shí)間尺度剩余使用壽命的影響,以提高鋰電池RUL預(yù)測的精確度.