魯 南 歐陽(yáng)權(quán) 黃俍卉 王志勝

(1.南京航空航天大學(xué)自動(dòng)化學(xué)院 南京 211106；2.浙江科技學(xué)院自動(dòng)化與電氣工程學(xué)院 杭州 310023)

1 引言

鋰電池具有能量密度高、體積小和自放電率低等優(yōu)點(diǎn)，因此被廣泛用于電動(dòng)汽車、軍事裝備、航空航天及儲(chǔ)能設(shè)備等各個(gè)領(lǐng)域。但是，隨著充放電次數(shù)的增加，鋰電池內(nèi)部會(huì)發(fā)生復(fù)雜的物理化學(xué)變化，如石墨剝落、金屬溶解、粘合劑分解導(dǎo)致活性材料無(wú)法接觸等，這可能會(huì)導(dǎo)致電池容量的衰退[1]。當(dāng)鋰電池的容量衰退到標(biāo)稱容量的 70%～80%時(shí)，則認(rèn)為鋰電池不再具有良好的性能[2]。對(duì)鋰電池容量的準(zhǔn)確預(yù)測(cè)能夠指導(dǎo)工作人員及時(shí)更換電池，降低風(fēng)險(xiǎn)與經(jīng)濟(jì)損失。然而，由于鋰電池的容量易受環(huán)境和操作的影響，同一型號(hào)電池的容量變化趨勢(shì)也存在差異，這使得預(yù)測(cè)變得困難，因此迫切需要具有高精度的電池容量預(yù)測(cè)技術(shù)。根據(jù)電池健康管理系統(tǒng)監(jiān)測(cè)到的數(shù)據(jù)，對(duì)鋰電池容量進(jìn)行預(yù)測(cè)。目前，鋰電池容量預(yù)測(cè)已成為研究的熱點(diǎn)之一。

已有的鋰電池容量預(yù)測(cè)方法可以分為兩類：基于模型的預(yù)測(cè)方法和數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法[3]?；谀Ｐ偷念A(yù)測(cè)方法對(duì)電池內(nèi)部的復(fù)雜物理化學(xué)反應(yīng)進(jìn)行數(shù)學(xué)建模，從而預(yù)測(cè)電池容量。但是，這種方法需要大量的先驗(yàn)知識(shí)，例如電池的物理和化學(xué)原理及引起容量衰退的主要因素等，在復(fù)雜的環(huán)境下，可能難以對(duì)電池進(jìn)行建模。數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法直接利用電池在充放電過(guò)程中監(jiān)測(cè)到的電流、電壓、溫度等特征數(shù)據(jù)對(duì)容量進(jìn)行預(yù)測(cè)，而無(wú)需依賴電池內(nèi)部復(fù)雜的衰退機(jī)理。與基于模型的預(yù)測(cè)方法相比，數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)方法更加簡(jiǎn)單和方便。支持向量機(jī)(Support vector machine, SVM)被廣泛應(yīng)用于電池壽命預(yù)測(cè)中[4]，方法簡(jiǎn)單且具有良好的魯棒性。高斯過(guò)程(Gaussian process,GP)在電池容量預(yù)測(cè)中展示出優(yōu)秀的性能[5]，并能夠給出置信區(qū)間，進(jìn)一步提高可靠性。此外，神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)歷史數(shù)據(jù)之間的特征，在建模高度非線性、多維系統(tǒng)中表現(xiàn)出更為良好的性能。例如，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent neural network, RNN)可以捕捉前后時(shí)刻數(shù)據(jù)之間的聯(lián)系，通常被用于處理時(shí)間序列問(wèn)題。CHAOUI等[6]提出了基于RNN的動(dòng)態(tài)模型，在預(yù)測(cè)鋰電池的健康狀態(tài)上體現(xiàn)出了良好的性能。為解決RNN梯度消失和梯度爆炸等問(wèn)題，長(zhǎng)短期記憶網(wǎng)絡(luò)(Long short-term memory, LSTM)和門控循環(huán)單元(Gated recurrent unit, GRU)被提出。PARK等[7]提出一種基于多通道LSTM的預(yù)測(cè)方法，對(duì)歷史電流、電壓等數(shù)據(jù)進(jìn)行多次采樣，預(yù)測(cè)未來(lái)電池剩余使用壽命。CUI等[8]提出基于時(shí)序注意力機(jī)制的GRU模型，從電池電流和電壓曲線提取特征數(shù)據(jù)，大大降低了輸入數(shù)據(jù)的規(guī)模，但其只適用于單步預(yù)測(cè)，難以為更換電池提供時(shí)間裕量。此外，多個(gè)基于LSTM的深度學(xué)習(xí)模型已被提出。YOU等[9]提出一種Deep LSTM模型，使用多個(gè) LSTM 堆疊，以使模型獲得更強(qiáng)的學(xué)習(xí)能力。REN等[10]提出一種基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)和LSTM的剩余壽命預(yù)測(cè)方法，使用自動(dòng)編碼器來(lái)增加數(shù)據(jù)的維度，以便更有效地訓(xùn)練CNN和LSTM。然而，這些模型無(wú)法關(guān)注輸入中對(duì)結(jié)果影響較大的部分。除此之外，單任務(wù)模式限制了這些模型的性能，可能會(huì)導(dǎo)致預(yù)測(cè)的準(zhǔn)確性不足。

針對(duì)這一問(wèn)題，本文提出將注意力機(jī)制與多任務(wù)學(xué)習(xí)應(yīng)用于模型中，以提高模型的準(zhǔn)確性。

目前，許多研究者提出將注意力機(jī)制應(yīng)用于神經(jīng)網(wǎng)絡(luò)算法中，以提高模型的性能。神經(jīng)網(wǎng)絡(luò)通常會(huì)接收和處理大量的信息，而這些信息中可能只有一部分是對(duì)結(jié)果有較大影響的。注意力機(jī)制則是讓神經(jīng)網(wǎng)絡(luò)模型具有篩選輸入的能力，即為輸入的信息分配注意力權(quán)值，讓模型關(guān)注對(duì)結(jié)果影響較大的部分。早期的注意力機(jī)制常被用于自然語(yǔ)言處理(Natural language processing, NLP)領(lǐng)域。BAHDANAU[11]等提出一種應(yīng)用于翻譯的注意力機(jī)制，在翻譯中當(dāng)模型生成一個(gè)單詞時(shí)，這個(gè)模型會(huì)計(jì)算源句中與其最相關(guān)的部分，然后模型根據(jù)這些相關(guān)信息及之前生成的目標(biāo)詞來(lái)生成新的目標(biāo)詞。但這種注意力機(jī)制依賴編碼器-解碼器結(jié)構(gòu)，且需要給定搜索向量，模型才能計(jì)算注意力權(quán)值。RAFFEL等[12]對(duì)此進(jìn)行簡(jiǎn)化，提出一種前饋?zhàn)⒁饬C(jī)制(Feed-forward attention)，允許模型僅基于輸入值生成注意力權(quán)值。

本文基于這種簡(jiǎn)化后的注意力機(jī)制，設(shè)計(jì)一種可訓(xùn)練的注意力權(quán)重計(jì)算函數(shù)，將其用于時(shí)間序列預(yù)測(cè)模型中。

對(duì)于目前大多數(shù)基于神經(jīng)網(wǎng)絡(luò)的電池容量預(yù)測(cè)模型，都是給定歷史數(shù)據(jù)作為輸入，對(duì)目標(biāo)時(shí)刻進(jìn)行預(yù)測(cè)，屬于單任務(wù)學(xué)習(xí)。CHENG等[13]認(rèn)為這類模型忽略了未來(lái)時(shí)刻預(yù)測(cè)值之間的聯(lián)系，這可能會(huì)限制模型的性能。而多任務(wù)學(xué)習(xí)[14]可以將多個(gè)相關(guān)的任務(wù)放在同一個(gè)模型一起學(xué)習(xí)，從而建立多個(gè)任務(wù)之間的關(guān)聯(lián)、沖突與約束關(guān)系，以提高模型的性能。因此，他們提出一種多變量的多任務(wù)深度學(xué)習(xí)框架[13]，使用遠(yuǎn)近視覺(jué)對(duì)目標(biāo)附近時(shí)刻進(jìn)行預(yù)測(cè)，使用這些附近時(shí)刻的信息輔助預(yù)測(cè)目標(biāo)時(shí)刻以提高準(zhǔn)確度。這可以理解為，對(duì)預(yù)測(cè)目標(biāo)周圍的狀況有良好的了解可以對(duì)預(yù)測(cè)目標(biāo)產(chǎn)生積極的影響。本文認(rèn)為該理論同樣適用于電池容量預(yù)測(cè)。

目前，大多數(shù)電池容量預(yù)測(cè)方法存在以下問(wèn)題：① 需要從完整的充放電電流、電壓曲線中采樣或提取特征作為模型的輸入，在實(shí)際使用中難以實(shí)現(xiàn)；② 模型無(wú)法選擇性地關(guān)注輸入中對(duì)結(jié)果影響最大的部分，降低了模型的準(zhǔn)確性；③ 忽略了目標(biāo)附近時(shí)刻信息對(duì)預(yù)測(cè)目標(biāo)時(shí)刻的輔助作用，限制了模型的性能。

為了解決這些問(wèn)題，本文提出一種基于注意力機(jī)制和多任務(wù)LSTM的鋰電池容量預(yù)測(cè)方法，僅使用鋰電池歷史容量數(shù)據(jù)訓(xùn)練模型。本文的創(chuàng)新點(diǎn)主要如下所述。

(1) 提出一種基于多任務(wù)學(xué)習(xí)的容量預(yù)測(cè)模型，執(zhí)行多個(gè)預(yù)測(cè)任務(wù)，使用輔助預(yù)測(cè)任務(wù)來(lái)提高主預(yù)測(cè)任務(wù)的準(zhǔn)確性。

(2) 提出一種基于時(shí)間步的自注意力機(jī)制，將其與LSTM模型結(jié)合，讓模型關(guān)注LSTM輸出中與對(duì)結(jié)果影響較大的部分，提高模型的性能。

(3) 使用提出的模型對(duì)NASA電池?cái)?shù)據(jù)庫(kù)中的三個(gè)電池進(jìn)行容量預(yù)測(cè)。驗(yàn)證結(jié)果表明，與傳統(tǒng)模型相比，文本提出的模型預(yù)測(cè)準(zhǔn)確度更高。

2 問(wèn)題描述

本文使用 NASA艾姆斯卓越預(yù)測(cè)中心數(shù)據(jù)儲(chǔ)存庫(kù)鋰電池?cái)?shù)據(jù)集[15]中的三個(gè)電池來(lái)驗(yàn)證模型的性能。三個(gè)電池的容量變化曲線如圖1所示。數(shù)據(jù)集中包含常溫下電池在三種狀態(tài)(充電、放電、阻抗)下的數(shù)據(jù)。在充電過(guò)程中，電池首先以1.5 A的恒定電流進(jìn)行充電，直到電壓上升至4.2 V，然后進(jìn)入恒壓充電階段，直到電流下降至20 mA。放電過(guò)程中，電池以2 A的恒定電流進(jìn)行放電，當(dāng)電池 B0005、B0007、B0018的電壓分別下降至2.7 V、2.5 V、2.5 V時(shí)，放電停止。

圖1 電池容量衰退曲線

反復(fù)充放電可以導(dǎo)致電池老化，使電池性能衰退。然而，電池的容量衰退通常伴隨著容量再生現(xiàn)象，這是由于電池停止工作期間活性物質(zhì)存在再平衡[16]，從而增加了下一個(gè)循環(huán)的可用容量。容量再生現(xiàn)象使得容量衰退曲線變得非線性，這為準(zhǔn)確預(yù)測(cè)電池容量帶來(lái)極大的挑戰(zhàn)，因此，電池容量預(yù)測(cè)對(duì)模型的性能要求較高。

本文模型需要完成的主要任務(wù)是實(shí)現(xiàn)在線容量預(yù)測(cè)，即根據(jù)已采集的歷史容量數(shù)據(jù)，預(yù)測(cè)未來(lái)一段時(shí)間間隔的容量值，可以表示為

式中，w表示滑動(dòng)窗口寬度；P表示預(yù)測(cè)時(shí)間間隔；f(·)表示本文提出的預(yù)測(cè)模型。

3 基于注意力機(jī)制和多任務(wù)LSTM的容量預(yù)測(cè)方法設(shè)計(jì)

針對(duì)傳統(tǒng)容量預(yù)測(cè)方法的不足，本文提出一種基于注意力機(jī)制和多任務(wù)LSTM的容量預(yù)測(cè)模型。

首先，為降低單任務(wù)模式對(duì)性能的限制，提高預(yù)測(cè)準(zhǔn)確度，本文使用多任務(wù) LSTM(Multi-task LSTM, MT-LSTM)作為模型的主框架，實(shí)現(xiàn)未來(lái)信息的互補(bǔ)。傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型只執(zhí)行一個(gè)預(yù)測(cè)任務(wù)，即只預(yù)測(cè)Dk+w+p-1。不同于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)模型，本文提出的模型考慮未來(lái)多個(gè)時(shí)刻信息之間的聯(lián)系，因此將執(zhí)行三個(gè)預(yù)測(cè)任務(wù)，即同時(shí)預(yù)測(cè)Dk+w+p-2、Dk+w+p-1和Dk+w+p+1，如圖2所示。其中，預(yù)測(cè)Dk+w+p-1為主任務(wù)；預(yù)測(cè)Dk+w+p-2和Dk+w+p+1則為輔助任務(wù)，被用來(lái)為主任務(wù)提供相關(guān)的信息，提高主任務(wù)的準(zhǔn)確度。

圖2 本文提出的MT-LSTM結(jié)構(gòu)

本文提出的 MT-LSTM 采用硬參數(shù)共享方式[17]，包含共享層(Shared layer)和特有層(Specific layer)兩個(gè)部分。共享層包含了一個(gè)LSTM層，它被用來(lái)處理原始輸入序列，其參數(shù)被所有任務(wù)共享。在反向傳播過(guò)程中，所有任務(wù)都參與該層參數(shù)更新，因此能夠建立各任務(wù)之間的關(guān)聯(lián)、約束與沖突關(guān)系。經(jīng)過(guò)共享層處理后的數(shù)據(jù)將會(huì)送入各任務(wù)的私有模塊中，即特有層。特有層的功能是基于共享層提取出的通用特征執(zhí)行單獨(dú)的預(yù)測(cè)任務(wù)。解釋水平理論認(rèn)為[18]，人們傾向于用更抽象的特征來(lái)表征心理距離較遠(yuǎn)的事物。本文中各預(yù)測(cè)任務(wù)基于同一輸入序列，且預(yù)測(cè)時(shí)刻與輸入序列的時(shí)間間隔不同。因此，基于解釋水平理論，使用一維卷積層提取不同抽象程度的特征。這些特征之后將會(huì)被分別送往私有LSTM層中，經(jīng)計(jì)算得出預(yù)測(cè)結(jié)果。

此外，為了使所提模型關(guān)注對(duì)結(jié)果影響較大的隱藏狀態(tài)，本文使用一種基于時(shí)間步的注意力機(jī)制。本文的容量預(yù)測(cè)基于滑動(dòng)窗口采樣實(shí)現(xiàn)，因此預(yù)測(cè)結(jié)果取決于滑動(dòng)窗口對(duì)應(yīng)的隱藏狀態(tài)。但是 LSTM各時(shí)刻輸出的隱藏狀態(tài)對(duì)結(jié)果影響程度不同，讓模型關(guān)注這些影響程度大的隱藏狀態(tài)，有利于減少分心問(wèn)題并提高準(zhǔn)確度。為了量化這種影響程度，本文使用注意力層計(jì)算各時(shí)刻隱藏狀態(tài)的注意力權(quán)值，最終將其加權(quán)求和得到結(jié)果向量，基于結(jié)果向量得到最終預(yù)測(cè)值。因此，模型會(huì)更關(guān)注意力權(quán)重大的時(shí)刻。模型的具體內(nèi)容將會(huì)在本節(jié)后續(xù)內(nèi)容中給出。

3.1 電池容量處理

由于電池容量衰退占據(jù)容量變化趨勢(shì)的主導(dǎo)地位，訓(xùn)練集與測(cè)試集中容量數(shù)據(jù)的規(guī)模會(huì)有較大差別，這會(huì)導(dǎo)致模型無(wú)法進(jìn)行準(zhǔn)確的預(yù)測(cè)。因此，本文采用一種簡(jiǎn)單的歸一化方法，將數(shù)據(jù)大致限制在同一規(guī)模，降低模型對(duì)數(shù)據(jù)的敏感程度。將每個(gè)滑動(dòng)窗口中的容量值[Ck,Ck+1,… ,Ck+w-1]除以上一個(gè)循環(huán)的容量值Ck-1，預(yù)測(cè)任務(wù)改變?yōu)?/p>

3.2 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)

LSTM是一種特殊的RNN模型，它能夠很好地刻畫(huà)具有時(shí)間關(guān)聯(lián)的序列[19]。本文的模型包含多個(gè)LSTM，共享層的LSTM被用來(lái)提取原始時(shí)間序列的特征。特有層的LSTM被用來(lái)處理上一層神經(jīng)網(wǎng)絡(luò)的輸出序列，提取與預(yù)測(cè)結(jié)果相關(guān)的特征。

LSTM使用多個(gè)門控函數(shù)來(lái)決定需要忘記的信息、需要記住的信息和需要輸出的信息，從而可以選擇性地傳輸信息。LSTM 主要包含三個(gè)門結(jié)構(gòu)：遺忘門、記憶門和輸出門，各門之間進(jìn)行交互，提高LSTM模型的信息分析能力。LSTM的細(xì)胞結(jié)構(gòu)如圖3所示。

圖3 LSTM細(xì)胞結(jié)構(gòu)

設(shè)ck表示k時(shí)刻的細(xì)胞狀態(tài)，xk表示k時(shí)刻的輸入數(shù)據(jù)，hk表示k時(shí)刻輸出的隱藏狀態(tài)。k時(shí)刻的 LSTM 細(xì)胞將接收三種輸入信息：ck-1、hk-1和xk。xk這些輸入信息將首先被送往遺忘門和記憶門進(jìn)行處理。遺忘門被用來(lái)忘記信息，它決定了ck-1中哪些信息將被遺忘。記憶門則用來(lái)篩選hk-1和xk中需要保留的信息。遺忘門和記憶門的計(jì)算過(guò)程可以表示為

信息經(jīng)遺忘門和記憶門處理后，k時(shí)刻的細(xì)胞狀態(tài)ck將隨之更新

最后，輸出門將hk-1、xk和ck的信息進(jìn)行整合，生成輸出信號(hào)

3.3 基于一維卷積神經(jīng)網(wǎng)絡(luò)的抽象特征提取

根據(jù)解釋水平理論，本文模型執(zhí)行各預(yù)測(cè)任務(wù)時(shí)需要基于不同抽象程度的特征。一維卷積神經(jīng)網(wǎng)絡(luò)(1D CNN)是一種包含卷積計(jì)算的神經(jīng)網(wǎng)絡(luò)[20]。它可以捕獲輸入數(shù)據(jù)中與目標(biāo)最相關(guān)的特征，從而降低輸入數(shù)據(jù)中的噪聲。本文使用多個(gè)一維卷積層來(lái)學(xué)習(xí)共享層LSTM的輸出序列，并將其轉(zhuǎn)換為不同抽象程度的特征序列。深層的卷積層接收上一卷積層提取到的特征作為輸入，因此提取出的特征更為抽象，被用于與歷史容量數(shù)據(jù)間隔較遠(yuǎn)的預(yù)測(cè)任務(wù)。

卷積層的核心思想是通過(guò)卷積核的卷積操作學(xué)習(xí)輸入序列的特征。設(shè)某時(shí)刻從上一層神經(jīng)網(wǎng)絡(luò)輸入到卷積層的隱藏狀態(tài)為

設(shè)置一系列卷積核為

卷積操作可以將輸入序列映射至輸出空間U∈ Rw×m，其中，s表示卷積核的大小；n表示卷積核的維度，與輸入序列的維度相等；m表示卷積核的數(shù)量。卷積過(guò)程如圖4所示。

圖4 卷積過(guò)程

當(dāng)卷積核成功捕捉到某種特征時(shí)，將會(huì)被激活函數(shù)激活。卷積層中，使用多個(gè)卷積核并行學(xué)習(xí)，以期從多個(gè)角度捕捉特征。使用ReLU函數(shù)作為一維卷積層的激活函數(shù)。本文為一維卷積層加入 Batch Normalization[21]，以提高收斂速度和防止過(guò)擬合。卷積層計(jì)算過(guò)程表示為

式中，Ri表示第i個(gè)卷積核vi經(jīng)卷積操作后得到的特征向量；bi表示偏置；U表示一維卷積層的輸出。

3.4 注意力層

本文希望對(duì)特有層LSTM的輸出進(jìn)行處理，讓模型更多地關(guān)注對(duì)結(jié)果影響較大的時(shí)間步。因此，本文提出一種時(shí)間步的自注意力機(jī)制，將其與LSTM 相結(jié)合。假設(shè)在當(dāng)前時(shí)刻中，注意力層接收h= [hk,hk+1,… ,hk+w-1]T，hi∈R1×n作為輸入，此時(shí)注意力層將會(huì)根據(jù)輸入來(lái)計(jì)算出一組注意力權(quán)重αk,αk+1,… ,αk+w-1，這些注意力權(quán)重代表了各時(shí)刻隱藏狀態(tài)對(duì)結(jié)果的影響大小。然后模型對(duì)輸入進(jìn)行加權(quán)求和得到結(jié)果向量lk。注意力層的結(jié)構(gòu)如圖5所示。

圖5 注意力層結(jié)構(gòu)

注意力層的計(jì)算過(guò)程可以表示為

式中，Wa∈Rw×n表示權(quán)重矩陣；wi,j表示矩陣Wa中的元素；b∈ Rw×n和W∈ Rw×n是可訓(xùn)練的參數(shù)；*表示矩陣的點(diǎn)乘過(guò)程；lk表示結(jié)果向量。在訓(xùn)練的過(guò)程中，模型自發(fā)地學(xué)習(xí)輸入信息中每個(gè)元素對(duì)結(jié)果的影響大小，形成每個(gè)時(shí)刻的注意力權(quán)重。隨著滑動(dòng)窗口的移動(dòng)，輸入序列的值將發(fā)生改變，由于注意力層能夠根據(jù)輸入值計(jì)算注意力權(quán)重，因此模型可以更加靈活地關(guān)注輸入值中的變化，例如容量再生導(dǎo)致的變化，預(yù)測(cè)的準(zhǔn)確率將會(huì)提高。

4 試驗(yàn)驗(yàn)證

為了驗(yàn)證本文提出模型的性能，本文使用NASA數(shù)據(jù)集中的三個(gè)電池(B0005、B0007和B0018)進(jìn)行仿真試驗(yàn)。首先，為了驗(yàn)證提出的模型在容量預(yù)測(cè)任務(wù)上的性能，選擇幾個(gè)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型與本文提出的模型進(jìn)行比較，分別是GRU[22-23]、LSTM[7,24]和 BP(ANN)[25-26]模型，這些模型已被許多研究證明了其良好的性能。之后，為了驗(yàn)證多任務(wù)模型相比單任務(wù)模型具有更好的準(zhǔn)確性，使用兩個(gè)深度學(xué)習(xí)模型與本文提出的模型進(jìn)行比較，分別是 LSTM-CNN-LSTM 模型和 Deep LSTM[27]模型。這兩個(gè)模型可以分別模擬本文模型單獨(dú)執(zhí)行主任務(wù)與輔助任務(wù)時(shí)的狀態(tài)。最后，為了驗(yàn)證注意力機(jī)制的作用，本文比較了帶有注意力機(jī)制的MT-LSTM和無(wú)注意力機(jī)制的MT-LSTM在測(cè)試集上的表現(xiàn)。

對(duì)于B0005和B0007，前70個(gè)循環(huán)的數(shù)據(jù)作為訓(xùn)練集；對(duì)于B0018，前60個(gè)循環(huán)的數(shù)據(jù)被用作訓(xùn)練集。訓(xùn)練集之后的10個(gè)循環(huán)的容量數(shù)據(jù)被用作驗(yàn)證集，通過(guò)評(píng)估模型在驗(yàn)證集上的表來(lái)選擇最佳超參數(shù)。然后，本文分別對(duì)這三個(gè)電池進(jìn)行容量預(yù)測(cè)，通過(guò)不同的標(biāo)準(zhǔn)來(lái)評(píng)估這些方法在測(cè)試集上的性能。使用Python編寫(xiě)的Tensorflow庫(kù)來(lái)實(shí)現(xiàn)提出的模型，并在一個(gè)NvidiaGTX1080TiGPU上訓(xùn)練模型。試驗(yàn)的具體細(xì)節(jié)將在后文給出。

4.1 超參數(shù)選擇

在神經(jīng)網(wǎng)絡(luò)中，超參數(shù)是提前設(shè)置好的，而不是通過(guò)訓(xùn)練得到的。數(shù)據(jù)驅(qū)動(dòng)的模型通常需要選擇最優(yōu)超參數(shù)來(lái)優(yōu)化模型性能。大的超參數(shù)搜索范圍更有可能找到使模型達(dá)到最佳性能的超參數(shù)，但可能會(huì)使搜索過(guò)程變得復(fù)雜，耗費(fèi)較多時(shí)間，在實(shí)際使用時(shí)不方便。為了簡(jiǎn)化搜索過(guò)程，使用網(wǎng)格搜索法搜索部分超參數(shù)。對(duì)于MT-LSTM、LSTM、Deep LSTM、LSTM-CNN-LSTM、GRU和ANN，本文設(shè)置隱藏狀態(tài)數(shù)量為H∈{16，32，64}，特別地，MT-LSTM和LSTM-CNN-LSTM的卷積核數(shù)量被設(shè)置為m∈ { 1 6,32,64}。對(duì)于模型中有多個(gè)LSTM層的模型，每個(gè)LSTM層具有相同的隱藏狀態(tài)數(shù)量。對(duì)于 B0005和 B0007，滑動(dòng)窗口寬度被設(shè)置為w= 1 5；對(duì)于B0006，滑動(dòng)窗口寬度設(shè)置為w=10。Batch size被設(shè)置為32。Adam優(yōu)化器被用來(lái)訓(xùn)練模型，本文使用推薦學(xué)習(xí)率Ir= 0.001。為了防止過(guò)擬合，Early Stopping被用于訓(xùn)練過(guò)程。

MAE被用來(lái)評(píng)估模型在驗(yàn)證集上的表現(xiàn)。MAE的計(jì)算過(guò)程如下

式中，N表示預(yù)測(cè)的總循環(huán)數(shù)；表示第i個(gè)循環(huán)時(shí)的容量預(yù)測(cè)值；Ci表示第i個(gè)循環(huán)時(shí)的容量真實(shí)值。

4.2 與傳統(tǒng)方法對(duì)比

4.2.1 多步容量預(yù)測(cè)結(jié)果

這一部分對(duì)測(cè)試集多步預(yù)測(cè)的結(jié)果進(jìn)行分析。除了上文提到的MAE之外，本文額外應(yīng)用MSE來(lái)對(duì)測(cè)試集上的模型性能進(jìn)行分析。相比于 MAE，MSE會(huì)更加關(guān)注預(yù)測(cè)結(jié)果中與實(shí)際差別較大的點(diǎn)。因此，使用MSE可以多方面地比較提出的模型和其他傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型。MSE的計(jì)算過(guò)程如下

式中，N表示預(yù)測(cè)的總循環(huán)數(shù)；表示第i個(gè)循環(huán)時(shí)的容量預(yù)測(cè)值；Ci表示第i個(gè)循環(huán)時(shí)的容量真實(shí)值。

各模型在測(cè)試集上的MAE和MSE如表1所示。根據(jù)表1中的結(jié)果，可以看出本文所提出的模型MT-LSTM 在絕大多數(shù)情況下的預(yù)測(cè)都優(yōu)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型。而在MT-LSTM的表現(xiàn)不如其他模型的情況下，預(yù)測(cè)的誤差差距也較小。圖6顯示了所有模型在三個(gè)電池上的預(yù)測(cè)結(jié)果。對(duì)于 B0005，所有的模型都能準(zhǔn)確地捕捉到容量近似下降的趨勢(shì)，但GRU和LSTM模型難以捕捉到容量的再生現(xiàn)象，因此，其預(yù)測(cè)容量曲線更加線性。而 ANN的預(yù)測(cè)結(jié)果中所含噪聲較大，因此與實(shí)際容量曲線有著十分明顯的區(qū)別。MT-LSTM 作為一種改良的方法，能夠較好地捕捉到容量再生現(xiàn)象，其預(yù)測(cè)結(jié)果更加接近實(shí)際。當(dāng)預(yù)測(cè)間隔為10，相比于GRU、LSTM和ANN，MT-LSTM的MAE分別下降了44.2%、56.9%和38.2%。

圖6 多步容量預(yù)測(cè)結(jié)果

表1 多步容量預(yù)測(cè)結(jié)果

預(yù)測(cè)間隔增加到15時(shí)，大部分模型的預(yù)測(cè)準(zhǔn)確度都產(chǎn)生了一定的下降，例如，MT-LSTM 的MAE上升了34.4%，LSTM的MAE上升了43.4%等。同時(shí)，預(yù)測(cè)的滯后現(xiàn)象變得更加明顯。這說(shuō)明隨著預(yù)測(cè)間隔的增加，捕捉容量趨勢(shì)變得困難，預(yù)測(cè)難度變大。但是MT-LSTM依然在大部分時(shí)候要優(yōu)于其他模型，這也證明了MT-LSTM的良好性能。我們注意到傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)電池B0007的容量時(shí)，能夠很好地捕捉到容量再生，這可能是由于相比其他電池，電池 B0007的容量變化更具有規(guī)律性。這可能也是導(dǎo)致預(yù)測(cè)間隔為 15時(shí)，部分傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型的準(zhǔn)確度高于MT-LSTM的原因之一。

試驗(yàn)中，所有模型預(yù)測(cè)電池B0018的結(jié)果都要差于其他兩個(gè)電池。這是由于電池B0018的衰退趨勢(shì)中伴隨著大量的不規(guī)則再生現(xiàn)象，它們是模型在訓(xùn)練集中難以學(xué)習(xí)到的。因此，這些模型難以捕捉到B0018容量變化的特點(diǎn)。從圖6中可以看出傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型在預(yù)測(cè)B0018時(shí)結(jié)果的準(zhǔn)確率降低很多，與實(shí)際容量變化有較大的不匹配。而這一點(diǎn)也可以從MSE的急劇增加中看出。與它們相比，本文提出的MT-LSTM在一定程度上可以捕捉到容量變化的特點(diǎn)，因此預(yù)測(cè)結(jié)果更加貼合實(shí)際。在實(shí)際預(yù)測(cè)時(shí)，為了防止因?yàn)轭A(yù)測(cè)誤差而導(dǎo)致沒(méi)有及時(shí)更換電池，本文在進(jìn)行 RUL預(yù)測(cè)時(shí)為 EOL增加一些裕量。

4.2.2 RUL預(yù)測(cè)結(jié)果

根據(jù)容量預(yù)測(cè)結(jié)果，可以預(yù)測(cè)電池壽命在何時(shí)達(dá)到終點(diǎn)，以方便使用者及時(shí)更換電池。根據(jù)數(shù)據(jù)集中的數(shù)據(jù)描述，當(dāng)電池的容量降至標(biāo)稱容量的 70%時(shí)，則可以認(rèn)為電池壽命已達(dá)到終點(diǎn)。電池的標(biāo)稱容量為2 A·h，因此，壽命終點(diǎn)(End of life, EOL)可以被定義為

這一部分分析各模型對(duì)RUL的預(yù)測(cè)結(jié)果。為了避免因?yàn)轭A(yù)測(cè)誤差而導(dǎo)致電池更換不及時(shí)，本文額外設(shè)置了0.02 A·h的裕量。因此，根據(jù)容量預(yù)測(cè)結(jié)果計(jì)算容量衰退到1.42 A·h的循環(huán)次數(shù)。ER被用來(lái)計(jì)算RUL的預(yù)測(cè)值與真實(shí)值之間的誤差，它被定義為預(yù)測(cè)達(dá)到EOL的循環(huán)數(shù)與實(shí)際達(dá)到 EOL的循環(huán)數(shù)的差值。注意電池在到達(dá) EOL之后，由于容量再生現(xiàn)象，容量仍有可能回到EOL之上。但是在此之后，電池在大部分時(shí)間里容量仍然是低于 EOL的。因此，本文選用首次到達(dá)EOL的循環(huán)數(shù)作為 RUL預(yù)測(cè)的依據(jù)。RUL的預(yù)測(cè)結(jié)果如表2所示。

表2 RUL預(yù)測(cè)結(jié)果

從表2中可以看出在預(yù)測(cè)RUL時(shí)，MT-LSTM預(yù)測(cè)的總體表現(xiàn)優(yōu)于其他模型。值得關(guān)注的是，在大多數(shù)情況下，GRU、LSTM、ANN三種模型的ER為負(fù)數(shù)，且它們ER的絕對(duì)值大于MT-LSTM的ER，這說(shuō)明了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在預(yù)測(cè)時(shí)產(chǎn)生了十分明顯的滯后現(xiàn)象。特別地，在預(yù)測(cè) B0018時(shí)，這三個(gè)模型 ER的絕對(duì)值幾乎都超過(guò)了 10。與之相反，這種滯后現(xiàn)象在MT-LSTM中得到了十分明顯的改善。

4.3 多任務(wù)模式驗(yàn)證

為了驗(yàn)證多任務(wù)模式在本文所提模型中的作用，本節(jié)給出模型在多任務(wù)模式時(shí)和單任務(wù)模式時(shí)的對(duì)比結(jié)果。由圖2可以看出，當(dāng)模型只執(zhí)行主任務(wù)或第一個(gè)輔助任務(wù)時(shí)，可以分別看成LSTM-CNN-LSTM模型和Deep LSTM模型。因此，本文使用這三種模型在測(cè)試集上的表現(xiàn)來(lái)驗(yàn)證多任務(wù)模式對(duì)模型預(yù)測(cè)準(zhǔn)確性的提升。

由表3中結(jié)果可以看出，多任務(wù)模式在大多數(shù)情況下的準(zhǔn)確度高于單任務(wù)模式。當(dāng)模型單獨(dú)執(zhí)行輔助任務(wù)時(shí)，預(yù)測(cè)準(zhǔn)確度總是較差。而當(dāng)模型單獨(dú)執(zhí)行主任務(wù)時(shí)，在B0005和B0007上的表現(xiàn)總體上差別不大，但多任務(wù)模式仍在較多時(shí)候表現(xiàn)更好。而對(duì)于容量變化趨勢(shì)難以捕捉的 B0018，多任務(wù)模式相比單任務(wù)模式的準(zhǔn)確度有了明顯的提高。從圖7上可以直觀地看到，MT-LSTM相比其他兩個(gè)模型能夠更好地預(yù)測(cè)容量衰退的趨勢(shì)。

圖7 B0018上多任務(wù)模式驗(yàn)證結(jié)果

表3 多任務(wù)模式驗(yàn)證結(jié)果

4.4 注意力機(jī)制對(duì)準(zhǔn)確度的提升

本節(jié)主要驗(yàn)證注意力機(jī)制的作用。首先選擇MT-LSTM(結(jié)合注意力機(jī)制)和 MT-LSTM(無(wú)注意力機(jī)制)在驗(yàn)證集上分別表現(xiàn)最好的超參數(shù)，再額外選擇兩組不同的超參數(shù)，在電池B0005上比較這兩種模型的性能。由網(wǎng)格搜索的結(jié)果可知，MT-LSTM(結(jié)合注意力機(jī)制)的最佳超參數(shù)為H=64，m=64；MT-LSTM(無(wú)注意力機(jī)制)的最佳超參數(shù)為H=16，m=16。超參數(shù)的選擇及驗(yàn)證的結(jié)果如表4所示。從表4、圖8可以得知，結(jié)合注意力機(jī)制的MT-LSTM在幾乎所有超參數(shù)組合上的性能都更好。除此之外，可以發(fā)現(xiàn)結(jié)合注意力機(jī)制的MT-LSTM在驗(yàn)證集上的準(zhǔn)確度幾乎總是高于無(wú)注意力機(jī)制的 MT-LSTM。綜上所述，帶有注意力機(jī)制的模型具有更好的學(xué)習(xí)能力。

表4 注意力機(jī)制驗(yàn)證結(jié)果

圖8 p=10時(shí)電池B0005上注意力機(jī)制驗(yàn)證結(jié)果

5 結(jié)論

(1) 本文的研究結(jié)果說(shuō)明了基于注意力機(jī)制與多任務(wù)LSTM的電池容量預(yù)測(cè)模型相比傳統(tǒng)模型具有更高的預(yù)測(cè)精度。

(2) 多任務(wù)模式使得模型能夠考慮目標(biāo)時(shí)刻周圍信息對(duì)目標(biāo)時(shí)刻的輔助作用，相比傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型具有更好的性能。

(3) 注意力機(jī)制使得模型能夠?yàn)檩斎霐?shù)據(jù)分配注意力權(quán)重，關(guān)注對(duì)結(jié)果影響較大的數(shù)據(jù)，從而提高預(yù)測(cè)的準(zhǔn)確度。