吳宇塵，陳向東，丁 星，陳欣鵬，李 皋，陳一健

（1.西南交通大學(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都 610031；2.西南石油大學(xué) 油氣藏地質(zhì)及開(kāi)發(fā)工程國(guó)家重點(diǎn)實(shí)驗(yàn)室，四川 成都 610500；3.西南石油大學(xué) 石油與天然氣工程學(xué)院，四川 成都 610500）

0 引 言

長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)由于其輸入輸出具有時(shí)序特性，被廣泛應(yīng)用于處理序列學(xué)習(xí)的應(yīng)用中[1]。LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)的變種，其模型也能同RNN一樣把上一時(shí)間序列的信息綜合輸入到當(dāng)前時(shí)間序列的神經(jīng)元中，故在處理語(yǔ)音語(yǔ)義分析、圖像字幕生成等時(shí)序特征明顯的任務(wù)時(shí)能夠達(dá)到良好的性能[2]?？扇?xì)怏w燃爆狀態(tài)分類應(yīng)用的輸入輸出數(shù)據(jù)具有明顯的時(shí)序特征，因此該應(yīng)用能夠出色地發(fā)揮出LSTM神經(jīng)網(wǎng)絡(luò)的時(shí)間關(guān)聯(lián)性，使得燃爆狀態(tài)的分類具有較好的抗干擾能力和較高的準(zhǔn)確率。

現(xiàn)階段LSTM神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)方法有GPU（Graphics Processing Unit, GPU）、ASIC（Application Specific Integrated Circuit, ASIC）、FPGA（Field-Programable Gate Array, FPGA）三種。GPU具有并行計(jì)算效率高、易編程的特點(diǎn)，但是GPU的功耗高，不適用于邊緣計(jì)算和推理加速。ASIC在各方面性能表現(xiàn)優(yōu)秀，但是流片成本高、流片后修改難度大。FPGA的開(kāi)發(fā)時(shí)間、靈活性、功耗適中，較適用于推理加速[3]。

研究表明，基于FPGA實(shí)現(xiàn)的LSTM神經(jīng)網(wǎng)絡(luò)與基于GPU實(shí)現(xiàn)的LSTM神經(jīng)網(wǎng)絡(luò)相比，存在靈活性、通用性較差的問(wèn)題[4-5]。當(dāng)改變應(yīng)用場(chǎng)景或修改網(wǎng)絡(luò)配置時(shí)只能重新修改電路結(jié)構(gòu)。本文使用的片上系統(tǒng)（System on Chip, SoC）對(duì)LSTM神經(jīng)網(wǎng)絡(luò)進(jìn)行異構(gòu)運(yùn)算，為提高通用性和靈活性帶來(lái)了新方法。

本文采用從機(jī)采集，MATLAB離線訓(xùn)練，SoC軟件端預(yù)處理，SoC硬件端在線預(yù)測(cè)的方式，實(shí)現(xiàn)了一個(gè)可靈活配置參數(shù)的LSTM神經(jīng)網(wǎng)絡(luò)，可被應(yīng)用于氣體燃爆狀態(tài)監(jiān)測(cè)中。此系統(tǒng)能使氣體燃爆狀態(tài)監(jiān)測(cè)應(yīng)用具有更加良好的實(shí)時(shí)性，僅通過(guò)9.6 μs的運(yùn)算便能得到燃爆分類結(jié)果。

1 系統(tǒng)結(jié)構(gòu)

可燃?xì)怏w的燃爆狀態(tài)監(jiān)測(cè)系統(tǒng)結(jié)構(gòu)如圖1所示，包含從機(jī)數(shù)據(jù)采集端和數(shù)據(jù)處理端兩大部分。

圖1 監(jiān)測(cè)系統(tǒng)結(jié)構(gòu)

從機(jī)數(shù)據(jù)采集端通過(guò)恒壓脈沖電橋、可調(diào)電壓電橋等方法實(shí)現(xiàn)甲烷傳感器在高濃度下的防損壞功能[6]。同時(shí)讓溫度、濕度等參數(shù)加入到環(huán)境中的甲烷濃度計(jì)算過(guò)程。最后把甲烷、二氧化碳、氧氣三種氣體的濃度值經(jīng)過(guò)歸一化處理之后，把氣體數(shù)據(jù)傳輸給SoC數(shù)據(jù)處理端。

SoC數(shù)據(jù)處理端是基于Artix-XC7A100T系列FPGA搭建，并在FPGA中構(gòu)建了以Cortex-M3系列32位工控處理器IP為核心的SoC。該SoC中的各處理器、外設(shè)、LSTM協(xié)處理器通過(guò)AXI總線協(xié)議（Advanced Extensible Interface,AXI）連接。輸入數(shù)據(jù)經(jīng)過(guò)通信接口后會(huì)進(jìn)行定點(diǎn)化和FIR濾波（Finite Impulse Response, FIR）處理。之后由數(shù)據(jù)預(yù)處理模塊將數(shù)據(jù)通過(guò)AXI協(xié)議傳輸給處理器軟件部分，并由軟件部分緩存。在軟件部分給LSTM神經(jīng)網(wǎng)絡(luò)硬件加速器配置好權(quán)值和偏置后，即可開(kāi)始一次硬件加速計(jì)算。計(jì)算得到的LSTM網(wǎng)絡(luò)分類結(jié)果可通過(guò)OLED顯示并借助串口輸出。

2 LSTM神經(jīng)網(wǎng)絡(luò)硬件加速

2.1 LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LSTM神經(jīng)網(wǎng)絡(luò)的核心思想在于使用記憶單元狀態(tài)、遺忘門(mén)等不同于常規(guī)RNN的結(jié)構(gòu)，抑制反向傳輸時(shí)梯度消失的問(wèn)題。此結(jié)構(gòu)可以改善反向傳輸?shù)奶荻缺唤鼤r(shí)間序列信息主導(dǎo)，使得遠(yuǎn)時(shí)間序列的信息難以傳達(dá)的問(wèn)題[7-8]。LSTM神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)如圖2所示。

圖2 LSTM神經(jīng)網(wǎng)絡(luò)單元結(jié)構(gòu)

LSTM為了避免信息損失和輸入無(wú)用信息，通過(guò)使用顯式的加法或減法來(lái)更改LSTM的狀態(tài)，可以達(dá)到控制不同信息流通量的目的。輸入門(mén)、輸出門(mén)、遺忘門(mén)、候選門(mén)能夠?qū)扇細(xì)怏w的實(shí)時(shí)濃度值xt、上個(gè)時(shí)間序列的輸出ht-1以及當(dāng)前時(shí)間序列的輸出ht進(jìn)行流通量控制，使得LSTM單元能夠協(xié)調(diào)且有效地獲取信息。

輸入門(mén)it的表達(dá)式如式（3）所示，代表此時(shí)的傳感器信息和前時(shí)的輸出是否參與或哪些參與到記憶單元ct的計(jì)算中：

遺忘門(mén)ft的表達(dá)式如式（4）所示，代表前時(shí)的記憶單元輸出信息ct-1是否參與或哪些參與到此時(shí)記憶單元輸出ct的計(jì)算中：

輸出門(mén)ot的表達(dá)式如式（5）所示，代表此時(shí)的傳感器信息和前時(shí)的輸出是否參與或哪些參與到此時(shí)的輸出ht的計(jì)算中：

隱層輸出ht由單元狀態(tài)和輸出門(mén)共同決定，其表達(dá)式如式（6）所示：

2.2 數(shù)據(jù)預(yù)處理

在氣體的燃爆過(guò)程中，氧氣、二氧化碳、甲烷等氣體的濃度范圍差異較大，且單位不統(tǒng)一。為了降低輸入?yún)?shù)差異巨大對(duì)LSTM網(wǎng)絡(luò)帶來(lái)的誤差，在從機(jī)采集端對(duì)數(shù)據(jù)采用歸一化運(yùn)算。

在FPGA功能模塊的設(shè)計(jì)中，為確保硬件電路的可重用性良好、面積速度功耗表現(xiàn)良好，所有數(shù)據(jù)的計(jì)算和傳輸均使用定點(diǎn)數(shù)作為載體。故在SoC中的軟件端對(duì)從機(jī)輸入數(shù)據(jù)實(shí)行浮點(diǎn)數(shù)定點(diǎn)數(shù)轉(zhuǎn)換函數(shù)計(jì)算。文獻(xiàn)[10]通過(guò)分析驗(yàn)證表明，16位定點(diǎn)數(shù)能夠?qū)崿F(xiàn)精度較好的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)格式。該定點(diǎn)數(shù)格式由1 bit符號(hào)位、3 bit整數(shù)位、12 bit小數(shù)位構(gòu)成[11]。

在與文獻(xiàn)[12]相同的實(shí)驗(yàn)環(huán)境下，共采集10 013組樣本，每組樣本中有6種數(shù)據(jù)，分別為甲烷濃度、二氧化碳濃度、氧氣濃度、甲烷濃度變化量、二氧化碳濃度變化量、氧氣濃度變化量。每8組樣本設(shè)置為一個(gè)序列，并歸類隨機(jī)打亂后70%的序列為訓(xùn)練集，未打亂的30%序列為測(cè)試集。對(duì)實(shí)驗(yàn)環(huán)境的氣體分類為正常狀態(tài)、泄漏中狀態(tài)、泄漏后狀態(tài)、燃燒中狀態(tài)、燃燒后狀態(tài)[11]。

2.3 LSTM神經(jīng)網(wǎng)絡(luò)訓(xùn)練與仿真

在MATLAB中編寫(xiě)腳本訓(xùn)練LSTM神經(jīng)網(wǎng)絡(luò)時(shí)，首先初始化隨機(jī)種子數(shù)、學(xué)習(xí)率以及訓(xùn)練步數(shù)，然后設(shè)置時(shí)間序列長(zhǎng)度為8，最后選用26個(gè)隱層節(jié)點(diǎn)、6個(gè)輸入層節(jié)點(diǎn)和5個(gè)輸出層節(jié)點(diǎn)，使目標(biāo)損失函數(shù)最小化。

訓(xùn)練完畢之后，使用測(cè)試集的分類結(jié)果繪制混淆矩陣，作為網(wǎng)絡(luò)性能的參考。測(cè)試集分類結(jié)果的混淆矩陣如圖3所示。

圖3 混淆矩陣

橫縱坐標(biāo)分別表示燃爆狀態(tài)分類的實(shí)際結(jié)果和仿真預(yù)測(cè)結(jié)果，從Ⅰ到V分別為燃燒后、燃燒中、泄漏后、泄漏中和正常狀態(tài)。綠色矩形框內(nèi)上方的數(shù)字為正確預(yù)測(cè)數(shù)，下方為樣本比例；紅色框內(nèi)為錯(cuò)誤預(yù)測(cè)數(shù)和樣本比例。行末框內(nèi)的綠色數(shù)字為精準(zhǔn)率，列末框內(nèi)的綠色數(shù)字為召回率，行末、列末框內(nèi)的紅色數(shù)字為錯(cuò)誤率。

仿真結(jié)果表明：在模擬環(huán)境中進(jìn)行5分類燃爆狀態(tài)仿真時(shí)，神經(jīng)網(wǎng)絡(luò)的分類正確率為96.9%。

3 LSTM神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)

3.1 LSTM神經(jīng)網(wǎng)絡(luò)控制時(shí)序

LSTM網(wǎng)絡(luò)隱層單元中各門(mén)的輸出可進(jìn)行并行計(jì)算加速，而Element-Wise的輸出只能由串行運(yùn)算得到，所以通過(guò)FPGA對(duì)該模塊使用流水線結(jié)構(gòu)進(jìn)行加速可以充分發(fā)揮FPGA并行硬件加速的優(yōu)勢(shì)[13]。

但在LSTM神經(jīng)網(wǎng)絡(luò)算法流程中，需要同時(shí)接收第t時(shí)刻的輸入xt和第t-1時(shí)刻的輸出ht-1，這樣并不利于流水線的運(yùn)行[14]，所以在本設(shè)計(jì)中使用了分片計(jì)算的方法，使得流水線執(zhí)行效率上升，不再有等待上一時(shí)刻計(jì)算結(jié)果的空閑狀態(tài)。

LSTM模塊一次性讀入2個(gè)數(shù)據(jù)串，分時(shí)載入數(shù)據(jù)串A和B進(jìn)行運(yùn)算，當(dāng)A在t=1時(shí)刻進(jìn)行運(yùn)算時(shí)，B在t=0時(shí)刻的結(jié)果剛好可以得出，并作為B在t=1時(shí)刻的輸入值。

圖4顯示了計(jì)算獲得ht和ct的總體時(shí)序。首先SoC軟件端通過(guò)AXI總線發(fā)送輸入數(shù)據(jù)串A和B的值xtA和xtB到LSTM加速器模塊并存儲(chǔ)到其內(nèi)部寄存器。隨后SoC軟件端再通過(guò)AXI總線發(fā)送開(kāi)始信號(hào)，此時(shí)LSTM加速器開(kāi)始2次完整的計(jì)算，即數(shù)據(jù)串A和B的數(shù)據(jù)輪換分時(shí)進(jìn)入計(jì)算單元進(jìn)行計(jì)算。

圖4 LSTM神經(jīng)網(wǎng)絡(luò)控制時(shí)序

首先進(jìn)行數(shù)據(jù)串A在第t個(gè)時(shí)刻的運(yùn)算。在數(shù)據(jù)輸入前，需要將數(shù)據(jù)串A在t-1時(shí)刻的輸出ht-1A讀取1次。在這之后，隱層的4個(gè)MAC模塊分別同時(shí)開(kāi)始運(yùn)行遺忘門(mén)、輸入門(mén)、輸出門(mén)、記憶單元操作以及激活函數(shù)，此操作共延遲9+H個(gè)時(shí)鐘周期。同時(shí)將數(shù)據(jù)串A在上一時(shí)刻記憶單元的輸出ct-1A取出，用于Element-Wise運(yùn)算。在取出ct-1A的下一個(gè)時(shí)鐘周期，開(kāi)始計(jì)算在H個(gè)時(shí)鐘周期延遲之后計(jì)算得到全部H個(gè)隱層節(jié)點(diǎn)的ctA，再經(jīng)過(guò)3個(gè)時(shí)鐘周期的激活函數(shù)運(yùn)算得到tanh(ct)。此時(shí)MAC運(yùn)算得到的otA，經(jīng)過(guò)5個(gè)時(shí)鐘周期的Buffer延遲之后輸出，進(jìn)行ht的計(jì)算，htA=otA*tanh(ctA)。最后將數(shù)據(jù)串A在t時(shí)刻的值htA和ctA保存。此時(shí)，便完成了一次數(shù)據(jù)串A于第t時(shí)刻的全部隱層單元htA的輸出計(jì)算。

在第10+H個(gè)時(shí)鐘周期時(shí)，開(kāi)始一次數(shù)據(jù)串B在第t時(shí)刻的計(jì)算，即重復(fù)一次數(shù)據(jù)串A在第t時(shí)刻的計(jì)算操作，最終計(jì)算得到htB。

在第19+2×H個(gè)時(shí)鐘周期后，開(kāi)始一次數(shù)據(jù)串A的第t+1時(shí)刻的計(jì)算，首先把上一次計(jì)算的結(jié)果htA取出，之后再重復(fù)上文描述的操作，最終計(jì)算得到ht+1A。

3.2 詳細(xì)設(shè)計(jì)

3.2.1 MAC模塊

在LSTM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，運(yùn)算量最大且耗時(shí)最多的模塊是乘累加模塊（MAC）。為降低硬件資源消耗，增加時(shí)鐘頻率，提高加速性能，計(jì)算模塊采用16 bit定點(diǎn)數(shù)進(jìn)行輸入、輸出[3]。

MAC模塊的設(shè)計(jì)如圖5所示，其功能為輸入含有32個(gè)元素的[xt：ht-1]向量，經(jīng)過(guò)乘累加計(jì)算后得到在第t時(shí)刻第n個(gè)隱層單元的輸出ht(n)。也能夠根據(jù)SoC軟件端的指令修改存儲(chǔ)wn，bn的RAM。

圖5 MAC模塊

MAC模塊在初始化時(shí)首先接收節(jié)點(diǎn)數(shù)量信息，如果flag_32=1，則代表X+H<32，即隱層+輸入層節(jié)點(diǎn)小于32個(gè)，MAC模塊計(jì)算一次后的結(jié)果直接輸出。如果flag_32=0，則代表X+H<64，MAC模塊計(jì)算4次后的結(jié)果相加后再輸出。寫(xiě)入wn，bn時(shí)，需要分時(shí)寫(xiě)入X+H個(gè)節(jié)點(diǎn)的32個(gè)權(quán)值RAM和1個(gè)偏置值RAM，如果X+H<32，那么未使用到的節(jié)點(diǎn)RAM賦值為0即可。最后，輸出經(jīng)LIMIT模塊，限制輸出值符合激活函數(shù)模塊輸入規(guī)范，使其大于-8且小于8，并轉(zhuǎn)化為16 bit定點(diǎn)數(shù)，延遲1個(gè)時(shí)鐘后輸出。

3.2.2 激活函數(shù)模塊

LSTM單元包含tanh激活函數(shù)和Sigmoid激活函數(shù)，本文的2種激活函數(shù)模塊均使用表驅(qū)動(dòng)線性插值法實(shí)現(xiàn)[15-16]。

tanh模塊的電路結(jié)構(gòu)如圖6所示。由于tanh函數(shù)圖像為中心對(duì)稱，為節(jié)省ROM空間，所以輸出分為2段，一段為直接輸出，另一段為取反后輸出。模塊的輸入值經(jīng)絕對(duì)值換算后，其低9位作為ROM的輸入地址，隨后使用表驅(qū)動(dòng)線性插值法計(jì)算分段函數(shù)，并延遲1個(gè)時(shí)鐘后輸出。

圖6 tanh模塊

Sigmoid模塊的實(shí)現(xiàn)方法和電路結(jié)構(gòu)類似于tanh模塊。

3.2.3 Element-Wise模塊

在得到各門(mén)的輸出后，需要在Element-Wise模塊中依次按元素相乘，得到輸出ht和ct。

Element-Wise模塊的電路結(jié)構(gòu)如圖7所示。

圖7 Element-Wise模塊

3.3 資源消耗及吞吐量

在計(jì)算吞吐量的過(guò)程中，定點(diǎn)數(shù)的四則運(yùn)算操作以及激活函數(shù)運(yùn)算操作都被算作進(jìn)行了一次操作。假設(shè)LSTM神經(jīng)網(wǎng)絡(luò)中輸入層的規(guī)模為X，隱藏層的規(guī)模為H，那么在模塊的運(yùn)算中，矩陣的相應(yīng)元素與向量相乘的操作次數(shù)為（X+H）*（H*4），此外，向量的每一列都需要累加其乘法運(yùn)算的中間值，因此累加階段的操作數(shù)為（X+H-1）*（H*4）。Element-Wise階段的操作數(shù)為（H*4），激活函數(shù)共有5個(gè)模塊在使用，故激活函數(shù)的操作總數(shù)為（H*5）[1]。表1顯示了當(dāng)X=1，H=31時(shí)，各部分運(yùn)算所需的計(jì)算次數(shù)。

表1 LSTM模塊浮點(diǎn)運(yùn)算次數(shù)

由控制時(shí)序圖可知，經(jīng)過(guò)9.6 μs的計(jì)算，LSTM加速器模塊可算出16次結(jié)果，故本設(shè)計(jì)吞吐量為13.7 GOP/s。表2顯示了與其他設(shè)計(jì)相比，LSTM加速器模塊的頻率、功耗、吞吐量和能效比差別。

表2 不同LSTM結(jié)構(gòu)的性能比較

對(duì)比文獻(xiàn)[17]和文獻(xiàn)[18]的設(shè)計(jì)，本文的設(shè)計(jì)能夠在同一制程的FPGA中，做到更高的頻率和能效比。對(duì)比文獻(xiàn)[19]中更高制程的FPGA設(shè)計(jì)，能夠達(dá)到相似的頻率和能效比。

4 實(shí)驗(yàn)驗(yàn)證

4.1 LSTM神經(jīng)網(wǎng)絡(luò)燃爆狀態(tài)分類測(cè)試

為證明LSTM神經(jīng)網(wǎng)絡(luò)能對(duì)可燃?xì)怏w燃爆狀態(tài)進(jìn)行準(zhǔn)確的分類，故在模擬環(huán)境中使用從機(jī)采集端采集氣體的變化數(shù)據(jù)，使用SoC處理端對(duì)燃爆狀態(tài)進(jìn)行分類。最后通過(guò)MATLAB搭建的腳本對(duì)這些數(shù)據(jù)進(jìn)行性能評(píng)估。

圖8所示為硬件系統(tǒng)實(shí)物。從機(jī)采集端在容積為10 L的密閉箱體內(nèi)，SoC處理端在此密閉箱體外。

圖8 硬件系統(tǒng)實(shí)物

圖9所示為密閉箱體中模擬泄漏的測(cè)試組數(shù)據(jù)?？v坐標(biāo)為氣體濃度數(shù)據(jù)歸一化后的數(shù)值，橫坐標(biāo)為數(shù)據(jù)的時(shí)間編號(hào)，紫色標(biāo)簽為實(shí)際燃爆狀態(tài)編號(hào)。

圖9 歸一化后的泄漏測(cè)試組數(shù)據(jù)

實(shí)驗(yàn)開(kāi)始前，使箱體內(nèi)的氣體與空氣交換，保證實(shí)驗(yàn)開(kāi)始時(shí)箱體內(nèi)的氣體與外界的空氣含量接近，以模擬可燃?xì)怏w的正常狀態(tài)Ⅴ。向密閉箱體中持續(xù)注入99%濃度的甲烷氣體以模擬可燃?xì)怏w的泄漏中狀態(tài)Ⅳ，此時(shí)二氧化碳濃度幾乎不變，甲烷濃度迅速上升，由于氧氣被甲烷擠出箱體，所以檢測(cè)到的氧氣濃度值下降。停止注入氣體并靜置箱體中的氣體一段時(shí)間，以模擬可燃?xì)怏w的泄漏后狀態(tài)Ⅲ，此時(shí)二氧化碳、甲烷和氧氣濃度值保持不變。最后將箱體中的氣體與空氣交換，燃爆狀態(tài)重新歸為正常狀態(tài)Ⅴ。

圖10所示為密閉箱體中模擬燃燒的測(cè)試組數(shù)據(jù)。實(shí)驗(yàn)開(kāi)始前使箱體內(nèi)的氣體與空氣交換，保證實(shí)驗(yàn)開(kāi)始時(shí)箱體內(nèi)的氣體與外界的空氣含量接近，以模擬可燃?xì)怏w的正常狀態(tài)Ⅴ。然后在密閉箱體中持續(xù)點(diǎn)燃打火機(jī)以模擬可燃?xì)怏w的燃燒狀態(tài)Ⅱ，此時(shí)氧氣濃度下降，二氧化碳濃度上升，由于燃燒反應(yīng)并不能完全燃燒掉打火機(jī)噴射的甲烷氣體，所以甲烷濃度略微上升。停止點(diǎn)燃打火機(jī)并靜置以模擬可燃?xì)怏w的燃燒后狀態(tài)Ⅰ，此時(shí)二氧化碳、甲烷和氧氣濃度保持不變。最后將箱體中的氣體與空氣交換，燃爆狀態(tài)重新歸為正常狀態(tài)Ⅴ。

圖10 歸一化后的燃燒測(cè)試組數(shù)據(jù)

4.2 實(shí)驗(yàn)結(jié)果

圖11所示為依據(jù)箱內(nèi)氣體變化而實(shí)時(shí)產(chǎn)生的泄漏狀態(tài)分類信息，圖12所示為燃燒狀態(tài)分類信息。藍(lán)色圓圈標(biāo)點(diǎn)為實(shí)際燃爆分類，紅色星型標(biāo)點(diǎn)為硬件LSTM神經(jīng)網(wǎng)絡(luò)輸出的燃爆分類。實(shí)驗(yàn)結(jié)果表明，在模擬可燃?xì)怏w泄漏和燃燒的環(huán)境中，硬件LSTM網(wǎng)絡(luò)對(duì)燃爆狀態(tài)分類準(zhǔn)確率達(dá)96.2%。錯(cuò)誤分類大部分分布在狀態(tài)切換后的最初一段時(shí)間。出現(xiàn)這種情況的原因可能是傳感器響應(yīng)時(shí)間不同而導(dǎo)致的分類滯后。

圖11 泄漏實(shí)驗(yàn)分類結(jié)果

圖12 燃燒實(shí)驗(yàn)分類結(jié)果

LSTM神經(jīng)網(wǎng)絡(luò)的燃爆狀態(tài)監(jiān)測(cè)系統(tǒng)，因其時(shí)間序列的特性，在網(wǎng)絡(luò)訓(xùn)練時(shí)會(huì)賦予氣體變化趨勢(shì)信息更大的權(quán)重，賦予當(dāng)前氣體輸入數(shù)值更小的權(quán)重。因此LSTM神經(jīng)網(wǎng)絡(luò)對(duì)溫漂較大的氣體傳感器具有較好的抗溫度干擾能力，可以克服BP神經(jīng)網(wǎng)絡(luò)在同樣氣體濃度、不同溫度下分類結(jié)果不同的問(wèn)題。在相同的實(shí)驗(yàn)環(huán)境中，使用硬件LSTM神經(jīng)網(wǎng)絡(luò)對(duì)可燃?xì)怏w燃爆狀態(tài)分類的準(zhǔn)確率[11]約比BP神經(jīng)網(wǎng)絡(luò)提升了2%。

5 結(jié) 語(yǔ)

本文提出了一種應(yīng)用于可燃?xì)怏w燃爆狀態(tài)分析的LSTM神經(jīng)網(wǎng)絡(luò)硬件加速系統(tǒng)[11]。該系統(tǒng)基于FPGA搭建了Cortex-M3系列工控處理器IP與LSTM硬件加速器構(gòu)成的SoC。LSTM硬件加速器采用深度流水線優(yōu)化的硬件設(shè)計(jì)，使得LSTM神經(jīng)網(wǎng)絡(luò)的運(yùn)算速度和運(yùn)算功耗相比其他文獻(xiàn)的設(shè)計(jì)具有較大提升。對(duì)比BP神經(jīng)網(wǎng)絡(luò)模型和LSTM神經(jīng)網(wǎng)絡(luò)模型對(duì)可燃?xì)怏w的燃爆狀態(tài)分類效果，可以發(fā)現(xiàn)LSTM神經(jīng)網(wǎng)絡(luò)在氣體燃爆狀態(tài)分類應(yīng)用中具有更好的抗干擾能力和更高的準(zhǔn)確率。