劉 偉 謝林柏 彭 力

（江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院 無錫 214122）

1 引言

火災(zāi)探測是一個社會熱點問題，關(guān)系到每個人的生命和財產(chǎn)安全。傳統(tǒng)的傳感器火焰檢測方法存在抗干擾能力差，響應(yīng)時間長和準(zhǔn)確性低等問題。隨著計算機(jī)技術(shù)的發(fā)展，結(jié)合計算機(jī)視覺和數(shù)字圖像處理的火災(zāi)檢測算法得到了廣泛研究。提取火焰特征，使用模式識別算法檢測火焰是圖像型火焰檢測的一類主流方法?；鹧鏅z測領(lǐng)域中的模式識別算法包括支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)、貝葉斯分類器、決策樹以及馬爾可夫模型等［1］。單隱藏層前饋神經(jīng)網(wǎng)絡(luò)（SLFN）由于結(jié)構(gòu)簡單，且能夠以任意精度逼近復(fù)雜非線性連續(xù)函數(shù)，被廣泛運用于分類識別問題。但是，傳統(tǒng)的SLFN 在訓(xùn)練過程中基于梯度優(yōu)化網(wǎng)絡(luò)參數(shù)，迭代時容易陷入局部最優(yōu)，且耗時較長［2］。為了緩解上述問題，Pao［3］提出了一種使用不同訓(xùn)練機(jī)制的網(wǎng)絡(luò)，即隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)（Random Vector Functional Link，RVFL）。RVFL 最大特點是網(wǎng)絡(luò)中的輸入權(quán)值和隱藏層（也稱為增強(qiáng)層）偏差在給定范圍內(nèi)隨機(jī)分配，并在整個訓(xùn)練過程中保持固定，然后采用最小二乘法對輸出權(quán)值進(jìn)行計算。整個訓(xùn)練過程不需要迭代，保持快速學(xué)習(xí)的同時擁有良好的泛化能力。隱藏層節(jié)點數(shù)是RVFL 中唯一需要預(yù)定義的參數(shù)，它在確定學(xué)習(xí)性能以及網(wǎng)絡(luò)計算效率方面起著至關(guān)重要的作用［4］。設(shè)置過少的隱藏層節(jié)點會因為擬合不充分而導(dǎo)致訓(xùn)練誤差過大。設(shè)置過多的隱藏單元又會因為過擬合而導(dǎo)致訓(xùn)練誤差較小，但降低訓(xùn)練模型的泛化能力。

針對以上問題，Huang［5］提出了一種增量型RVFL（I-RVFL）算法，并將其命名為增量型極限學(xué)習(xí)機(jī)。在添加新的隱藏節(jié)點前，所有現(xiàn)有隱藏節(jié)點的輸入和輸出參數(shù)固定不變，只需要計算新添加的隱藏節(jié)點的輸出權(quán)值。I-RVFL不僅具有良好的泛化性能，也在一定程度上避免了“過擬合”問題［6］。

雖然增量型RVFL 可以獲得極快的速度和較好的泛化性能，但是輸入權(quán)值和隱藏層偏差是從固定范圍隨機(jī)生成，可能會導(dǎo)致模型不穩(wěn)定，降低模型的學(xué)習(xí)效率［7］。近年來有許多方法被提出用于指導(dǎo)RVFL參數(shù)的選擇，如激活函數(shù)的選擇［8］，隱藏層參數(shù)的隨機(jī)范圍選擇［9］等，但是這些方法都是根據(jù)試驗結(jié)果所得出的經(jīng)驗性方法。因此，在參數(shù)隨機(jī)配置時，需要約束機(jī)制指導(dǎo)參數(shù)的選擇以提高建模的效率和穩(wěn)定性。

針對上述問題，本文提出一種改進(jìn)的增量型RVFL 網(wǎng)絡(luò)，利用指數(shù)加權(quán)平均算法優(yōu)化隨機(jī)參數(shù)以限制隨機(jī)配置時產(chǎn)生的離群值；同時，將凸函數(shù)的下降梯度比運用到網(wǎng)絡(luò)的誤差序列中加快模型的收斂速度。最后，將改進(jìn)的網(wǎng)絡(luò)應(yīng)用到火焰識別中，對采集的樣本進(jìn)行訓(xùn)練和分類。

2 增量型隨機(jī)權(quán)神經(jīng)網(wǎng)絡(luò)

給定輸入X={x1,x2,…,xN},xi?Rd和標(biāo)簽值T={t1,t2,…,tN},ti?Rm，當(dāng)網(wǎng)絡(luò)中已經(jīng)構(gòu)建L個隱藏節(jié)點時，可以表示為

式中，HL是輸入和隱藏節(jié)點輸出的連接矩陣，Y是模型的預(yù)測值。HL可以表示為

式中，xi=[xi1,…,xid]T表示第i個訓(xùn)練樣本；ωi=[ωi1,…,ωiL]T和bi?R分別為輸入層到第i個隱藏層節(jié)點的輸入權(quán)值和偏差；g(?)為隱藏層的激活函數(shù)。βi=[βi1,…,βim]T表示第i個隱藏層節(jié)點的輸出權(quán)值。

根據(jù)RVFL 學(xué)習(xí)算法［10］，網(wǎng)絡(luò)的輸出權(quán)值β通過最小二乘解獲得：

式中，H?是隱藏層輸出矩陣H的Moore-Penrose廣義逆。

當(dāng)網(wǎng)絡(luò)已經(jīng)構(gòu)建L個節(jié)點時，目標(biāo)函數(shù)可以表示為

網(wǎng)絡(luò)的誤差：eL=f-fL=[eL,1,…,eL,m]。假設(shè)網(wǎng)絡(luò)的最大隱藏節(jié)點數(shù)Lmax，預(yù)設(shè)的容忍誤差為?，當(dāng)L>Lmax或者‖eL‖≤?時，整個網(wǎng)絡(luò)訓(xùn)練結(jié)束；否則，繼續(xù)添加第L+1個節(jié)點。

3 算法改進(jìn)

3.1 指數(shù)加權(quán)平均算法優(yōu)化參數(shù)

指數(shù)加權(quán)平均算法是一種有效減少誤差的統(tǒng)計學(xué)方法。該方法根據(jù)權(quán)重因子對歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)按照比例分配來穩(wěn)定序列，平均輸入流中的數(shù)據(jù)，逐漸降低對較早數(shù)據(jù)點的加權(quán)程度，平滑數(shù)據(jù)中的隨機(jī)波動［11］。增量型網(wǎng)絡(luò)通過逐個增加節(jié)點構(gòu)建而來，可以將整個迭代過程視為一個具有歷史數(shù)據(jù)的時間序列。計算指數(shù)加權(quán)平均值：

式中，VL是生成第L節(jié)點時的平均權(quán)值或偏差，θL是生成第L個節(jié)點時隨機(jī)分配的權(quán)值或偏差，α是權(quán)重因子。α決定了各個神經(jīng)元參數(shù)的權(quán)重。α的值越大，表明此次迭代的權(quán)值與偏差參考之前節(jié)點分配的權(quán)值與偏差的程度更多，平穩(wěn)性更強(qiáng)。利用指數(shù)加權(quán)平均方式限制參數(shù)隨機(jī)配置時產(chǎn)生的異常值，從而降低異常值對建模的影響，使整個模型訓(xùn)練過程更平穩(wěn)有效。

3.2 凸函數(shù)優(yōu)化誤差序列

如圖1 所示的兩條單調(diào)遞減曲線，其中函數(shù)y1(t)和y2(t)分別為凹函數(shù)和凸函數(shù)，顯然y2(t)的下降速度快于y1(t)。考慮t1，t2和t3具有相等間隔，定義梯度比為

圖1 凸/凹函數(shù)下降曲線

i=1,2 。根據(jù)凸函數(shù)的定義，對于t1

給 定 輸 入X={x1,x2,…,xN},xi?Rd和 標(biāo) 簽T={t1,t2,…,tN},ti?Rm，構(gòu)建第L個節(jié)點時，擬合誤差eL-1=f-fL-1=[eL-1,1,…,eL-1,m] 。將上述函數(shù)的梯度比應(yīng)用于誤差序列，得到：

其中，gL是隱藏神經(jīng)元的激活函數(shù)。將式（6）視為βL,q的方程，對其進(jìn)行求導(dǎo)求極值：

將式（7）帶入式（6），得：

因為0<λL,q≤1，因此：

eL-1(X)=[eL-1,1,…,eL-1,m(X)]T，且eL-1,q(X)=

其 中，?L=Σmq=1?L,q,q=1,…,m。誤 差 矩 陣 為[eL-1,q(x1),…,eL-1,q(xN)],q=1,2,…,m。

hL(X)=[gL(ωTLx1+bL),…,gL(ωTL xN+bL)]T表 示的是輸入xi在第L個節(jié)點的激活函數(shù)值。

根據(jù)文獻(xiàn)［12］，將式（9）轉(zhuǎn)化為如下形式：

式（5）~式（10）建立了誤差序列之間的聯(lián)系使得網(wǎng)絡(luò)輸入權(quán)值ω和偏差b不再是完全隨機(jī)分配。更新的ω和b必須滿足式（10）的?L,q，且對于q=1,2,…,m都有?L,q>0，通過這樣一種約束關(guān)系，提升建模穩(wěn)定性，加快模型訓(xùn)練的收斂速度。

3.3 算法步驟

指數(shù)加權(quán)平均算法的權(quán)重因子對于參數(shù)訓(xùn)練很重要，合適的權(quán)重因子可以提升整個建模過程的穩(wěn)定性。權(quán)重因子過小，表明參考之前數(shù)據(jù)的比例較少，在隨機(jī)產(chǎn)生離群值時，無法降低離群值的權(quán)重。權(quán)重因子過大，每次的輸入權(quán)值與偏差值較為接近，在計算過程中浪費計算資源。本文選取集合{0.4,0.5,0.6,0.7} 的數(shù)作為權(quán)重因子動態(tài)調(diào)整的范圍，并引入增強(qiáng)型增量網(wǎng)絡(luò)［20］的訓(xùn)練方式，分配候選節(jié)點通過計算后篩選優(yōu)質(zhì)節(jié)點，進(jìn)一步提升隱藏層神經(jīng)元的質(zhì)量。值得注意的是‖eL-2,q‖2在L=1 時并不存在，本文在增加第一個節(jié)點時，直接使用增強(qiáng)型網(wǎng)絡(luò)節(jié)點的訓(xùn)練方式計算獲得模型的訓(xùn)練誤差e1。后續(xù)節(jié)點添加步驟的具體偽代碼如下：

輸 入 ：數(shù) 據(jù)X={x1,x2,…,xN},xi?Rd，標(biāo) 簽T={t1,t2,…,tN},ti?Rm；輸出：輸出權(quán)值βL

1.初始化：初始誤差矩陣e0=[t1,t2,…,tN]T，e1，節(jié)點數(shù)L=2，最大隱藏節(jié)點數(shù)Lmax網(wǎng)絡(luò)的容忍誤差?，候選節(jié)點數(shù)M，參數(shù)的隨機(jī)分配范圍[-γ,γ]。

2.WhileL≤Lmaxand‖eL‖>?

3.在區(qū)間[-γ,γ]內(nèi)隨機(jī)分配M個候選節(jié)點的權(quán)值與偏差

4.根據(jù)式（3）利用權(quán)重因子序列計算候選節(jié)點的權(quán)值與偏差

6.If min{?L,1,?L,2,…,?L,m}≥0 ，保 存?L=及其對應(yīng)的(ω'(i),b('

i))。

7.Else返回步驟3。

8.搜尋滿足，保存對應(yīng)的，更新網(wǎng)絡(luò)的ωL,bL。

9.根據(jù)X,ωL,bL計算輸入和隱藏層節(jié)點輸出的連接矩陣HL。

10.根據(jù)HL通過式（2）計算輸出權(quán)值βL。

11.計算本次搜索后的誤差eL=eL-1-βLHL，更新L=L+1。返回步驟2。

12.End While

4 火焰的特征提取與預(yù)處理

4.1 特征提取

現(xiàn)有圖像型檢測算法大多針對已經(jīng)形成火災(zāi)的火焰進(jìn)行分析與識別，對于未形成火災(zāi)的早期火焰檢測能力有限［13］。普通相機(jī)也很難透過阻擋鏡頭的障礙物來檢測，降低了探測器的監(jiān)測能力。當(dāng)圖像中存在與火焰相似的背景時，會導(dǎo)致誤報率上升。使用紅外攝像機(jī)采集火焰數(shù)據(jù)可以有效地解決上述問題。紅外熱成像技術(shù)利用物體輻射出的波長，將被測物體的熱量信息通過圖像形式可視化展現(xiàn)，不受可見光和遮蔽物的影響，能夠直接反映火焰燃燒的本質(zhì)。紅外火焰圖像在燃燒階段會表現(xiàn)出很多靜態(tài)特征與動態(tài)特征。本文選取圓形度［14］與尖角數(shù)［15］作為靜態(tài)特征，選取面積變化率［16］、相對穩(wěn)定性［17］和邊緣抖動性［17］作為動態(tài)特征。

4.2 預(yù)處理

面積、Hu 矩變化以及質(zhì)心點的移動情況是動態(tài)特征，而模式識別算法處理的是靜態(tài)數(shù)據(jù)。對于動態(tài)特征，主要利用其波動性［17］。本文以10 幀為間隔計算動態(tài)特征值的方差，將動態(tài)特征轉(zhuǎn)化為靜態(tài)數(shù)據(jù)。方差的計算公式為

式中，s2表示動態(tài)特征值的方差，m為間隔幀數(shù)，Xi表示當(dāng)前幀的特征值，表示間隔幀數(shù)中特征值的平均值。

5 實驗結(jié)果與分析

5.1 UCI數(shù)據(jù)集驗證

本節(jié)使用四個UCI 機(jī)器學(xué)習(xí)庫的分類數(shù)據(jù)集來進(jìn)行仿真實驗。數(shù)據(jù)集的屬性信息如表1所示。

表1 數(shù)據(jù)集屬性信息

為方便描述，將改進(jìn)的算法表示為II-RVFL。I-RVFL，RI-RVFL［18］，OI-RVFL［6］，EI-ELM［12］和II-RVFL 在DataSet1 上進(jìn)行訓(xùn)練和測試的分類性能如圖2 所示。從圖中可以看出經(jīng)過候選節(jié)點篩選和參數(shù)配置優(yōu)化后的算法相對于其他算法能夠保持良好的收斂速度以及泛化能力。從圖中還可以看出，II-RVFL 在200 節(jié)點時的分類精度甚至高于I-RVFL、OI-RVFL、RI-RVFL 在300 節(jié)點的分類精度。表2 中數(shù)據(jù)集DataSet2-4 的結(jié)果也表現(xiàn)出II-RVFL在分類任務(wù)上的優(yōu)越性，而且50次實驗結(jié)果的標(biāo)準(zhǔn)差最小，表明在經(jīng)過指數(shù)加權(quán)平均約束后的算法體現(xiàn)出更好的穩(wěn)定性，最終分類精度的變化幅度最小且均值最高。尤其對DataSet3，在訓(xùn)練集精度相差不大的情況下，測試集的精度相對其他算法高出7 個~10 個百分點，表明了優(yōu)化后算法的分類性能更好。

表2 DataSet2-4上的訓(xùn)練和測試的分類準(zhǔn)確性

圖2 各算法300節(jié)點分類性能：平均訓(xùn)練準(zhǔn)確率和平均測試準(zhǔn)確率

5.2 紅外火焰識別中的應(yīng)用

本節(jié)通過采集的紅外火焰數(shù)據(jù)集來驗證所改進(jìn)算法的有效性。所采集的總樣本數(shù)為1012，其中測試集樣本個數(shù)為760，測試集樣本個數(shù)為252。類似地，每個算法做50 次實驗，選取50 次實驗的平均值作為最終結(jié)果。圖3 為各算法在紅外火焰數(shù)據(jù)集上的分類結(jié)果，可以看出無論是訓(xùn)練集還是測試集，改進(jìn)的算法II-RVFL在火焰數(shù)據(jù)集上同樣表現(xiàn)出優(yōu)異的分類性能。從表3 可知，相較于其他算法，II-RVFL 在20 個節(jié)點時，火焰識別精度已經(jīng)達(dá)到98%以上。

表3 各算法檢測的火焰準(zhǔn)確率

圖3 各算法的火焰數(shù)據(jù)集分類性能：平均訓(xùn)練準(zhǔn)確率和平均測試準(zhǔn)確率

另選200 組數(shù)據(jù)，通過訓(xùn)練好的參數(shù)進(jìn)一步驗證改進(jìn)后的算法對火焰識別的有效性。為了能夠清晰地顯示火焰判別效果，將有火源的標(biāo)簽樣本置為-1，沒有火源的標(biāo)簽置為1。檢測結(jié)果如圖4 所示，其中橫坐標(biāo)代表樣本序列，縱坐標(biāo)代表輸出的估計值。將估計值大于零的點判別為無火焰，將估計值小于零的點判別為有火焰。通過真實值與估計值的誤差大小可以更直觀地顯示II-RVFL 算法識別的準(zhǔn)確性，僅有少數(shù)點的估計值與真實值之間的誤差較大，但都是處于誤差容許范圍內(nèi)，無錯報現(xiàn)象，實現(xiàn)了火焰識別的高準(zhǔn)確率預(yù)報。

圖4 II-RVFL算法的火焰檢測結(jié)果

6 結(jié)語

本文針對I-RVFL網(wǎng)絡(luò)的輸入權(quán)值與偏差隨機(jī)分配導(dǎo)致的模型不穩(wěn)定問題，提出使用指數(shù)加權(quán)算法來優(yōu)化隨機(jī)配置時產(chǎn)生的離群值，并將凸函數(shù)的下降梯度比應(yīng)用于網(wǎng)絡(luò)的誤差序列中來優(yōu)化建模過程。通過這兩種方法改善了網(wǎng)絡(luò)參數(shù)隨機(jī)配置中存在的問題。最后，使用UCI數(shù)據(jù)集和在紅外火焰識別上的應(yīng)用來進(jìn)一步驗證算法的有效性。實驗結(jié)果表明，優(yōu)化后的算法穩(wěn)定性更高，泛化性能更好，火焰識別的準(zhǔn)確率高。