劉 強(qiáng)， 王世元， 黃雪微， 王代麗

(西南大學(xué) 電子信息工程學(xué)院，重慶 400715)

混沌現(xiàn)象[1]是由不附加隨機(jī)因素的確定性非線性動力學(xué)系統(tǒng)產(chǎn)生而來。實際應(yīng)用中，混沌信號往往受到不同程度的噪聲干擾，經(jīng)典的去噪預(yù)測方法主要有3類：局部預(yù)測法[2]、全局預(yù)測法[3]、自適應(yīng)預(yù)測法[4]。其中，局部預(yù)測法利用局部數(shù)據(jù)特征擬合非線性函數(shù)，提高了處理速度；全局預(yù)測法利用全部數(shù)據(jù)的特征來表征非線性函數(shù)，對整個混沌信號的噪聲實現(xiàn)有效抑制；自適應(yīng)預(yù)測法自適應(yīng)地追蹤混沌的運(yùn)動軌跡，通過簡單配置參數(shù)確保了低數(shù)據(jù)量時仍然有較好預(yù)測精度。良好的去噪性能以及簡單的參數(shù)配置使自適應(yīng)預(yù)測法得到廣泛應(yīng)用。

在自適應(yīng)濾波預(yù)測中，數(shù)據(jù)空間中的二階相似性度量是高斯噪聲環(huán)境下性能優(yōu)越的測量方法，如基于均方誤差(mean square error，MSE)[5]的仿射投影[6]和最小二乘法[7]。但是采用二階度量的自適應(yīng)預(yù)測方法在脈沖噪聲中的去噪性能顯著下降。為解決這些問題，非二階相似度量方法被提出，如平均p階誤差(meanp-power error, MPE)準(zhǔn)則[8]，但一般情況下使用MPE準(zhǔn)則仍不能在脈沖條件下提供理想的濾波性能。近幾年，基于可再生核希爾伯特空間[5]的非線性度量方法成為研究熱點(diǎn)。作為信息理論[9]的代表，相關(guān)熵?fù)p失(correntropic loss, C-loss)[10]和廣義相關(guān)熵?fù)p失(generalized correntropic loss, GC-loss)[11-12]利用數(shù)據(jù)的高階統(tǒng)計量，成功地衍生出一些在脈沖噪聲情況下魯棒的自適應(yīng)濾波預(yù)測方法[4]。然而，熵?fù)p失性能曲面的非凸性導(dǎo)致其收斂性能較差。為提高熵?fù)p失性能，核風(fēng)險敏感損失(kernel risk sensitive loss, KRS-loss)[13]因具有更好的性能曲面而被提出,然而KRS-loss在脈沖噪聲中并不具魯棒性。進(jìn)一步，廣義對數(shù)損失(generalized logarithmic loss, GL-loss)[14]被提出，用來抑制較大異常值的干擾。值得注意的是，在一些環(huán)境下，GL-loss比C-loss和KRS-loss具有更好的性能。

然而，采用上述度量的線性濾波器在復(fù)雜非線性混沌時間序列預(yù)測中都存在預(yù)測性能下降的問題。核方法[5]能夠有效地解決非線性問題，如極限學(xué)習(xí)機(jī)[15]和核自適應(yīng)濾波器(kernel adaptive filter, KAF)[5]。核方法的核心在于將原始空間中的內(nèi)積操作轉(zhuǎn)換到高維空間中，使用“核技巧”替換內(nèi)積操作，從而降低計算復(fù)雜度。典型的核自適應(yīng)算法包括核最小均方(kernel least mean squares, KLMS)算法[16-17]和核遞歸最小二乘(kernel recursive least squares, KRLS)算法[18]等。KRLS算法考慮先前的多個誤差，與基于隨機(jī)梯度下降的KLMS算法相比，該算法具有更快的收斂速度和更高的濾波精度。

值得注意的是，在KAF算法中隨著輸入的不斷增加，算法網(wǎng)絡(luò)尺寸會隨之線性增長，最終導(dǎo)致巨大的計算和存儲開銷。為抑制網(wǎng)絡(luò)尺寸的增長，一些數(shù)據(jù)稀疏處理方法被提出來，比如稀疏化[5]和量化策略[17]。但是，使用這些稀疏處理方法仍然存在網(wǎng)絡(luò)尺寸次線性增長問題。相比之下，采用自適應(yīng)K-Means采樣[19]的Nystr?m映射[20]通過提前固定網(wǎng)絡(luò)尺寸，在時間和空間復(fù)雜度上都表現(xiàn)出了更大優(yōu)勢。

近年來，脈沖噪聲下的魯棒性濾波算法日益成為一重要研究領(lǐng)域。本文提出一種新的廣義對數(shù)核損失(generalized logarithmic kernel loss, GLKL)，目的在于提高GL-loss在某些非線性系統(tǒng)中的性能。為解決核方法帶來的網(wǎng)絡(luò)尺寸線性增長問題，將GLKL與K-Means采樣的Nystr?m映射和遞歸更新方式相結(jié)合，推導(dǎo)出一種新的魯棒算法，即NRMGLKL-KM算法。該算法與稀疏化核自適應(yīng)濾波算法相比具備更高的魯棒性，與其他典型魯棒核自適應(yīng)濾波預(yù)測算法相比,該算法具備更快的收斂速度和更高的濾波精度。

1 背景

1.1 廣義對數(shù)核損失的定義

為構(gòu)建魯棒性預(yù)測方法，GL-loss[14]作為兩個隨機(jī)變量X和Y的相似性度量被定義為

(1)

式中:α>0，p>0。式(1)在處理異常值時具有較強(qiáng)的魯棒性，已經(jīng)廣泛應(yīng)用于魯棒性算法研究。然而，在處理復(fù)雜的非線性系統(tǒng)問題時，基于式(1)的線性濾波算法不具備較強(qiáng)的非線性濾波性能。

利用核方法，GLKL函數(shù)通過提取數(shù)據(jù)的不同階統(tǒng)計量，有效提升了在脈沖噪聲下非線性問題的學(xué)習(xí)性能，GLKL定義如下:

dFX,Y(X,Y)。

(2)

(3)

經(jīng)驗GLKL可以被描述為x=[x1,x2,…,xN]T和y=[y1,y2,…,yN]T之間的廣義“距離”。

1.2 相關(guān)性質(zhì)

關(guān)于GLKL的一些重要性質(zhì)如下所示。

性質(zhì)1：Lp(X,Y)是對稱、正定且有界的。

證明：由于κσ(X,Y)=κσ(Y,X)，故有Lp(X,Y)=Lp(Y,X)，即Lp(X,Y)是對稱的。當(dāng)0<κσ(X,Y)≤1,Lp(X,Y)是正定且有界的，即0

性質(zhì)2：當(dāng)σ足夠大時，有

Lp(X,Y)≈(2σ2)-p/2E[|X-Y|p]。

(4)

≈(2σ2)-p/2E[|X-Y|p]。

(5)

由性質(zhì)2可知，GLKL可以捕獲誤差的p階絕對值。當(dāng)σ=1時，GLKL可以視為MPE準(zhǔn)則。

(6)

設(shè)置σ和α的值均為1，圖1比較了在不同參數(shù)p下，GL-loss和GLKL的損失函數(shù)隨誤差變化的情況。從圖1可以得出：①當(dāng)誤差趨近于0時，p越大，GLKL曲線就越平滑，即GLKL對穩(wěn)態(tài)誤差有更好的平滑性；②與GL-loss相比，在誤差較大的情況下，GLKL的損失函數(shù)更平滑，即GLKL對大的異常值不敏感。

圖1 GL-loss與不同的p下GLKL的比較Figure 1 Comparison of GL-loss and GLKL with different p

2 算法推導(dǎo)

2.1 Nystr?m映射

(7)

式中：V=[λ1,λ2,…，λm]和D=diag[ζ1,ζ2,…,ζm]分別為矩陣W特征向量及其對應(yīng)的特征值所組成的矩陣。故G中的元素可以近似表示為

=z(ui)Tz(uj)。

(8)

式中：z(ui)為ui映射到高維特征空間的近似函數(shù)。從式(8)中可以看出，φ(u)作為一個無限維的隱式輸入，實際上可以用低維輸入z(u)來近似表示。

2.2 基于K-Means采樣的Nystr?m映射

Nystr?m映射中，核矩陣近似的精度主要取決于樣本點(diǎn)的選擇。K-Means方法作為一種經(jīng)典的聚類方法，能夠抽取與原始數(shù)據(jù)的分布基本一致的數(shù)據(jù)，有效地提高Nystr?m近似精度。K-Means采樣是將給定的樣本集分成k個簇，并將每個簇的質(zhì)心作為樣本。

步驟2 將每個數(shù)據(jù)分類到距離最近的一個簇中，即

(9)

步驟4 重復(fù)步驟2和步驟3，直到滿足收斂條件。

一般地，當(dāng)前質(zhì)心與上一次更新所獲得質(zhì)心之間的歐氏距離小于0.001時，終止聚類過程。由于本文研究重點(diǎn)為在線學(xué)習(xí)，故此采樣過程只會發(fā)生在初始化階段?；诓蓸铀@得的樣本，本文提出以下魯棒K-Means采樣的Nystr?m遞歸最小廣義對數(shù)核損失算法，即NRMGLKL-KM。

2.3 基于K-Means采樣的Nystr?m遞歸最小廣義對數(shù)核損失算法

為使輸入數(shù)據(jù)自相關(guān)矩陣可逆，引入一個范數(shù)懲罰項，廣義對數(shù)核損失如下：

(10)

(11)

定義：

(12)

令式(11)等于0，得

(13)

基于指數(shù)衰減的數(shù)據(jù)窗口，Ri和Ψi的在線更新形式寫為

(14)

進(jìn)一步，根據(jù)矩陣求逆引理，利用遞歸形式來計算式(13)中的Pi，即

(15)

將式(15)代入式(13)，權(quán)重更新可表示為

(16)

3 仿真

本實驗通過Mackey-Glass(MG)混沌時間序列預(yù)測來驗證算法的預(yù)測能力?；煦鐣r間序列的頻譜分布狀態(tài)十分豐富且能反映混沌系統(tǒng)中信號的激勵特征，由以下非線性延遲微分方程獲得：

(17)

式中：a=0.2，b=0.1，τ=30。為實現(xiàn)數(shù)據(jù)離散化，采樣周期設(shè)為6 s。式(17)中，時延參數(shù)τ越大，系統(tǒng)混沌程度越明顯。從混沌系統(tǒng)中提取序列[xi-7,xi-6,…,xi-1]T用于估計期望輸出di=xi。結(jié)合實際問題，混沌序列中需引入噪聲干擾。

脈沖噪聲環(huán)境由兩個獨(dú)立的噪聲混合產(chǎn)生，表示為

vi=(1-bi)vx,i+bivy,i。

(18)

討論樣本數(shù)m對NRMGLKL-KM算法的性能影響，其中m的取值為[10,100]。圖2展示了不同維度m對應(yīng)的NRMGLKL-KM算法的穩(wěn)態(tài)誤差和平均消耗時間，其中穩(wěn)態(tài)誤差取最后100次迭代的mse均值，其他自由參數(shù)設(shè)置為γ=0.1、β=1、α=1、σ=1、p=10。從圖2中可以看出：①NRMGLKL-KM算法的平均消耗時間隨著m增大而增加；②在初始階段隨著m的增加，穩(wěn)態(tài)誤差下降比較明顯，當(dāng)m>50時，穩(wěn)態(tài)誤差的值幾乎無變化。因此，為了平衡濾波精度和時間消耗，在本例中m的取值為50。

圖2 在不同維度下NRMGLKL-KM算法的穩(wěn)態(tài)誤差和平均消耗時長Figure 2 Steady-state error and averaged consumed time of the NRMGLKL-KM with different dimension

討論核寬σ對NRMGLKL-KM算法的濾波精度的影響。σ在區(qū)間[0.4,2.0]以0.2為間距取值，其他自由參數(shù)分別設(shè)置為m=50、p=10、α=1.5、γ=0.1、β=1。不同σ值對應(yīng)的NRMGLKL-KM算法的穩(wěn)態(tài)誤差如圖3所示，從圖3中可以發(fā)現(xiàn)，當(dāng)σ=1.0時獲得最佳濾波精度，在σ過大或者過小時均會導(dǎo)致濾波精度下降。

圖3 參數(shù)σ對NRMGLKL-KM性能的影響Figure 3 Influence of parameter σ on the performance of NRMGLKL-KM

討論參數(shù)p和α對NRMGLKL-KM算法性能的影響，其中p在區(qū)間[2,16]以2為間距取值，α在區(qū)間[0.5,4.0]以0.5為間距取值。不同p和α對應(yīng)NRMGLKL-KM算法的穩(wěn)態(tài)誤差如圖4所示，其他自由參數(shù)為m=50、σ=1、γ=0.1、β=1。從圖4中可以發(fā)現(xiàn)，隨著參數(shù)p的增大，穩(wěn)態(tài)誤差先下降后升高，并且在p=10的附近達(dá)到最優(yōu);α在一定程度上對所提算法的影響較低。因此，為了達(dá)到理想的性能，在本例中將NRMGLKL-KM算法的參數(shù)設(shè)置為m=50、σ=1、α=2、p=10、γ=0.1、β=1。

圖4 NRMGLKL-KM穩(wěn)態(tài)誤差隨p和α的變化Figure 4 Steady-state error of NRMGLKL-KM versus p and α

為驗證NRMGLKL-KM算法在魯棒性和收斂性方面的優(yōu)勢，將NRMGLKL-KM算法與一些典型遞歸算法進(jìn)行比較，如：NysKRLS-KM[18]，KRMC[21]，NysKRMC[20]，KRMC-NC[21]。為達(dá)到理想的精度，對所有算法均設(shè)置了最優(yōu)參數(shù)，其中各算法中γ，β以及m的取值均為γ=0.1，β=1，m=50。仿真結(jié)果如圖5所示，所有算法的仿真結(jié)果數(shù)據(jù)和計算復(fù)雜度列于表1。從圖5可以看出，與其他典型算法相比，所提算法在脈沖噪聲中具有較高的魯棒性，同時還具備更快的收斂速度和更高的濾波精度。表1中i為當(dāng)前迭代次數(shù)，n為KRMC-NC在當(dāng)前迭代中的字典大小。因為i和n的值最終會遠(yuǎn)大于m，所以相比于KRMC和KRMC-NC算法，所提算法具有更小的計算復(fù)雜度。同時從表1中可以發(fā)現(xiàn)，所提算法能夠在更短的時間內(nèi)達(dá)到比KRMC算法更高的濾波精度。

圖5 MG時間序列下不同算法的穩(wěn)態(tài)誤差比較Figure 5 Comparison of the steady-state error of different algorithms in MG time series prediction

表1 MG時間序列下不同算法的仿真結(jié)果及計算復(fù)雜度Table 1 Simulation results and computational complexity of different algorithms in MG time series prediction

4 結(jié)論

本文將原始空間中的廣義對數(shù)損失映射到再生核希爾伯特空間，提出了廣義對數(shù)核損失準(zhǔn)則(GLKL)，并給出了該準(zhǔn)則的若干性質(zhì)。GLKL準(zhǔn)則在混沌時間序列預(yù)測中能有效地消除脈沖干擾。同時，在提出的GLKL準(zhǔn)則中引入了K-Means采樣的Nystr?m映射，從而推導(dǎo)出一種新的基于K-Means采樣的Nystr?m遞歸最小GLKL預(yù)測方法，即NRMGLKL-KM算法。通過實驗仿真確定自由參數(shù)對算法性能的影響，選擇最優(yōu)參數(shù)以提高濾波精度。除此之外，在脈沖噪聲環(huán)境下進(jìn)行混沌時間序列預(yù)測仿真。仿真結(jié)果表明：與稀疏化核自適應(yīng)濾波算法相比,所提算法在脈沖噪聲中具備更高的魯棒性，同時,相比于他典型魯棒核自適應(yīng)濾波預(yù)測算法相比,該算法具備更快的收斂速度和更高的濾波精度。