張炳婷，趙建平，馬淑麗

(曲阜師范大學(xué) 物理工程學(xué)院,山東 曲阜 273165)

摘　要：在分析最小均方誤差(LMS)自適應(yīng)濾波算法和變步長(zhǎng)LMS算法的基礎(chǔ)上，提出了一種新的變步長(zhǎng)算法，該算法用誤差的平均值來(lái)控制步長(zhǎng)的變化，進(jìn)一步的解決了收斂速度和穩(wěn)態(tài)誤差的矛盾。講述了新算法的具體改進(jìn)方式，并將該算法和變步長(zhǎng)G-SVSLMS算法以及固定步長(zhǎng)算法分別應(yīng)用到系統(tǒng)辨識(shí)中，通過(guò)MATLAB進(jìn)行仿真，結(jié)果證實(shí)文中提出的算法在明顯提高收斂速度的同時(shí),并擁有好的穩(wěn)態(tài)誤差。

關(guān)鍵詞：LMS算法；變步長(zhǎng)；系統(tǒng)辨識(shí)；收斂速度

doi:10.3969/j.issn.1002-0802.2015.06.005

新的變步長(zhǎng)LMS算法在系統(tǒng)辨識(shí)中的應(yīng)用

張炳婷，趙建平，馬淑麗

(曲阜師范大學(xué) 物理工程學(xué)院,山東 曲阜 273165)

摘要：在分析最小均方誤差(LMS)自適應(yīng)濾波算法和變步長(zhǎng)LMS算法的基礎(chǔ)上，提出了一種新的變步長(zhǎng)算法，該算法用誤差的平均值來(lái)控制步長(zhǎng)的變化，進(jìn)一步的解決了收斂速度和穩(wěn)態(tài)誤差的矛盾。講述了新算法的具體改進(jìn)方式，并將該算法和變步長(zhǎng)G-SVSLMS算法以及固定步長(zhǎng)算法分別應(yīng)用到系統(tǒng)辨識(shí)中，通過(guò)MATLAB進(jìn)行仿真，結(jié)果證實(shí)文中提出的算法在明顯提高收斂速度的同時(shí),并擁有好的穩(wěn)態(tài)誤差。

關(guān)鍵詞：LMS算法；變步長(zhǎng)；系統(tǒng)辨識(shí)；收斂速度

doi:10.3969/j.issn.1002-0802.2015.06.005

收稿日期：Received date:2015-01-18；Revised date：2015-04-29

基金項(xiàng)目：山東省自然科學(xué)基金資助(No.ZR2014FM011) Foundation Item:Natural Science Foundation of Shandong Province (No.ZR2014FM011)

中圖分類(lèi)號(hào)：TN929.5

文獻(xiàn)標(biāo)志碼：碼：A

文章編號(hào)：號(hào)：1002-0802(2015)06-0653-04

Abstract：Based on analysis of LMS (Least Mean Square Error) adaptive filtering algorithm and variable step size LMS algorithm, a novel variable step algorithm is proposed. The error mean of this algorithm is used to control the step variation, and further to mitigate the contradiction of between convergence rate and steady-state error. The specific improved method to modify the novel algorithm is described, and the proposed algorithm, variable step size G-SVSLMS algorithms and fixed-step algorithm are respectively applied to the system identification. Simulation with MATLAB indicates that this algorithm could significantly improve convergence rate while having a fair steady-state error.

作者簡(jiǎn)介：

Application of Novel Variable Step Size LMS Algorithm

in System Identification

ZHANG Bing-ting，ZHAO JIAN-ping，MA SHU-Li

(College of Physics Engineering ，Qufu Normal University ， Qufu Shandon 273165，China )

Key words：LMS algorithm; variable step size; system identification; convergence rate

0引言

最小均方誤差LMS(Least Mean Square)算法最早是由Windrow和Hoff提出的[1]，是在維納濾波器的基礎(chǔ)上建立的，以最小均方差準(zhǔn)則下，運(yùn)用最速下降法來(lái)獲得最優(yōu)的維納解。其主要過(guò)程就是通過(guò)調(diào)整自適應(yīng)濾波器的權(quán)系數(shù)，使濾波器的輸出信號(hào)和期望信號(hào)之間的誤差最小。自適應(yīng)濾波器根據(jù)提取期望響應(yīng)的不同，又分為系統(tǒng)辨識(shí)、干擾消除、預(yù)測(cè)和信道均衡四種應(yīng)用。LMS算法憑借其計(jì)算量小、結(jié)構(gòu)簡(jiǎn)單，被廣泛的用于自適應(yīng)控制、信號(hào)處理等多種工程領(lǐng)域[2]。其中收斂速度和穩(wěn)態(tài)誤差是衡量該算法的兩個(gè)重要標(biāo)準(zhǔn)，然而LMS算法的收斂速度和穩(wěn)態(tài)誤差間存在矛盾[3]。具體來(lái)說(shuō)算法的收斂速度主要受迭代步長(zhǎng)的影響，在迭代步長(zhǎng)滿(mǎn)足算法的收斂條件時(shí)，步長(zhǎng)越大，收斂速度加快，但同時(shí)會(huì)帶來(lái)較大的穩(wěn)態(tài)誤差；反之，要想有較小的穩(wěn)態(tài)誤差，就必須采用小的迭代步長(zhǎng)，但同時(shí)降低了收斂速度。為了解決這一矛盾，眾多的學(xué)者提出了各種變步長(zhǎng)算法，改進(jìn)的算法主要有兩個(gè)方向，一個(gè)方向是利用誤差信號(hào)來(lái)進(jìn)行步長(zhǎng)迭代，另一方向是利用梯度向量來(lái)進(jìn)行步長(zhǎng)迭代[4]。目的都是為了在算法的出收斂階段，采用大的步長(zhǎng)，加快收斂速度，等到收斂穩(wěn)定后，采用小的步長(zhǎng)，來(lái)降低穩(wěn)態(tài)誤差。

1LMS算法

1.1傳統(tǒng)的LMS算法

最小均方誤差(LMS)算法，它是以期望響應(yīng)和濾波器輸出信號(hào)之間誤差的均方最小值為準(zhǔn)則，并使用誤差來(lái)控制自適應(yīng)濾波器的權(quán)系數(shù)，是最終輸出的權(quán)系數(shù)達(dá)到最佳的權(quán)系數(shù)。LMS算法的表達(dá)式：

y(n)=w(n)Tx(n)

(1)

e(n)=d(n)-y(n)

(2)

w(n+1)=w(n)+ue(n)x(n)

(3)

式中，x(n)是輸入信號(hào),d(n)是期望響應(yīng)的輸出信號(hào),y(n)是實(shí)際輸出的信號(hào),w(n)是濾波器的抽頭系數(shù)。e(n)是誤差信號(hào)。式(3)是抽頭權(quán)向量的遞推公式，u是步長(zhǎng)因子，當(dāng)滿(mǎn)足0

J(n)=E{|e(n)|2}=E{|d(n)-y(n)|2}

(4)

即使濾波器的輸出信號(hào)與期望信號(hào)之間的誤差最小。并以此穩(wěn)態(tài)誤差作為衡量LMS算法的性能。在滿(mǎn)足收斂條件下，u越大，收斂速度越大，相應(yīng)的穩(wěn)態(tài)誤差也越大；u越小，穩(wěn)態(tài)誤差小，但相應(yīng)的收斂速度也小。

穩(wěn)態(tài)誤差和收斂速度是衡量算法收斂性能的兩個(gè)重要標(biāo)準(zhǔn)，為了獲得好的穩(wěn)態(tài)誤差和快的收斂速度，對(duì)于迭代步長(zhǎng)的調(diào)整最為關(guān)鍵，所以人們提出來(lái)變步長(zhǎng)算法，在算法的收斂階段，采用大的迭代步長(zhǎng)，獲取較快的收斂速度，等算法達(dá)到穩(wěn)態(tài)后，采用小的迭代步長(zhǎng)來(lái)減小穩(wěn)態(tài)誤差。

1.2變步長(zhǎng)算法

本文研究的變步長(zhǎng)算法，是利用誤差信號(hào)進(jìn)行迭代，建立誤差信號(hào)與迭代步長(zhǎng)的某種函數(shù)關(guān)系，在文獻(xiàn)[5]中提出的基于G-SVSLMS函數(shù)的變步長(zhǎng)算法，該算法的表達(dá)式：

w(n+1)=w(n)+u(n)e(n)x(n)

(5)

式(5)中u(n)=β(1-exp(-α|e(n)|2))，β控制步長(zhǎng)函數(shù)的取值范圍，α控制步長(zhǎng)函數(shù)的形狀。算法的輸出信號(hào)和誤差信號(hào)的表達(dá)式如式(1)、式(2)。該算法具有較小的穩(wěn)態(tài)誤差和較快的收斂速度。并且在誤差信號(hào)e(n)接近零時(shí)具有變化緩慢的特性。但是在外界噪聲嚴(yán)重的情況下，步長(zhǎng)函數(shù)u(n)中的e(n)容易受到外界噪聲的影響，使u(n)不能達(dá)到最小的值，從而使抽頭系數(shù)只是無(wú)限地的接近最優(yōu)解，不能達(dá)到最優(yōu)的維納解。針對(duì)這種算法的不足之處，在文獻(xiàn)[6]中提出的一種新的改進(jìn)算法，就是在步長(zhǎng)函數(shù)中不直接使用誤差信號(hào)e(n)的平方，而是使用前一時(shí)刻的誤差信號(hào)e(n-1)與當(dāng)前時(shí)刻的誤差信號(hào)e(n)的乘積即e(n-1)e(n)來(lái)代替，降低了G-SVSLMS算法對(duì)噪聲的敏感度，該算法記為NG-SVSLMS算法。

NG-SVSLMS算法的步長(zhǎng)函數(shù)表達(dá)式：

u(n)=β(1-exp(-α|e(n)e(n-1)|))

(6)

該算法在低信噪比下有低的穩(wěn)態(tài)誤差，但是收斂速度不十分理想。

2本文提出的算法

本文提出的算法在G-SVSLMS基礎(chǔ)上結(jié)合塊自適應(yīng)濾波器文獻(xiàn)[7]中的塊平方誤差的思想，利用前面所有時(shí)刻的誤差信號(hào)與當(dāng)前時(shí)刻誤差信號(hào)的平均值記為eav(n)，來(lái)建造與步長(zhǎng)的函數(shù)關(guān)系。

表達(dá)式如下式

u(n)=β(1-exp(-α|eav(n)|))

(7)

(8)

圖1本文算法的步長(zhǎng)隨迭代次數(shù)的變化

3算法在系統(tǒng)辨識(shí)中的應(yīng)用分析

3.1系統(tǒng)辨識(shí)的分析

系統(tǒng)辨識(shí)是根據(jù)系統(tǒng)的輸入與輸出信號(hào)，建立系統(tǒng)模型的理論和方法。當(dāng)給定一個(gè)未知的系統(tǒng)時(shí)，通過(guò)自適應(yīng)濾波器可以逼近這個(gè)系統(tǒng)，進(jìn)而得到這個(gè)動(dòng)態(tài)系統(tǒng)，從而達(dá)到系統(tǒng)辨識(shí)的目的[8]，下面給出改進(jìn)的LMS算法在系統(tǒng)模型辨識(shí)中的應(yīng)用實(shí)例，其中算法的收斂速度是衡量算法的重要標(biāo)準(zhǔn)。圖2是系統(tǒng)辨識(shí)的原理圖。

圖2　系統(tǒng)辨識(shí)原理框

假設(shè)自適應(yīng)濾波器的階數(shù)與未知系統(tǒng)的階數(shù)相同，輸入隨機(jī)信號(hào)為x(n),對(duì)未知系統(tǒng)測(cè)量得到的輸出信號(hào)是,d(n)它是由未知系統(tǒng)的輸出信號(hào)y(n)與噪聲信號(hào)v(n)疊加，其中噪聲信號(hào)是測(cè)定的高斯白噪聲，并且與輸入信號(hào)不相關(guān)。在圖中y∧(n)是自適應(yīng)濾波器的輸出，它與對(duì)未知系統(tǒng)的輸出信號(hào)d(n)間的差值是誤差信號(hào)e(n)。新的算法在系統(tǒng)辨識(shí)中的表達(dá)式：

(9)

d(n)=y(n)+v(n)

(10)

y∧(n)=WT(n)X(n)

(11)

e(n)=d(n)-y∧(n)

(12)

u(n)=β(1-exp(-α|eav(n)|))

(13)

通過(guò)以上的算法，通過(guò)公式進(jìn)行迭代運(yùn)算，當(dāng)e(n)趨近于零時(shí)，自適應(yīng)濾波器的權(quán)系數(shù)即是未知系統(tǒng)的濾波器系數(shù)，從而達(dá)到系統(tǒng)辨識(shí)的目的。

3.2不同算法的分析

將本文的算法、固定步長(zhǎng)的LMS算法和NG-SVSLMS算法應(yīng)用到圖中的系統(tǒng)辨識(shí)模型，定義系統(tǒng)辨識(shí)中的未知系統(tǒng)是8階的橫向?yàn)V波器，濾波器的抽頭系數(shù)Hn=[0.878 3-0.580 60.653 7-0.322 30.657 7-0.058 20.289 5-0.271 0]。測(cè)量的輸入信號(hào)與測(cè)量的噪聲信號(hào)的信噪比設(shè)置為20 dB。在比較三種算法的性能優(yōu)劣時(shí)，將具體的參數(shù)定義如下：固定步長(zhǎng)的LMS算法中，步長(zhǎng)u設(shè)置為0.01，為了更好地對(duì)另外兩種變步長(zhǎng)算法性能的比較，將其中的參數(shù)定為相同的數(shù)值，β=0.08、α=0.8，每種算法獨(dú)立做200次仿真，然后對(duì)其求平均值，得到的仿真結(jié)果如圖3所示。

圖3　三種算法的收斂曲線(xiàn)比較

從圖3中可以清楚地看到，在相同的信噪比下，文獻(xiàn)[6]中的NG-SVSLMS算法，要比固定步長(zhǎng)算法的收斂速度快，但在一定程度上增加了穩(wěn)態(tài)誤差，而本文中提出的算法，與這兩種算法相比，收斂速度要優(yōu)于固定步長(zhǎng)LMS算法和NG-SVSLMS算法。本文中的算法在經(jīng)過(guò)50次迭代時(shí)，均方誤差就已經(jīng)達(dá)到最小值，在沒(méi)有增加穩(wěn)態(tài)誤差的前提下，同時(shí)提高了收斂速度。固定步長(zhǎng)LMS算法的收斂速度要比NG-SVSLMS算法和本文算法的收斂速度小，其主要原因就是在算法收斂的初始階段，它的步長(zhǎng)是最小的且是固定的，這與前面圖2中步長(zhǎng)隨迭代次數(shù)變化時(shí)推出的結(jié)論一致，證明了本文的算法實(shí)施的正確性和高的性能。

為了進(jìn)一步的驗(yàn)證本文算法的收斂速度要快于其他兩種算法，分別選取系統(tǒng)辨識(shí)中FIR濾波器的前4個(gè)系數(shù)[0.878 3-0.580 60.653 7-0.322 3]，將其進(jìn)行仿真比較。結(jié)果見(jiàn)圖4、圖5、圖6。

圖4固定步長(zhǎng)LMS算法的系統(tǒng)辨識(shí)結(jié)果

圖5　NG-SVSLMS算法的系統(tǒng)辨識(shí)結(jié)果

圖6　本文算法的系統(tǒng)辨識(shí)結(jié)果

通過(guò)比較可以清楚地看到本文算法辨識(shí)的結(jié)果最先與理論上的系數(shù)相同。因此仿真證實(shí)，在系統(tǒng)辨識(shí)的應(yīng)用中，本文提出的算法的收斂速度要明顯的比固定步長(zhǎng)算法、NG-SVSLMS算法快，而且相應(yīng)的穩(wěn)態(tài)誤差也十分的穩(wěn)定。

4結(jié)語(yǔ)

文中在固定步長(zhǎng)LMS算法的基礎(chǔ)上，分析了變步長(zhǎng)G-SVSLMS算法及改進(jìn)的NG-SVSLMS算法，結(jié)合時(shí)域上的塊步長(zhǎng)算法的思想，提出了一種新的變步長(zhǎng)算法，用不同時(shí)刻的誤差的均值來(lái)控制步長(zhǎng)的變化。仿真結(jié)果證明，在系統(tǒng)辨識(shí)的應(yīng)用中，本文提出的算法加快了算法的收斂速度，要優(yōu)于現(xiàn)有的算法。但是沒(méi)有大幅度的減小穩(wěn)態(tài)誤差，需要進(jìn)一步的研究改進(jìn)。在接下來(lái)的研究當(dāng)中，會(huì)對(duì)本文的算法進(jìn)一步的改進(jìn)，并在硬件當(dāng)中進(jìn)行實(shí)施。

參考文獻(xiàn)：

[1]WIDROW B, MCCOOL J M, ARIMOER M G. Stationary and No Stationary Learning Characteristic of the LMS Adaptive Filter[J],ProcIEEE,1976,64(8):1151-1162.

[2]聶聰,呂振肅.一種新的變步長(zhǎng)NLMS自適應(yīng)算法[J].通信技術(shù)，2007,40(12)：87-89.

NIE Cong, LV Zhen-Su. A New Variable Step Size NLMS Adaptive Algorithm[J].Communications Technology, 2007,40(12)：87-89.

[3]吳怡.基于LMS算法的語(yǔ)音增強(qiáng)系統(tǒng)的研究[D].北京：北京郵電大學(xué)，2011.

WU Yi. A Speech Enhancement based on LMS Algorithm[D].Beijing: Beijing University of Posts and Telecommunications,2011.

[4]李寧. LMS自適應(yīng)濾波算法的收斂性能研究與應(yīng)用[D].哈爾濱：哈爾濱工程大學(xué)，2009.

LI Ning. Convergence Performance Analysis and Application of the Adaptive Lease Mean Square Algorithm [D].Harbin: Harbin Engineering University, 2009.

[5]高鷹,謝勝利．一種變步長(zhǎng)LMS自適應(yīng)濾波算法及分析[J].電子學(xué)報(bào)，2001,29(08)：1094-1097．

GAO Ying, XIE Sheng-li. A Variable Step Size LMS Adaptive Filtering Algorithm and Its Analysis [J].Act Electronic Sinica,2001,29(08)：1094-1097．

[6]呂強(qiáng),馮馳.一種變步長(zhǎng)LMS算法及其Matlab 仿真[J].應(yīng)用科技，2006,33(06)：80 - 82.

LV Qiang, FENG Chi.A Variable Step Size LMS Algorithm and Its Matlab Simulation [J].Applied Science and Technology, 2006, 33(6):80-82.

[7]肖海英，何方白.一種時(shí)域變步長(zhǎng)BLMS自適應(yīng)算法[J].西南科技大學(xué)學(xué)報(bào)，2006,21(02)：30 - 35.

XIAO HAI-ying, HE FANG-bai. A Variable Step Size BLMS Adaptive Algorithm in Time Domain [J].Journal of Southwest University of Science and Technology, 2006,21(02)：30 - 35.

[8]李竹,楊培林,行小帥.一種改進(jìn)的變步長(zhǎng)LMS算法及其在系統(tǒng)辨識(shí)中的應(yīng)用[J].儀器儀表學(xué)報(bào)，2007,28(07)：1340 - 1344.

LI Zhu，YANG Pei-lin, HANG Xiao-shuai. Modified Variable Step Size LMS Algorithm and Its Application in System Identification [J].Chinese Journal of Scientific Instrument, 2007,28(07)：1340-1344.

張炳婷(1990—)，女，碩士研究生，主要研究方向?yàn)闊o(wú)線(xiàn)通信技術(shù)；

趙建平(1964—)，男，教授，主要研究方向?yàn)闊o(wú)線(xiàn)通信技術(shù)；

馬淑麗(1989—)，女，碩士研究生，主要研究方向?yàn)闊o(wú)線(xiàn)傳感器網(wǎng)絡(luò)、無(wú)線(xiàn)通信技術(shù)。