操童

摘 要：在自適應(yīng)信號處理的系統(tǒng)中，我們對性能表面十分感興趣。微電子技術(shù)的飛速發(fā)展，容量大、體積小、性能可靠的信號處理器已經(jīng)出現(xiàn)，包括自適應(yīng)信號處理在內(nèi)的各種類的信號處理技術(shù)，得到越來越廣泛的應(yīng)用。牛頓法和最速下降法是我們熟知的兩種性能表面搜索法，最速下降法不同于牛頓法，沒一步權(quán)的調(diào)整都是在梯度的方向上。在工程應(yīng)用中，牛頓法很難實現(xiàn)，但其數(shù)學(xué)意義十分重要，在工程中已經(jīng)實現(xiàn)了最速下降法，且這種方法已被證實具有廣泛的實際應(yīng)用價值。該文重點(diǎn)介紹了應(yīng)用牛頓法和最速下降法在自適應(yīng)信號的性能表面尋找最小點(diǎn)，并對兩種方法的收斂性進(jìn)行比較。

關(guān)鍵詞：性能表面 牛頓法 最速下降法 收斂性

中圖分類號：G64 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2015）01（c）-0084-02

1 自適應(yīng)系統(tǒng)

自適應(yīng)系統(tǒng)是近年來一個蓬勃發(fā)展的研究領(lǐng)域，先已研究出一大類受制于某種條件的，近似有生物適應(yīng)過程和生命系統(tǒng)的自適應(yīng)自動機(jī)?，F(xiàn)如今，由于微電子技術(shù)的飛速發(fā)展，已經(jīng)可以設(shè)計并制造出容量大、體積小、性能可靠的信號處理器，包括自適應(yīng)信號處理在內(nèi)的各種類的信號處理技術(shù)，得到越來越廣泛的應(yīng)用。

自適應(yīng)系統(tǒng)最基本、最主要的性質(zhì)是它的時變，自調(diào)整性能。自適應(yīng)系統(tǒng)必須是時變、非線性系統(tǒng)，特別是其特性與其輸入信號有關(guān)。如果輸入加在自適應(yīng)系統(tǒng)上，自適應(yīng)系統(tǒng)將適應(yīng)于這個輸入并產(chǎn)生相應(yīng)的輸出。如果再加上另一個輸入信號，系統(tǒng)又將去適應(yīng)第二個信號并再產(chǎn)生一個輸出。一般來說，這個自適應(yīng)系統(tǒng)針對兩個不同的輸入的形態(tài)或結(jié)構(gòu)的調(diào)整時不同的。如果兩個輸入的和加在自適應(yīng)系統(tǒng)上，系統(tǒng)將適應(yīng)這個新的輸入，而且產(chǎn)生一個新的輸出，這個輸出一般不同于+，輸出的和取決于輸入值和。對于線性系統(tǒng)所滿足的疊加原理一般不再成立。

自適應(yīng)系統(tǒng)在非線性系統(tǒng)中沒有明確的歸類。不過，其兩個方面的特征，可以將它與別的形式的非線性系統(tǒng)有所區(qū)分。其一，自適應(yīng)系統(tǒng)能進(jìn)行調(diào)整，且有限長度信號的時間平均特性通常與它們的調(diào)整相關(guān)，因此不是由信號或者是內(nèi)部系統(tǒng)狀態(tài)的瞬時值決定的。其二，自適應(yīng)系統(tǒng)是進(jìn)行有目的的調(diào)整的，通常是對某個確定的性能測度進(jìn)行優(yōu)化。

當(dāng)結(jié)束適應(yīng)過程，不在進(jìn)行自適應(yīng)調(diào)整時，其中有一類自適應(yīng)系統(tǒng)變成線性系統(tǒng)，被稱為“線性自適應(yīng)系統(tǒng)”。這一類的自適應(yīng)系統(tǒng)方便數(shù)學(xué)處理，也很有用，而且與其他形式的自適應(yīng)系統(tǒng)相比，其設(shè)計比較容易。

在自適應(yīng)信號處理中，性能表面的一個重要特征是，如果信號時平穩(wěn)的，并具有不變的統(tǒng)計特性，則性能表面額形狀將保持不變，并在它的坐標(biāo)系統(tǒng)只保持固定。在這種情況下，自適應(yīng)過程由下列步驟所組成：從性能表面上的某個點(diǎn)很出發(fā)，向下運(yùn)動至最小點(diǎn)附近，最后停在那兒。

另一方面，若信號時非平穩(wěn)的并且具有緩慢變化的統(tǒng)計特性，這種情況下，我們可以認(rèn)為性能表面是“模糊”的或“起伏”的，或在其所處坐標(biāo)系統(tǒng)中移動。這樣，自適應(yīng)進(jìn)行過程中，不但要向下運(yùn)動到最小點(diǎn)，還要在性能表面發(fā)生移動時，對其最小點(diǎn)進(jìn)行跟蹤。

2 牛頓法

牛頓法和最速下降法是我們熟知的兩種性能表面搜索法。這些方法都需要用梯度估值，以指明性能表面最小值所在的方向。這類方法特別適用于二次型性能表面。該章將著重介紹牛頓法。

盡管在實際應(yīng)用中很難用到牛頓法，不過其數(shù)學(xué)意義卻非常重要，它是一種梯度搜索法。該方法在搜索過程中使權(quán)向量的所有分量每一步都在改變。并且，只要是二次型的性能表面，則總是在指向性能表面最小點(diǎn)的方向上發(fā)生改變。

尋找是問題關(guān)鍵，也就是說要使均方誤差最小則需要調(diào)整權(quán)。由于對性能表面不是很清楚，所以能從任意初值出發(fā)。同時對曲線在此點(diǎn)的斜率進(jìn)行測量，選出新值，使其等于初值加上一個正比于斜率負(fù)值的增量。同樣，通過測量在的斜率再用同樣的方法導(dǎo)出下一個新值。重復(fù)此過程，直至找到最佳權(quán)。在離散間隔，，…，對性能曲線的斜率進(jìn)行測量得到的值叫“梯度估值”。

時，單變量梯度搜索過程是臨界阻尼的。（為梯度搜索算法收斂率）在這種情況下，對二次型性能函數(shù)僅一步就收斂。由于它在初等微積分學(xué)中求多項式根的方法有關(guān)，故稱為牛頓法?，F(xiàn)討論這種方法對單權(quán)函數(shù)的應(yīng)用。

當(dāng)性能表面為二次型，并對所有的值都已知的單變量情況，牛頓法使用起來時簡單的。

3 最速下降法

與牛頓法不同的是，最速下降法每一步權(quán)都是在梯度的方向上來調(diào)整的。對于一個想通過最少的迭代次數(shù)來實現(xiàn)性能表面搜索的數(shù)值分析者而言，收斂一步完成則是令人滿意的事情。不過，對自適應(yīng)系統(tǒng)設(shè)計者來說，這有點(diǎn)太快了。分析數(shù)值時，一般是給定了所要搜索的函數(shù)，然而許多自適應(yīng)系統(tǒng)在實際應(yīng)用時，性能表面是不可知的，必須對數(shù)據(jù)進(jìn)行隨機(jī)輸入來估計或者測量。因此，最速下降法有了廣泛的應(yīng)用。

4 結(jié)語

在工程應(yīng)用中，牛頓法很難實現(xiàn)，但其數(shù)學(xué)意義十分重要。目前，在工程中已實現(xiàn)最速下降法，而且這種方法被證實是具有廣泛實際應(yīng)用價值的。此方法權(quán)向量總是在性能表面的負(fù)梯度方向上改變。原因是，只有在權(quán)向量坐標(biāo)位于性能表面的主軸上時，梯度的負(fù)方向才指向最小點(diǎn)。

參考文獻(xiàn)

[1] Bernard Widrow，Samuel D.Stearns 著；王永德，龍憲惠 譯.自適應(yīng)信號處理[M].北京：機(jī)械工業(yè)出版社，2008.

[2] 袁亞湘，孫文瑜.最優(yōu)化理論與方法[M].北京：科學(xué)出版社，1997.

[3] 最優(yōu)化方法講義.