田奮銘，劉 飛

(1.江南大學(xué) 輕工過(guò)程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室，江蘇 無(wú)錫 214122；2.江南大學(xué) 自動(dòng)化研究所，江蘇 無(wú)錫 214122)

0 引言

非線性連續(xù)系統(tǒng)的控制問(wèn)題一直是現(xiàn)代控制理論的基本問(wèn)題之一。針對(duì)非線性連續(xù)系統(tǒng)的控制問(wèn)題有眾多針對(duì)性的控制方法，如：PID控制[1-2]、自適應(yīng)控制[3-5]、滑?？刂芠6-7]、以及多種方法綜合應(yīng)用[8-9]。然而，對(duì)于大多數(shù)受控的系統(tǒng)，在控制過(guò)程中必然要考慮狀態(tài)約束，以防止系統(tǒng)不穩(wěn)定問(wèn)題的發(fā)生。以路徑跟蹤任務(wù)中的車輛控制為例，除了考慮跟蹤性能外，還必須將車輛的某些狀態(tài)限制在穩(wěn)定區(qū)域內(nèi)。

針對(duì)帶有狀態(tài)約束系統(tǒng)的控制問(wèn)題目前已經(jīng)產(chǎn)生多種基本理論框架[10-15]。文獻(xiàn)[12]針對(duì)帶有時(shí)變狀態(tài)約束的非線性純反饋系統(tǒng)的跟蹤控制問(wèn)題，利用矩陣變換以及反步法展開(kāi)討論，最終實(shí)現(xiàn)軌跡跟蹤控制并且系統(tǒng)的狀態(tài)始終滿足狀態(tài)約束。文獻(xiàn)[13]針對(duì)帶有時(shí)不變對(duì)稱狀態(tài)約束系統(tǒng)的代價(jià)函數(shù)優(yōu)化問(wèn)題，通過(guò)將狀態(tài)約束轉(zhuǎn)化為障礙函數(shù)并入代價(jià)函數(shù)，使用神經(jīng)網(wǎng)絡(luò)逼近技術(shù)，基于自適應(yīng)動(dòng)態(tài)規(guī)劃算法，在系統(tǒng)模型完全已知的情況下實(shí)現(xiàn)最優(yōu)控制。文獻(xiàn)[14]基于矩陣變換以及自適應(yīng)評(píng)價(jià)設(shè)計(jì)算法，利用Critic-Actor神經(jīng)網(wǎng)絡(luò)，有效的解決了非線性純反饋連續(xù)系統(tǒng)的“多人博弈”最優(yōu)控制問(wèn)題。模型預(yù)測(cè)控制(MPC)方法作為解決帶有狀態(tài)約束的優(yōu)化控制問(wèn)題最常用的方法，實(shí)際上也是利用障礙函數(shù)法，將狀態(tài)約束并入代價(jià)函數(shù)中。盡管上述方法都能解決帶有狀態(tài)約束的優(yōu)化控制問(wèn)題，但都是基于系統(tǒng)動(dòng)力學(xué)完全已知或者利用辨識(shí)手段獲得動(dòng)力學(xué)信息展開(kāi)討論。然而，如今的控制系統(tǒng)大多呈現(xiàn)強(qiáng)耦合、強(qiáng)非線性的特點(diǎn)，如航天航空等，精確的動(dòng)力學(xué)大多難以獲得，直接或間接地阻礙了帶有狀態(tài)約束系統(tǒng)的控制問(wèn)題的研究。以機(jī)電伺服系統(tǒng)為例，機(jī)電伺服系統(tǒng)是一個(gè)多變量、強(qiáng)耦合的系統(tǒng)，系統(tǒng)的參數(shù)易受系統(tǒng)所處環(huán)境的影響，在考慮伺服系統(tǒng)跟蹤控制問(wèn)題的同時(shí)，也必須考慮狀態(tài)約束問(wèn)題[16]，因此考慮帶狀態(tài)約束且系統(tǒng)具有不確定性的最優(yōu)控制問(wèn)題十分必要。這里的不確定性主要指系統(tǒng)動(dòng)力學(xué)部分未知、系統(tǒng)動(dòng)力學(xué)全部未知、系統(tǒng)某些時(shí)變參數(shù)變化規(guī)律未知等。

近年來(lái)，積分強(qiáng)化學(xué)習(xí)(IRL)算法成為實(shí)現(xiàn)仿射非線性系統(tǒng)最優(yōu)控制問(wèn)題的重要方法之一[17-23]。該方法起源于動(dòng)態(tài)規(guī)劃，結(jié)合了強(qiáng)化學(xué)習(xí)理論以及伸進(jìn)網(wǎng)絡(luò)技術(shù)，利用系統(tǒng)的輸入輸出數(shù)據(jù)，結(jié)合在線策略迭代的思想，通過(guò)交替執(zhí)行策略評(píng)估以及策略改進(jìn)，最終在部分動(dòng)力學(xué)未知的情況下實(shí)現(xiàn)最優(yōu)控制，因此受到廣泛學(xué)者的青睞。針對(duì)部分動(dòng)力學(xué)未知的仿射非線性系統(tǒng)的最優(yōu)控制問(wèn)題，文獻(xiàn)[18]提出積分強(qiáng)化學(xué)習(xí)算法。文獻(xiàn)[19]在文獻(xiàn)[18]的基礎(chǔ)上考慮了輸入受限的系統(tǒng)，并且在使用梯度下降法求解權(quán)重時(shí)采用了經(jīng)驗(yàn)回放技術(shù)，進(jìn)一步提高了算法的精度。針對(duì)系統(tǒng)動(dòng)力學(xué)完全未知的情況，基于最小二乘法以及離線策略迭代技術(shù)，結(jié)合積分強(qiáng)化學(xué)習(xí)算法，成功實(shí)現(xiàn)最優(yōu)控制[20]?？紤]到積分強(qiáng)化學(xué)習(xí)算法是一種時(shí)間觸發(fā)型算法，需要頻繁進(jìn)行策略評(píng)估以及策略更新運(yùn)算，同時(shí)更新控制策略，為了降低控制策略的更新頻率，將事件觸發(fā)機(jī)制與積分強(qiáng)化學(xué)習(xí)算法結(jié)合起來(lái)，同時(shí)考慮穩(wěn)態(tài)非零問(wèn)題(當(dāng)系統(tǒng)處于穩(wěn)態(tài)時(shí)，控制策略與狀態(tài)不為零)，最終實(shí)現(xiàn)最優(yōu)控制[23]。然而，據(jù)作者所知，利用積分強(qiáng)化學(xué)習(xí)算法解決帶有狀態(tài)約束的部分動(dòng)力學(xué)未知系統(tǒng)的最優(yōu)控制問(wèn)題尚未得到廣泛關(guān)注。

為了克服現(xiàn)存控制方法存在的局限性，最終實(shí)現(xiàn)最優(yōu)控制。本文針對(duì)帶有全狀態(tài)約束且部分動(dòng)力學(xué)未知系統(tǒng)的最優(yōu)控制問(wèn)題，基于IRL控制理論，提出一種帶狀態(tài)約束的事件觸發(fā)積分強(qiáng)化學(xué)習(xí)算法。利用矩陣變換將帶有約束的系統(tǒng)轉(zhuǎn)化為無(wú)約束系統(tǒng)，基于轉(zhuǎn)換之后系統(tǒng)的狀態(tài)，利用IRL算法，通過(guò)交替執(zhí)行策略評(píng)估以及策略改進(jìn)，實(shí)現(xiàn)最優(yōu)控制，從而避免對(duì)原系統(tǒng)未知?jiǎng)討B(tài)的估計(jì)。此外，在控制過(guò)程中引入事件觸發(fā)機(jī)制，以降低控制策略的更新頻率，節(jié)約系統(tǒng)內(nèi)存資源。

1 問(wèn)題描述

考慮如下仿射非線性連續(xù)系統(tǒng)：

(1)

其中：x=[x1， ，xn]T∈Rn是系統(tǒng)可觀測(cè)的狀態(tài)，Rn表示n維歐幾里得空間，u=[u1， ，um]T∈Rm是控制策略，f(x)∈Rn×1是未知的漂移動(dòng)力學(xué)，g(x)∈Rn×m是已知的輸入動(dòng)力學(xué)。假設(shè)控制系統(tǒng)(1)是穩(wěn)定的。

定義系統(tǒng)(1)的代價(jià)函數(shù)，如下所述。

(2)

本文的控制目標(biāo)是設(shè)計(jì)容許的控制策略u(píng)使得代價(jià)函數(shù)最優(yōu)，即：

(3)

并且u是有界的(不為無(wú)窮大)。同時(shí)系統(tǒng)狀態(tài)xi(i=1， ，n)始終是有界的，即|xi|0。

2 控制策略設(shè)計(jì)

控制策略設(shè)計(jì)主要包括五部分。首先利用矩陣變換技術(shù)將帶有約束的仿射非線性連續(xù)系統(tǒng)轉(zhuǎn)化為不含約束的仿射非線性連續(xù)系統(tǒng)，以克服狀態(tài)約束控制系統(tǒng)的影響；其次介紹基本的積分強(qiáng)化學(xué)習(xí)算法；再次考慮到積分強(qiáng)化學(xué)習(xí)算法頻繁策略更新，為減少計(jì)算量和提高控制效率，引入事件觸發(fā)機(jī)制，基于李雅普諾夫穩(wěn)定性定理，設(shè)計(jì)了事件觸發(fā)條件，以減少控制策略的更新頻率；然后利用神經(jīng)網(wǎng)絡(luò)逼近值函數(shù)的方法，準(zhǔn)確地估計(jì)值函數(shù)；最后給出帶狀態(tài)約束的事件觸發(fā)積分強(qiáng)化學(xué)習(xí)算法的流程。

2.1 系統(tǒng)轉(zhuǎn)換

本節(jié)利用系統(tǒng)轉(zhuǎn)換技術(shù)將帶有狀態(tài)約束的仿射非線性連續(xù)系統(tǒng)轉(zhuǎn)化為不含約束的仿射非線性連續(xù)系統(tǒng)[12]。

在進(jìn)行系統(tǒng)轉(zhuǎn)換之前，首先，定義一組虛擬狀態(tài)變量z=[z1， ，zn]T?Rn，并且滿足如下等式條件：

(4)

其中：ai為xi的邊界值，i=1，2n。注意到，zi(xi)具有如下性質(zhì)：首先，zi(xi)是單調(diào)遞增的函數(shù)；其次，zi(0)=0；最后，若xi趨向于-ai時(shí)，zi趨向于負(fù)無(wú)窮，若xi趨向于ai時(shí)，zi趨向于正無(wú)窮。

引理1[12]：對(duì)于任意初始狀態(tài)，如果系統(tǒng)的初始狀態(tài)滿足狀態(tài)約束，利用式(4)得到轉(zhuǎn)換之后的系統(tǒng)，若設(shè)計(jì)控制策略使得轉(zhuǎn)換之后系統(tǒng)的狀態(tài)有界，并將控制策略作用于實(shí)際系統(tǒng)，則系統(tǒng)的實(shí)際狀態(tài)滿足狀態(tài)約束。

對(duì)式(4)進(jìn)行關(guān)于時(shí)間的導(dǎo)數(shù)求解，將得到一個(gè)虛擬系統(tǒng)，并且虛擬系統(tǒng)依然保持仿射非線性的形式。虛擬系統(tǒng)由下式給出：

(5)

其中：bGG與bG是正實(shí)數(shù)。

通過(guò)將狀態(tài)約束邊界并入原始仿射非線性連續(xù)系統(tǒng)(1)，將得到一個(gè)新的無(wú)約束系統(tǒng)(5)。此外，如果轉(zhuǎn)換之后的虛擬系統(tǒng)(5)的穩(wěn)態(tài)值趨向于零，則系統(tǒng)的實(shí)際狀態(tài)也趨向于零，那么，轉(zhuǎn)換前后的控制系統(tǒng)具有相同的漸近穩(wěn)定性。接下來(lái)，只需專注于對(duì)虛擬系統(tǒng)(5)設(shè)計(jì)控制策略使得代價(jià)函數(shù)最優(yōu)即可。

2.2 積分強(qiáng)化學(xué)習(xí)算法

本節(jié)主要利用積分強(qiáng)化學(xué)習(xí)算法求解具有部分動(dòng)力學(xué)未知的虛擬系統(tǒng)(5)的最優(yōu)控制問(wèn)題。定義虛擬系統(tǒng)的代價(jià)函數(shù)如下所示：

(6)

對(duì)于任意時(shí)間間隔Δt>0，式(6)可以重寫為：

(7)

上式也被稱為積分強(qiáng)化學(xué)習(xí)-貝爾曼(IRL-Belleman)方程，是積分強(qiáng)化學(xué)習(xí)算法的核心。如果V(zt)是可微的，則：

(8)

根據(jù)式(5)以及式(8)，哈密頓函數(shù)定義為：

H(z，u，▽V(z))=▽VT(z)(F(z)+G(z)u)-

ρV(z)+zTQz+uTRu

(9)

根據(jù)貝爾曼最優(yōu)原理，對(duì)于最優(yōu)的代價(jià)函數(shù)V*(z)，哈密頓函數(shù)滿足：

(10)

令哈密頓函數(shù)關(guān)于控制策略的一階偏導(dǎo)數(shù)為零，即可獲得最優(yōu)控制策略。最優(yōu)控制策略如下所示：

u*(z)=-0.5R-1GT(z)▽V*(z)

(11)

結(jié)合式(7)，此時(shí)最優(yōu)代價(jià)函數(shù)V*(z)滿足：

(12)

基于前面所述，積分強(qiáng)化學(xué)習(xí)中最關(guān)鍵的兩步(策略評(píng)估以及策略改進(jìn))描述如下。

策略評(píng)估：

(13)

策略改進(jìn)：

ui+1(z)=-0.5R-1GT(z)▽Vi(z)

(14)

其中：i為策略迭代指數(shù)。積分強(qiáng)化學(xué)習(xí)算法描述如下：首先給定初始可許的控制策略u(píng)0，通過(guò)交替執(zhí)行策略評(píng)估(13)以及策略改進(jìn)(14)，最終控制策略以及代價(jià)函數(shù)將收斂于最優(yōu)值。

對(duì)于積分強(qiáng)化學(xué)習(xí)算法來(lái)說(shuō)，控制器無(wú)需時(shí)刻更新控制策略，在t時(shí)刻采集系統(tǒng)狀態(tài)信息，利用(13)以及(14)分別進(jìn)行策略評(píng)估以及策略改進(jìn)，然后將改進(jìn)的控制策略作用于系統(tǒng)，直至t+Δt時(shí)刻，因此積分強(qiáng)化學(xué)習(xí)算法是一種時(shí)間觸發(fā)型算法。對(duì)于Δt的選取，現(xiàn)有的文獻(xiàn)一般都會(huì)選擇固定值，每隔Δt，進(jìn)行一次策略改進(jìn)。若系統(tǒng)處于穩(wěn)態(tài)，仍然需要不斷進(jìn)行策略評(píng)估以及策略改進(jìn)的計(jì)算。因此，下文將結(jié)合事件觸發(fā)機(jī)制確定Δt。

2.3 事件觸發(fā)機(jī)制

本節(jié)主要利用李雅普諾夫函數(shù)確定事件觸發(fā)條件，從而確定Δt。在分析之前，給出如下條件。u(z)滿足利普希茨連續(xù)條件，即：

(15)

(16)

選取V(z)作為李雅普諾夫函數(shù)，則：

(17)

結(jié)合式(10)以及式(14)可推導(dǎo)出：

▽VT(z)(F(z)+G(z)u(z))=

ρV(z)-zTQz-u(z)TRu(z)，▽VT(z)G(z)=-2uT(z)R

故，式(17)進(jìn)一步推導(dǎo)為：

(18)

(19)

綜上，如果選擇事件觸發(fā)條件：

(20)

2.4 神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)

一般來(lái)說(shuō)，直接求解V(z)是不容易的。由逼近定理知，若V(z)是連續(xù)的、平滑的以及可微的，則V(z)及其關(guān)于狀態(tài)的導(dǎo)數(shù)▽V(z)可以用神經(jīng)網(wǎng)絡(luò)近似，即：

V(z)=WTψ(z)+ε(z)

(21a)

▽V(z)=▽?duì)譚(z)W+▽?duì)?z)

(21b)

上述網(wǎng)絡(luò)也被稱為評(píng)論神經(jīng)網(wǎng)絡(luò)，主要由三層組成：輸入層、隱藏層以及輸出層。簡(jiǎn)單起見(jiàn)，選擇單隱藏層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并將輸入層到隱藏層的權(quán)重全部置為1，這意味著隱藏層的輸入即為輸入層的輸入。ψ(z)∈Rl×1是神經(jīng)元的激活函數(shù)組成的向量，▽?duì)?z)為φ(z)關(guān)于狀態(tài)z的導(dǎo)數(shù)，l為隱藏層神經(jīng)元的數(shù)量。W∈Rl×1是隱藏層至輸出層的常參數(shù)組成的權(quán)重向量。ε(z)為評(píng)論神經(jīng)網(wǎng)絡(luò)的近似誤差，▽?duì)?z)為ε(z)關(guān)于狀態(tài)z的導(dǎo)數(shù)。

對(duì)于求解非線性程度很高的函數(shù)來(lái)說(shuō)，現(xiàn)有的文獻(xiàn)一般都會(huì)使用神經(jīng)網(wǎng)絡(luò)逼近定理來(lái)求解，但是如何設(shè)定神經(jīng)元的數(shù)量以及選擇合適的激活函數(shù)仍然是一個(gè)懸而未決的問(wèn)題。針對(duì)上述情況，已經(jīng)產(chǎn)生許多合適的激活函數(shù)，例如雙曲正切函數(shù)和徑向基函數(shù)。除此之外，雖然未知函數(shù)可以用神經(jīng)網(wǎng)絡(luò)來(lái)逼近，但結(jié)果未必滿足未知函數(shù)的梯度，這主要是由初始權(quán)重決定的，以上只能依靠設(shè)計(jì)師的反復(fù)設(shè)計(jì)以及經(jīng)驗(yàn)。由式(26)知，▽V(z)對(duì)于確定控制策略來(lái)說(shuō)是必要的。

利用式(21a)逼近式(13)的解，則式(10)可以重寫為：

εb=p(t)+Wi，TΔψ(zt+Δt)

(22)

然而，在[t，t+Δt)時(shí)間段內(nèi)理想權(quán)重Wi是未知的。在忽略近似誤差的情況下，式(21a)重寫為：

(23)

(24)

(25)

利用(14)，則基于事件觸發(fā)控制的策略更新調(diào)整為：

(26)

2.5 算法流程

帶狀態(tài)約束的事件觸發(fā)積分強(qiáng)化學(xué)習(xí)算法歸納描述如下。

第一步：初始化，選擇合適的初始控制策略u(píng)0、評(píng)論神經(jīng)網(wǎng)絡(luò)的初始權(quán)重W0、權(quán)重收斂誤差εw、權(quán)重學(xué)習(xí)率α、神經(jīng)元的數(shù)量以及各自的激活函數(shù)；

第二步：利用式(5)計(jì)算G(z)；

第三步：i=0；

第四步：結(jié)合式(20)，確定事件觸發(fā)條件ei(t)；

第五步：將ui作用于控制系統(tǒng)，并且實(shí)時(shí)采集數(shù)據(jù)，并利用式(4)計(jì)算虛擬狀態(tài)z，直至滿足事件觸發(fā)條件；

3 穩(wěn)定性分析

本節(jié)利用李雅普諾夫函數(shù)分析在事件觸發(fā)條件下控制系統(tǒng)的穩(wěn)定性。首先給出如下定理。

定理1：考慮由非線性系統(tǒng)(1)轉(zhuǎn)換之后的虛擬系統(tǒng)(5)、權(quán)重更新律以及策略更新律分別如式(24)和式(26)所示，如果選擇事件觸發(fā)條件為式(20)，則權(quán)重誤差動(dòng)態(tài)是有界的，并且系統(tǒng)是穩(wěn)定的。

證明：定義李雅普諾夫函數(shù)為：

L(t)=L1(t)+L2(t)+L3(t)

(27)

為了便于分析，下面分兩種情況來(lái)討論。

(28)

利用Young不等式和Cauchy-schwarz不等式，式(28)進(jìn)一步推導(dǎo)為：

(29)

(30)

進(jìn)一步，式(30)推導(dǎo)為：

(31)

(32)

(33)

接下來(lái)分析L1(t)，

(34)

然后，討論L3(t)，

(35)

綜上所述，

(36)

若權(quán)重誤差滿足：

情形二：在事件觸發(fā)的情況下，考慮間斷點(diǎn)處的穩(wěn)定性。

(37)

4 系統(tǒng)應(yīng)用

為了驗(yàn)證帶有狀態(tài)約束的事件觸發(fā)積分強(qiáng)化學(xué)習(xí)算法有效性，本節(jié)利用單連桿機(jī)械臂的仿射非線性連續(xù)系統(tǒng)進(jìn)行仿真[12]，其動(dòng)態(tài)系統(tǒng)描述如下：

本實(shí)驗(yàn)的控制目標(biāo)是設(shè)計(jì)控制策略u(píng)使得二次型代價(jià)函數(shù)最優(yōu)，并且在控制過(guò)程中系統(tǒng)的狀態(tài)滿足約束，即|xi|<1，i=1，2。二次型代價(jià)函數(shù)如下所示。

其中：ρ=0.9為折扣因子，r(z，u)=zTQz+uTRu，R=10，Q=diag(0.2，0.2)。

為了克服狀態(tài)約束，首先定義一組虛擬狀態(tài)z=[z1，z2]T用于系統(tǒng)轉(zhuǎn)換，轉(zhuǎn)換之后的系統(tǒng)依然是仿射非線性連續(xù)系統(tǒng)，利用式(5)，則G(z)表述：為：

此外，F(xiàn)(z)是未知的。轉(zhuǎn)換之后的虛擬狀態(tài)可以用(4)計(jì)算獲得。定義轉(zhuǎn)換之后系統(tǒng)的代價(jià)函數(shù)為：

選取Critic神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為2-8-1，其中：神經(jīng)網(wǎng)絡(luò)的輸入變量的個(gè)數(shù)為2，分別是系統(tǒng)經(jīng)轉(zhuǎn)換之后的虛擬狀態(tài)z1和z2。輸入層至隱藏層的權(quán)重設(shè)置為1。選擇單隱藏層神經(jīng)網(wǎng)絡(luò)，并且隱藏層的神經(jīng)元的數(shù)量為8。輸出層神經(jīng)元的數(shù)量為1，代表代價(jià)函數(shù)的值。隱藏層神經(jīng)元代表的激活函數(shù)組成的向量用ψ(z)表示，為：

仿真過(guò)程中參數(shù)設(shè)置：初始控制策略u(píng)0=-1、評(píng)論神經(jīng)網(wǎng)絡(luò)權(quán)重收斂誤差精度εw=0.005、權(quán)重學(xué)習(xí)率為α=0.9。評(píng)論神經(jīng)網(wǎng)絡(luò)的初始權(quán)重：

W0=[8.67，-0.15，-5.87，6，0.8，-1.14，1.72，-2.23]T

仿真結(jié)果以及分析如下所示。

圖1為虛擬狀態(tài)的運(yùn)行軌跡，其中，實(shí)線代表虛擬狀態(tài)z1，虛線代表虛擬狀態(tài)z2。由圖所知，虛擬狀態(tài)在整個(gè)控制過(guò)程中始終是有界的(不為無(wú)窮大)，故系統(tǒng)的實(shí)際運(yùn)行狀態(tài)必然滿足約束。

圖1 虛擬狀態(tài)曲線

圖2與圖3為考慮狀態(tài)約束與未考慮狀態(tài)約束的對(duì)比圖，虛線代表不考慮狀態(tài)約束的運(yùn)行軌跡，實(shí)線代表考慮狀態(tài)約束的運(yùn)行軌跡。兩種情況都是在事件觸發(fā)機(jī)制下完成的，并且都選擇相同初始參數(shù)，可以避免因參數(shù)不同而對(duì)系統(tǒng)狀態(tài)軌跡的影響。由圖知，相較于未考慮狀態(tài)約束的情況，本文所提算法在整個(gè)控制過(guò)程中系統(tǒng)狀態(tài)均未超過(guò)事先設(shè)置的狀態(tài)約束，并且最終系統(tǒng)的狀態(tài)收斂到穩(wěn)態(tài)點(diǎn)附近，由此判定該算法能夠解決帶有狀態(tài)約束的控制問(wèn)題。結(jié)合圖1，虛擬狀態(tài)以及實(shí)際狀態(tài)都收斂到零點(diǎn)附近，因此轉(zhuǎn)換前后的系統(tǒng)具備相同的漸近穩(wěn)定性。此外，注意到由于考慮了狀態(tài)約束，能使系統(tǒng)較快的收斂到穩(wěn)態(tài)點(diǎn)附近。大約經(jīng)過(guò)5 s之后，系統(tǒng)的狀態(tài)全部收斂于零。

圖2 x1軌跡對(duì)比

圖3 x2軌跡對(duì)比

圖4為帶狀態(tài)約束的事件出發(fā)積分強(qiáng)化學(xué)習(xí)控制算法在整個(gè)控制過(guò)程中施加的控制策略。在經(jīng)過(guò)大約5 s之后，控制策略也收斂于零。對(duì)于二次型代價(jià)函數(shù)，理想情況，最優(yōu)代價(jià)函數(shù)的對(duì)應(yīng)的穩(wěn)態(tài)值為零。結(jié)合圖2與圖3，5 s之后代價(jià)函數(shù)的值一直穩(wěn)定在0的較小鄰域內(nèi)，說(shuō)明所提算法是可行的。此外，注意到圖4中某個(gè)時(shí)刻控制策略顯著增大是由于此時(shí)刻實(shí)際狀態(tài)接近于邊界但并未超過(guò)邊界引起的。

圖4 控制輸入軌跡

事件觸發(fā)時(shí)刻以及事件觸發(fā)條件如圖5所示，其中橫軸代表觸發(fā)時(shí)刻，縱軸代表觸發(fā)條件誤差，一旦超過(guò)這個(gè)誤差，更新控制策略。由橫軸觸發(fā)時(shí)刻的間隔以及圖4更新控制策略的時(shí)刻知，該算法并非是周期觸發(fā)。圖6是評(píng)論神經(jīng)網(wǎng)絡(luò)部分權(quán)重的收斂曲線。由圖知，最終權(quán)重將收斂于某一值附近。

圖5 事件觸發(fā)時(shí)刻以及觸發(fā)誤差

圖6 評(píng)論神經(jīng)網(wǎng)絡(luò)部分權(quán)值軌跡

5 結(jié)束語(yǔ)

本文基于事件觸發(fā)機(jī)制的積分強(qiáng)化學(xué)習(xí)算法，設(shè)計(jì)仿射非線性連續(xù)系統(tǒng)的最優(yōu)控制策略，將系統(tǒng)轉(zhuǎn)換、事件觸發(fā)機(jī)制、積分強(qiáng)化學(xué)習(xí)算法緊密地結(jié)合起來(lái)，利用李雅普諾夫函數(shù)給出滿足系統(tǒng)穩(wěn)定運(yùn)行的事件觸發(fā)條件。在實(shí)際工程系統(tǒng)中，由于系統(tǒng)的動(dòng)力學(xué)大多難以獲得并且受狀態(tài)約束的影響，使本文算法更具普遍性。最后，針對(duì)單連桿機(jī)械臂的仿真結(jié)果表明所提方法的有效性。