樊實(shí)

摘 要：隨機(jī)控制不光有廣闊的應(yīng)用前景，而且是富有挑戰(zhàn)性的一個前沿研究課題。自動控制理論的各種傳統(tǒng)模型已不能完全滿足要求，應(yīng)向隨機(jī)、非線性、分布參數(shù)等模型應(yīng)用更廣的范圍去擴(kuò)展。實(shí)際上系統(tǒng)很少能夠完全是線性的。因此，這種系統(tǒng)中使用的非線性濾波器和非線性的信號處理器，可同時辨識系統(tǒng)的自適應(yīng)隨機(jī)控制方面和未知參數(shù)就成了重要的前沿研究課題。該文主要介紹了這一重要的研究課題，分析了Brown運(yùn)動和Markov過程。

關(guān)鍵詞：線性隨機(jī)系統(tǒng) M-矩陣 Brown運(yùn)動 Markov鏈

中圖分類號：TP273 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2015）10（c）-0199-03

20世紀(jì)初期， 產(chǎn)生隨機(jī)過程理論，當(dāng)時是為了適應(yīng)多個學(xué)科生物學(xué)、物理學(xué)、管理科學(xué)、通訊與控制等不同方面的需求發(fā)展起來的。1K. It（伊藤清）961年論隨機(jī)微分方程，創(chuàng)立量大理論隨機(jī)微分和隨機(jī)積分方程。

Kolmogorov和Wiener的濾波和預(yù)測理論，使從信號和噪聲的觀測中抽取有用信號，這是隨機(jī)控制理論的一個很有用的重要基礎(chǔ)。但由于Wiener-Kolmogorov的理論需要求一難求解的積分方程——Wiener-Hopf方程，所以實(shí)際上沒有得到廣泛應(yīng)用。

1960年R. S. Bucy和Kalman提出了求解濾波和預(yù)測的相關(guān)的遞歸方法，對濾波和預(yù)測做了巨大特殊貢獻(xiàn)。在求解隨機(jī)控制問題中，依賴于動態(tài)的方法。1961年Tou（陶）和Joseph（約瑟夫）提出了相關(guān)分離定理，根據(jù)分離定理，可把線性隨機(jī)控制分解成兩部分求解，其中一部分是求解優(yōu)化中的最優(yōu)控制策略，而另一個部分就是常見的狀態(tài)估計(jì)器。確定性最優(yōu)控制策略與隨機(jī)最優(yōu)控制策略是相同的。

1 Brown運(yùn)動和Markov過程

Brown運(yùn)動是迄今為止性質(zhì)最豐富多彩了解得最清楚的隨機(jī)過程。在今天，Brown運(yùn)動及其推廣已不僅是花粉粒子運(yùn)動的模型，它已經(jīng)廣泛地出現(xiàn)在各種科學(xué)領(lǐng)域中。例如：它描述了像通訊噪聲、熱電子運(yùn)動、市場價格波動的隨機(jī)干擾等等現(xiàn)象，它的軌道的性質(zhì)也是分析家注意的對象。同時，由于Brown運(yùn)動與微分方程等有密切的聯(lián)系，它又成為聯(lián)系分析與概率論的重要渠道。

Markov過程是一類重要的隨機(jī)過程，它的原始模型是Markov鏈，由俄國數(shù)學(xué)家A. A. Markov于1906年提出。以后，Kolmogorov，F(xiàn)eller，Doob等人發(fā)展了這一理論。粗略來說，所謂Markov性可用下述直觀語言來刻畫：在已知系統(tǒng)當(dāng)前時刻t的狀態(tài)Xt（現(xiàn)在）的條件下，它未來的演變（將來）不依賴于它以往（過去）的演變，簡言之，在已知“現(xiàn)在”的條件下，“將來”與“過去”無關(guān)。具有這種特性的隨機(jī)過程稱為Markov過程。 荷花池中一只青蛙的跳躍是Markov過程的一個形象化的例子[5]。

對于Markov過程，其所有可能取值的全體，稱為過程的狀態(tài)空間，其中的每一個元素，即所可能取得的值稱為狀態(tài)。若狀態(tài)空間是有限的，就稱為有限（狀態(tài)）Markov鏈。該文主要應(yīng)用的是連續(xù)參數(shù)有限（狀態(tài)）Markov鏈。

定義 2.1.1[6]

如果對所有≥0和任何整數(shù)，0≤≤s。隨機(jī)過程≥0}滿足：

（1）

則稱是連續(xù)時間Markov鏈。

（1）式所表示的就是Markov性。

對于Markov鏈，描述它概率性質(zhì)最重要的是它在m時刻的一步轉(zhuǎn)移概率：

它表示在取值i的條件之下于下一時刻轉(zhuǎn)移到j(luò)的概率。 由于概率是非負(fù)的，而且，過程總要轉(zhuǎn)移到某一狀態(tài)去，所以顯然，應(yīng)具有下列性質(zhì)：

≥0，

其中：I為Markov鏈的狀態(tài)空間。

當(dāng)然，可以把過程留在原地也看成是一種“轉(zhuǎn)移”，即從i轉(zhuǎn)移到i。稱為Markov鏈的轉(zhuǎn)移概率矩陣。矩陣的第i+1行就是給定時，的條件概率分布。若Markov鏈的狀態(tài)總數(shù)是有限的，則就是有限階方陣，其階數(shù)正好是狀態(tài)空間中狀態(tài)的總數(shù)。

一般還可以定義時刻m的k步轉(zhuǎn)移概率：

≥1

同樣有：

≥0

通常還規(guī)定：

關(guān)于k步轉(zhuǎn)移概率，還有如下的Chapman - Kolmogorov方程：

隨機(jī)分析學(xué)，按照K. It的說法，是“增添了隨機(jī)的有趣的分析學(xué)”。他在1987年被授予Wolf獎時，對他貢獻(xiàn)的評價做出了高度評價：使他對Markov樣本的無窮小理論的發(fā)展有了一個完全的重新的認(rèn)識。他給出的隨機(jī)分析就如同物理中的牛頓定律，提供了理解自然現(xiàn)象中的隱著的隨機(jī)和方程之間的直接的對應(yīng)過程，主要是對布朗運(yùn)動的函數(shù)的積分以及微分運(yùn)算，由此而得到的理論是近現(xiàn)代純粹和應(yīng)用概率論的堅(jiān)強(qiáng)基石。

設(shè)標(biāo)準(zhǔn)Brown運(yùn)動≥0}是定義在概率空間上的隨機(jī)過程?！?}是一族單調(diào)遞增的F的子域，即：

則是F的子域，且對≤s≤t，關(guān)于Ft可測，并且有：

及：

假設(shè) 2.2.1[7]

設(shè)隨機(jī)過程≥0}，對于T> 0滿足以下條件：

（1）關(guān)于可測；

（2）≥0，關(guān)于Ft可測，即

≤；

（3），≥0

定義 2.2.2[7]

設(shè)≥0}為標(biāo)準(zhǔn)Brown運(yùn)動，≥0}滿足假設(shè)2.2.1. 任取0≤≤t，令

1≤k≤，，若和式：

當(dāng)時，In均方極限[注]存在，則稱其極限：

為≥0}關(guān)于Brown運(yùn)動≥0}的It積分。

所謂It微分方程就是指帶有白噪聲的微分方程。

在It積分定義的基礎(chǔ)上，考慮如下隨機(jī)微分方程：

（2）

由前所述，如果形式上記：

則即為白噪聲，這時方程（2）可以形式地寫為：

如果沒有這一項(xiàng)，則可視為普通的常微分方程；增加了這一項(xiàng)，則表示引入了隨機(jī)因素，于是不能再是普通的函數(shù)，必須是隨機(jī)過程了。

為了避開的奇異性質(zhì)，代替隨機(jī)微分方程，考慮如下It積分方程：

（3）

其中右邊第一個積分是均方積分；第二個積分是It隨機(jī)積分。 （2）式和（3）式可視為等價。

隨機(jī)分析使得那些在微分幾何和分析中通常只對全局光滑函數(shù)有意義的重要運(yùn)算能推廣到一些極不光滑的函數(shù)上去。

2 結(jié)語

總之，最近幾十年來，隨機(jī)控制理論與方法在很多應(yīng)用領(lǐng)域已有廣泛的應(yīng)用。在某些重要工業(yè)的批量加工過程中，在阿波羅飛船的導(dǎo)航控制系統(tǒng)中都已經(jīng)使用了最小方差方法控制。又如，隨機(jī)控制理論已用于流量控制網(wǎng)絡(luò)最優(yōu)控制的模擬和實(shí)踐，水力電站的水庫管理就是成功的案例。隨機(jī)控制也已經(jīng)在某些經(jīng)濟(jì)問題的模型分析方法上成功應(yīng)用，在風(fēng)險(xiǎn)投資，有價證券管理等的判決。當(dāng)把前沿的隨機(jī)控制理論與物理實(shí)際背景仿真模型結(jié)合起來，把排隊(duì)理論與擾動分析也結(jié)合起來，這些用于算法設(shè)計(jì)的新工具新思路就使得通信及制造的網(wǎng)絡(luò)優(yōu)化方面發(fā)生了革命。

參考文獻(xiàn)

[1] 列爾涅爾，著.控制論基礎(chǔ)[M].劉定一，譯.北京：科學(xué)出版社，1981：2-3.

[2] 段廣仁.線性系統(tǒng)理論[M].哈爾濱：哈爾濱工業(yè)大學(xué)出版社，1998：1-3.

[3] 郭尚來.隨機(jī)控制[M].北京：清華大學(xué)出版社，1999.

[4] 澤夫·司曲斯.隨機(jī)微分方程理論及其應(yīng)用[M].上海：上?？茖W(xué)技術(shù)文獻(xiàn)出版社，1986.

[5] 候振挺.馬爾可夫過程的Q-矩陣問題[M].湖南：湖南科學(xué)技術(shù)出版社，1994.

[6] 方兆本，繆柏其.隨機(jī)過程[M].合肥：中國科學(xué)技術(shù)大學(xué)出版社，2002：58.

[7] 林元烈.應(yīng)用隨機(jī)過程[M].北京：清華大學(xué)出版社，2002.

[8] 復(fù)旦大學(xué)編.概率論 第三冊 隨即過程[M].人民教育出版社，1981.

[9] X.X.Liao， X.Mao. Exponential Stability of Stochastic Delay Interval System[J].Syst. Control Lett.，2000（40）： 171-181.

[10] Y.Ji and H.J.Chizeck. Controllability， stabilizability and continuous-time Markovian jump linear quadratic control[J].IEEE Trans. Automat.Control.，1990（34）：777-888.