具有Markovian Switching的线性随机系统

摘 要：随机控制不光有广阔的应用前景，而且是富有挑战性的一个前沿研究课题。自动控制理论的各种传统模型已不能完全满足要求，应向随机、非线性、分布参数等模型应用更广的范围去扩展。实际上系统很少能够完全是线性的。因此，这种系统中使用的非线性滤波器和非线性的信号处理器，可同时辨识系统的自适应随机控制方面和未知参数就成了重要的前沿研究课题。该文主要介绍了这一重要的研究课题，分析了Brown运动和Markov过程。

关键词：线性随机系统 M-矩阵 Brown运动 Markov链

中图分类号：TP273 文献标识码：A 文章编号：1672-3791（2015）10（c）-0199-03

20世纪初期， 产生随机过程理论，当时是为了适应多个学科生物学、物理学、管理科学、通讯与控制等不同方面的需求发展起来的。1K. It（伊藤清）961年论随机微分方程，创立量大理论随机微分和随机积分方程。

Kolmogorov和Wiener的滤波和预测理论，使从信号和噪声的观测中抽取有用信号，这是随机控制理论的一个很有用的重要基础。但由于Wiener-Kolmogorov的理论需要求一难求解的积分方程――Wiener-Hopf方程，所以实际上没有得到广泛应用。

1960年R. S. Bucy和Kalman提出了求解滤波和预测的相关的递归方法，对滤波和预测做了巨大特殊贡献。在求解随机控制问题中，依赖于动态的方法。1961年Tou（陶）和Joseph（约瑟夫）提出了相关分离定理，根据分离定理，可把线性随机控制分解成两部分求解，其中一部分是求解优化中的最优控制策略，而另一个部分就是常见的状态估计器。确定性最优控制策略与随机最优控制策略是相同的。

1 Brown运动和Markov过程

Brown运动是迄今为止性质最丰富多彩了解得最清楚的随机过程。在今天，Brown运动及其推广已不仅是花粉粒子运动的模型，它已经广泛地出现在各种科学领域中。例如：它描述了像通讯噪声、热电子运动、市场价格波动的随机干扰等等现象，它的轨道的性质也是分析家注意的对象。同时，由于Brown运动与微分方程等有密切的联系，它又成为联系分析与概率论的重要渠道。

Markov过程是一类重要的随机过程，它的原始模型是Markov链，由俄国数学家A. A. Markov于1906年提出。以后，Kolmogorov，Feller，Doob等人发展了这一理论。粗略来说，所谓Markov性可用下述直观语言来刻画：在已知系统当前时刻t的状态Xt（现在）的条件下，它未来的演变（将来）不依赖于它以往（过去）的演变，简言之，在已知“现在”的条件下，“将来”与“过去”无关。具有这种特性的随机过程称为Markov过程。 荷花池中一只青蛙的跳跃是Markov过程的一个形象化的例子[5]。

对于Markov过程，其所有可能取值的全体，称为过程的状态空间，其中的每一个元素，即所可能取得的值称为状态。若状态空间是有限的，就称为有限（状态）Markov链。该文主要应用的是连续参数有限（状态）Markov链。

定义 2.1.1[6]

如果对所有≥0和任何整数，0≤≤s。随机过程≥0}满足：

（1）

则称是连续时间Markov链。

（1）式所表示的就是Markov性。

对于Markov链，描述它概率性质最重要的是它在m时刻的一步转移概率：

它表示在取值i的条件之下于下一时刻转移到j的概率。 由于概率是非负的，而且，过程总要转移到某一状态去，所以显然，应具有下列性质：

≥0，

其中：I为Markov链的状态空间。

当然，可以把过程留在原地也看成是一种“转移”，即从i转移到i。称为Markov链的转移概率矩阵。矩阵的第i+1行就是给定时，的条件概率分布。若Markov链的状态总数是有限的，则就是有限阶方阵，其阶数正好是状态空间中状态的总数。

一般还可以定义时刻m的k步转移概率：

≥1

同样有：

≥0

通常还规定：

关于k步转移概率，还有如下的Chapman - Kolmogorov方程：

随机分析学，按照K. It的说法，是“增添了随机的有趣的分析学”。他在1987年被授予Wolf奖时，对他贡献的评价做出了高度评价：使他对Markov样本的无穷小理论的发展有了一个完全的重新的认识。他给出的随机分析就如同物理中的牛顿定律，提供了理解自然现象中的隐着的随机和方程之间的直接的对应过程，主要是对布朗运动的函数的积分以及微分运算，由此而得到的理论是近现代纯粹和应用概率论的坚强基石。

设标准Brown运动≥0}是定义在概率空间上的随机过程。≥0}是一族单调递增的F的子域，即：

则是F的子域，且对≤s≤t，关于Ft可测，并且有：

及：

假设 2.2.1[7]

设随机过程≥0}，对于T> 0满足以下条件：

（1）关于可测；

（2）≥0，关于Ft可测，即

≤；

（3），≥0

定义 2.2.2[7]

设≥0}为标准Brown运动，≥0}满足假设2.2.1. 任取0≤≤t，令

1≤k≤，，若和式：

当时，In均方极限[注]存在，则称其极限：

为≥0}关于Brown运动≥0}的It积分。

所谓It微分方程就是指带有白噪声的微分方程。

在It积分定义的基础上，考虑如下随机微分方程：

（2）

由前所述，如果形式上记：

则即为白噪声，这时方程（2）可以形式地写为：

如果没有这一项，则可视为普通的常微分方程；增加了这一项，则表示引入了随机因素，于是不能再是普通的函数，必须是随机过程了。

为了避开的奇异性质，代替随机微分方程，考虑如下It积分方程：

（3）

其中右边第一个积分是均方积分；第二个积分是It随机积分。 （2）式和（3）式可视为等价。

随机分析使得那些在微分几何和分析中通常只对全局光滑函数有意义的重要运算能推广到一些极不光滑的函数上去。

2 结语

总之，最近几十年来，随机控制理论与方法在很多应用领域已有广泛的应用。在某些重要工业的批量加工过程中，在阿波罗飞船的导航控制系统中都已经使用了最小方差方法控制。又如，随机控制理论已用于流量控制网络最优控制的模拟和实践，水力电站的水库管理就是成功的案例。随机控制也已经在某些经济问题的模型分析方法上成功应用，在风险投资，有价证券管理等的判决。当把前沿的随机控制理论与物理实际背景仿真模型结合起来，把排队理论与扰动分析也结合起来，这些用于算法设计的新工具新思路就使得通信及制造的网络优化方面发生了革命。

参考文献

[1] 列尔涅尔，著.控制论基础[M].刘定一，译.北京：科学出版社，1981：2-3.

[2] 段广仁.线性系统理论[M].哈尔滨：哈尔滨工业大学出版社，1998：1-3.

[3] 郭尚来.随机控制[M].北京：清华大学出版社，1999.

[4] 泽夫・司曲斯.随机微分方程理论及其应用[M].上海：上海科学技术文献出版社，1986.

[5] 候振挺.马尔可夫过程的Q-矩阵问题[M].湖南：湖南科学技术出版社，1994.

[6] 方兆本，缪柏其.随机过程[M].合肥：中国科学技术大学出版社，2002：58.

[7] 林元烈.应用随机过程[M].北京：清华大学出版社，2002.

[8] 复旦大学编.概率论 第三册 随即过程[M].人民教育出版社，1981.

[9] X.X.Liao， X.Mao. Exponential Stability of Stochastic Delay Interval System[J].Syst. Control Lett.，2000（40）： 171-181.

[10] Y.Ji and H.J.Chizeck. Controllability， stabilizability and continuous-time Markovian jump linear quadratic control[J].IEEE Trans. Automat.Control.，1990（34）：777-888.