9.1.2　 Markov链的转移概率

9.1.2　 Markov链的转移概率

定义9.1.2设{Xn}为马氏链,若记

为{Xn}从时刻m出发的k步转移概率矩阵.

可见{Xn,n≥0}是齐次马氏链.它的一步转移概率矩阵为

例9.1.2连续掷一颗骰子,以Xn表示前n次掷出的最大点数,证明{Xn,n≥1}为马氏链,并求其转移概率矩阵.

证令ξk表示第k次掷得的点数,k=1,2,···,则

状态空间为E={1,2,3,4,5,6}.对任意正整数n及i1,i2,···,in-1,i,j∈E,有

可见{Xn,n≥1}为马氏链,且其转移概率矩阵为

从上面的例子可以看出,一步转移概率矩阵一般是易于求出的,那么应如何求出多步转移概率矩阵呢？这就需要下面的定理.

证由条件概率的全概率公式及马氏性,有

(https://www.daowen.com)

证毕

我们称式(9.1.3)为C-K(Chapman-Kolmogorov)方程,C-K方程在马氏链的研究中起着重要的作用.

C-K方程可用矩阵表示：记

则C-K方程的矩阵形式为

此时

其中I是单位矩阵.

式(9.1.4)说明,齐次马氏链的所有k步转移概率都可以通过(一步转移)矩阵的乘法求得.下面通过举例来进一步帮助读者理解和掌握上述概念.

例9.1.3(两状态Markov链)在独立重复Bernoulli试验中,每次试验有两种状态,即E={0,1},设Xn表示第n次试验中某件事情出现的次数,且有

其中0＜p＜1,则{Xn}显然是独立同分布随机变量序列,从而它是Markov链.易知

所以,该马氏链的一步转移概率矩阵为

而且