9.4.2 平稳分布
定义9.4.1设P=(pij)是马氏链{Xn}的转移矩阵,如果非负数列{πj}满足
则称{πj}是{Xn}的平稳分布.
定义9.4.1中的条件可以写成以下向量形式：
其中π=(π0,π1,···).由归纳法易知,
定理9.4.3如果{πj}是马氏链{Xn}的平稳分布,则当
时,{Xn}是一强平稳序列.
证如果{πj}是{Xn}的平稳分布,则对任意的n≥1,有
因而,对任意的n≥1,有
可以证明的是,对任意的l≥1,任意的0≤n0＜n1＜···＜nl,以及任意的j0,j1,···,jl∈E,有
可见{Xn}为强平稳序列.
证毕
由定理9.4.3可知,若马氏链的初始分布为平稳分布,即q(0)=π,则q(n)=π,这是因为
在此基础上,马氏链的平稳分布又称为不变分布或不变概率测度.
下面讨论不可分遍历链的平稳分布,先看下面的定理.
满足条件
的唯一解.
证由式(9.4.4),对任意的i,j,有
先令n→∞,再令M→∞,有
若上式中有一πj取不等号,则有
这与已知矛盾,因而
令n→∞,有
可知
显然,πk≥0,这便证得yj=πj满足条件(9.4.7).
下证唯一性.设有另一组解{ωj},即ωj(j=0,1,2,···)满足
用同样的方法可以推出
令n→∞,可得ωj=πj(j=0,1,2,···),唯一性得证.
证毕
由上可见,μj是一个重要的量,它在平稳分布的讨论中有着重要的作用.
例9.4.1设齐次马氏链{Xn,n=0,1,2,···}的状态空间为{1,2,3,4},一步转移概率矩阵为
则状态1的平均返回时间μ1=2.5.
而且
证第一部分的结论已在定理9.4.1的推论中证明.第二部分可由
得到.
证毕
定理9.4.3讨论了不可分遍历链的平稳分布.下面讨论一般情况马氏链的平稳分布,首先指出其存在性和结构与状态分类之间有密切的关系.
由定理9.3.1,有
证设Cα的周期为d,则
由推论9.4.1,对于i,j∈Gr,有
因而
证毕(https://www.daowen.com)
引理9.4.2设{πj}是{Xn}的平稳分布,则
(1)当j∈Q时,πj=0;
因此πj=0.
(2)当j∈Cα时,考虑Cα是闭集,由(1)可得
上式两边对n=1,2,···,N求和,有
令N→∞,由式(9.4.5)得
证毕
证在引理9.4.2中已证必要性,下面证明充分性.首先由引理9.4.1,有
再证{πj}满足方程
当j∈Q时,有
当j∈H,j∈Cα时,有
于是
取i∈Cα,由式(9.4.5),上式可化为
由ε的任意性知,
若存在一个j使上式不等号成立,则两边对j求和有
但这是不可能的,从而对一切j∈H,有
成立.
证毕
推论9.4.4对于马氏链{Xn},下列结论成立:
(1)平稳分布不存在的充要条件是H=∅;
(2)平稳分布唯一的充要条件是只有一个基本正常返闭集Cα;
(3)有无穷多个平稳分布的充要条件是至少有两个基本正常返闭集Cα;
(4)有限链恒有平稳分布.
例9.4.2讨论有限马氏链状态空间E={1,2,3,4}的分解、状态分类、周期和平稳分布,设其转移概率矩阵为
解1,2状态构成闭集,3为吸引状态,它们都是正常返状态,4是非常返状态.它们的周期都是1,因而状态1,2,3为遍历状态.解方程组
例9.4.3讨论可列马氏链状态空间E={1,2,···}的分解、状态分类、周期和平稳分布,设其转移概率矩阵为
解链不可分,非周期,解方程组
得z3=2z2,z4=3z2,···,其解的一般形式为zi=(i-1)z2,i=3,4,···.若z2=0,则zi=0(i=3,4,···)为零解.若z2／=0,则{zi}无界,故不存在非零有界解.链是常返的.解方程组
知平稳分布不存在,可见链是零常返链.
例9.4.4设齐次马氏链{Xn,n≥0}的状态空间为E={1,2,3,···},一步转移概率矩阵为
(1)问该链是否可分,若可分,给出全部不可分闭集;
(2)讨论该链的状态分类以及各状态的周期,并求平稳分布.
解(1)链可分,不可分闭集为{2,4},{3},{5,6,···}.
(2)状态2,3,4是正常返状态,1是非常返状态,5,6,···是零常返状态.
求解方程组
得平稳分布为
例9.4.5设齐次马氏链{Xn,n≥0}的状态空间为{1,2,···},转移概率矩阵为
(1)试判断该链是否可分,若可分,写出不可分闭集;
(2)讨论该链的状态分类以及各状态的周期,并求平稳分布;
解(1)链可分,{1,2},{3},{5,6,···}是不可分闭集.
(2)所有状态的周期为1.解方程组
