10.3 连续时间马氏链的状态分类及例子
由于连续时间马氏链通常不好处理,我们常常将其参数“离散化”,得到一系列离散时间马氏链,称为离散骨架.于是,我们可以把对连续时间马氏链的研究转化为对其离散骨架的研究.本节内容参考文献[9]的第10章.
定义10.3.1给定一个正数δ＞0,离散参数马氏链{X(nδ),n≥0}的一步转移概率为pij(δ),称{X(nδ),n≥0}为连续参数马氏链{X(t),t≥0}的δ-骨架(δ-skeleton).
我们可通过研究骨架的状态性质来讨论马氏链的状态性质.
定义10.3.2设马氏链的状态空间为E,对于两个状态i,j∈E,若存在t＞0使得pij(t)＞0,则称i可达j,记为i→j.若i→j,且j→i,则称i与j互通,记为i↔j.若对于任意两个状态i,j∈E,i与j互通,则称{X(t)}不可分（约）.
可以证明的是,{X(t),t≥0}的状态可达性与{X(nδ),n≥0}的状态可达性相同.
另外,可达性与马氏链的转移速率矩阵Q有着必然的联系,可以证明：i→j的充要条件是qij＞0,或者存在状态i1,i2,···,in使得qii1qi1i2···qin-1inqinj＞0.
常返性的直观解释如下：
可见,i常返,过程在i的平均停留时间为无穷大.关于常返性,有下面的定理.
定理10.3.1(1)设i↔j,则i,j同为常返或同为非常返;
(2)设δ＞0,i∈E,则i常返(非常返)的充要条件是i在δ-骨架中常返(非常返).
证(1)设i非常返,因为i↔j,所以存在s,t＞0使pij(t)＞0,pji(s)＞0,则
(2)只要证明
由此即得式(10.3.1).
证毕
对于以下定理,我们只简要给出结论,不再证明.
关于正常返或零常返,有以下结论.
定理10.3.3(1)设i↔j,则i,j同为正常返或同为零常返;
(2)设δ＞0,则i是正常返(零常返)的充要条件是i在δ-骨架中正常返(零常返).
类似于离散时间马氏链,我们可根据以上结论对连续时间马氏链的状态进行分类.
定义10.3.5若存在一组非负数{πi,i∈E}满足
则称{πi,i∈E}为马氏链的平稳分布.
关于平稳分布的结论,下面简要列举几个,以帮助读者理解其性质.
定理10.3.4设马氏链{X(t),t≥0}不可约,其转移概率为pij(t).
(2)如果{wi,i∈E}是概率分布,且对于某个t≥0使
则式(10.3.3)对于任意的t成立,且wj=uj,∀j∈E.
定理10.3.5的重要性之一在于提供了解连续时间马氏链平稳分布的简单方法,利用该定理,我们只需解方程组(10.3.4).
式(10.3.4)也可用向量形式来表达,记π=(π1,π2,···),则方程组(10.3.4)的第一式可写为πQ=0.(https://www.daowen.com)
时间连续、状态离散的马氏过程在实际中大量存在,下面举几个例子,参考文献[2].
例10.3.1(两个状态的齐次Markov过程)计算机中的某个触发器有两种可能状态：0或1,假定触发器状态变化构成一个齐次Markov过程,其状态转移概率满足
其中λ,μ＞0为常数.问该过程的平稳分布是否存在？
解由于
故由柯尔莫哥洛夫向前方程得
Q矩阵为
在初始条件p00(0)=p11(0)=1,p10(0)=p01(0)=0下,利用p01(t)=1-p00(t),p11(t)=1-p10(t)可解得
由此可见,当t→+∞时,pij(t)的极限存在且与i无关,所以平稳分布为
下面我们来研究生灭过程,它的概率解释如下：若以X(t)代表一个生物群体在t时刻个体的数量,则在很小的时间h内(不计高阶无穷小),群体变化有3种可能：状态由i变到i+1,即增加一个个体,其概率为λih;状态由i变到i-1,即减少一个个体,其概率为μih;状态不变,即群体个数不增不减,其概率为1-(λi+μi)h.
例10.3.2(生灭过程)设连续时间马氏链{X(t),t≥0}的转移概率pij(t)满足
我们称{X(t),t≥0}为生灭过程,其状态空间E={0,1,2,···}.求该马氏链的平稳分布.
解不难算出Q矩阵的元素如下：
柯尔莫哥洛夫向前方程为
柯尔莫哥洛夫向后方程为
若平稳分布{πj,j∈E}存在,则满足如下方程组：
逐步递推可解得
例10.3.3(机器维修问题)设有m台机床,s个维修工人(s≤m).机床或者工作,或者损坏后等待修理.机床损坏后,空着的维修工人立即来修理,若维修工人不空,则机床按“先坏先修”的原则排队修理.假定在长为h的时间内,每台机床从工作转到损坏的概率为λh+o(h),每台修理的机床转到工作的概率为μh+o(h).用X(t)表示时刻t损坏的机床台数,则{X(t),t≥0}是状态空间E={0,1,2,···,m}的时间连续的马氏链.设时刻t有i台机床损坏,若不计高阶无穷小,则在(t,t+h)内又有一台机床损坏的概率应等于原来正在工作的m-i台机床中,在(t,t+h)内恰有一台损坏的概率.于是
类似地,有
显然,这是一个生灭过程,其中
由例10.3.2知,它的平稳分布为
当s＜j≤m时,有
