9.2.3 状态分类
为了讨论状态的不同性质,引入首次到达某一状态的时刻和概率.
定义9.2.6对于任意两个状态i,j,定义
称Tij为从i出发首次到达j的时刻.
为使Tij是一随机变量(可称为广义随机变量),当ω∈{X0／=i}∪{X0=i,Xn／=j,n=1,2,···}（对于某一个样本,Xn(ω)可能永远不会为j）时,可补充定义Tij(ω)=+∞,这时可以将“永不出现”理解为“终身等待”.按照这种规定,Tij(ω)是一个可以取值为+∞的随机变量.
下面讨论Tij的概率分布.
定义9.2.7若Tij如式(9.2.1)所示,则称
为系统自状态i出发经n步首次到达状态j的概率.
显然,由概率的加法公式、乘法公式和马氏性,可得
定义9.2.8记
解由式(9.2.3)可以算得
类似可得
引理9.2.1对任意的i,j∈E及n＞1,有
证由条件概率的全概率公式,式(9.2.2)以及式(9.1.2),有
即式(9.2.4)成立.
证毕
推论9.2.2对任意的i,j∈E及n＞1,有
(https://www.daowen.com)
表示从i出发经有限步到达j的平均时间或步长.特别地,μjj表示从j出发又回到j的平均时间或步长,我们称其为状态j的平均返回时间,并简记μjj为μj.
根据fjj取值的情况,可对状态进行如下分类.
定义9.2.10若fjj=1,则称状态j是常返的,否则称状态j是非常返的.设j是常返状态,若μj＜∞,则称j是正常返的或积极常返的,否则称j是零常返的或消极常返的.我们称正常返非周期状态为遍历状态.
注9.2.2(1)当fjj=1时,说明马氏链从状态j出发最终以概率1经过有限步返回状态j,然后再从状态j出发最终还以概率1返回状态j,依次反复下去.在此过程中,状态j可以被看作每一次反复的起点.因此,马氏链将无穷次返回状态j,此为“常返”.
(2)当fjj＜1时,说明马氏链从状态j出发,经过有限步转移,以概率fjj返回状态j,以概率1-fjj不再返回状态j,若返回状态j,则还以概率fjj再次返回状态j,以概率1-fjj不再返回状态j,依次反复下去.这相当于进行一次次的Bernoulli试验,在每次试验中,“返回状态j”以概率fjj发生,“不返回状态j”以概率1-fjj发生.考虑到正概率事件——“不返回状态j”在多次独立的重复试验中总会发生,因而马氏链最终将永远离开状态j,此为“非常返”.
(3)对于常返态i来说,马氏链从状态i出发到下一次返回状态i的间隔时间是一个随机变量,利用此随机变量的数学期望存在与否,可将其分为正常返和零常返.
现在引入如下定理来说明上述论述的合理性.
定理9.2.7设
证由A和Am的定义知,
因而
首先计算Qij(m+1).由条件概率的全概率公式和马氏性,有
其次,由上式中i的任意性,有
于是
证毕
注9.2.3定理9.2.7的直观解释是:如果状态j是常返的,则系统以概率1无穷次返回状态j;如果状态j是非常返的,则以概率1有限次返回状态j,亦即系统无穷次返回状态j的概率为0.
推论9.2.4
