9.1.1　 Markov链的基本概念

9.1.1　 Markov链的基本概念

定义9.1.1设(Ω,F,P)为一概率空间,{Xn}是定义在其上的随机变量序列,状态空间为E={i}.如果对任意的正整数n和E中的状态i,j,i0,i1,···,in-1,有

则称{Xn}为Markov链,简称马氏链,性质(9.1.1)即所谓的马氏性.若E为有限集,则称{Xn}为有限状态马氏链,简称有限马氏链;若E为可列集,则称{Xn}为可列状态马氏链,简称可列马氏链.

注9.1.1马氏链是描述某特定的随机现象的数学模型,而产生这种特定的随机现象的具体模型一般称为系统,因此我们常常使用这方面的术语.例如,把事件{Xn=i}称为在时刻n时系统处于状态i.习惯上,常把时刻n看作“现在”,把时刻n+1看作“将来”,把时刻0,1,···,n-1看作“过去”,基于此,马氏性可叙述为已知“现在”所处的状态,Markov链“将来”所到达的状态和“过去”所经历的状态无关.

定理9.1.1随机变量列{Xn}为马氏链的充要条件是对任意的正整数m,k和非负整数n1＜n2＜···＜nr＜m,以及任意的i1,i2···,ir,i,j∈E,有(https://www.daowen.com)

证充分性显然成立,下面证明必要性.为简便起见,只证明r=1的情形,一般情况的证明类似,只是记号和表达式要复杂得多.

我们可以把式(9.1.2)看作马氏链的一个等价定义.式(9.1.2)的直观解释是：把时刻m看成“现在”,把时刻n1,n2,···,nr看成“过去”,把时刻m+k看成“将来”,那么马氏性是指在已知“现在”所处状态的条件下,Markov链“将来”所到达的状态与“过去”所经历的状态无关.简单来说就是,已知“现在”,“将来”和“过去”独立.