第9章　Markov链

Markov过程的研究始于1906年,它是随机过程的一个重要分支,在生物学、管理科学、计算机科学等方面有着许多重要的应用.本章所讨论的Markov链是一种特殊的时间离散、状态离散的Markov过程.本章内容参考了[1]、[2]、[9]、[11]、[12]、[17]等.(https://www.daowen.com)

假设所有的随机变量都定义在相同的概率空间(Ω,F,P)上,所涉及的条件概率都是有定义的.为了叙述方便,先做记号上的简化：记随机变量序列{Xn,n=0,1,2,···}为{Xn,n≥0}或{Xn};将{Xn}所有可能取值的全体{x0,x1,···}记为E,即E={x0,x1,···}.简记E={0,1,2,···}或E={i},称E为状态空间.