4.5.1　马尔科夫链的基本概念

按随机过程的分布函数（或概率密度）的不同特性，随机过程可分为独立随机过程、马尔科夫过程、独立增量过程和平稳随机过程等。其中马尔科夫过程的特点是：当过程在时刻t0所处的状态为已知时，过程在时刻t（t ＞t0）所处的状态只与t0时刻的状态有关，与t0时刻之前的状态无关，这种特性被称为无后效应。用分布函数描述如下：

如果对时间t 的任意n 个数值（n≥3），在条件X（ti）＝xi（i＝1，2，…，n－1）下，X（tn）的分布函数恰好等于在条件X（tn－1）＝xn－1下X（tn）的分布函数，即

则称X（t）为马尔科夫过程，简称马氏过程。(https://www.daowen.com)

马尔科夫过程的统计特性完全由它的初始分布和转移概率所确定。状态和时间参数都是离散的马氏过程称为马尔科夫链或马氏链，它是一种随机时间序列，是最简单的马氏过程。