第十二章 马尔可夫链

12.1 马尔可夫链的定义

12.1.1 定义

设随机过程 的状态空间 是有限集或可列集，对任意正整数 ，对于 内任意 个状态参数 和 内任意 个状态 ，如果条件概率

恒成立，则称此过程为马尔可夫链。

12.1.2 马尔可夫链的分类

状态空间 是离散的（有限集或可列集），参数集 可为离散或连续。

12.1.3 离散参数马尔可夫链

1. 转移概率

定义

设离散参数马尔可夫链

条件概率 称为 在时刻（参数） 由状态 一步转移到状态 的一步转移概率，简称转移概率。

条件概率 称为 在时刻（参数） 由状态 步转移到状态 的 步转移概率。

2. 步转移概率的性质

对于状态空间 内的任意两个状态 和 ，恒有

12.1.4 离散参数的齐次马尔可夫链

定义

设离散参数马尔可夫链

如果一步转移概率 不依赖于参数 ，即对任意两个不等的参数 和 ，有

则称此马尔可夫链具有齐次性或时齐性，称 为离散参数的齐次马尔可夫链。

12.2 参数离散的齐次马尔可夫链

12.2.1 转移概率矩阵

定义

设 是齐次马尔可夫链，由于状态空间 是离散的，不妨设 则对 内的任意两个状态 和 ，由转移概率 排序一个矩阵：

称为（一步）转移概率矩阵。

（一步）转移概率矩阵的性质

1. 即元素均非负
2. 即每行和为

具有以上两个性质的方阵称为随机矩阵，转移概率矩阵就是一个随机矩阵。

12.2.2 切普曼-柯尔莫哥洛夫方程

定理

设 是参数离散的马尔可夫链， 为其状态空间，则有：

称为切普曼-柯尔莫哥洛夫方程（简称 C-K 方程）。

注：

1. 如果马尔可夫链具有齐次性，那么 C-K 方程化为：

2. 对于齐次马氏链，当 时得到

   改写为矩阵形式得：

   归纳得到

12.2.3 有限维概率分布

1. 初始分布（初始概率）

马氏链 在初始时刻 的一维概率分布：

2. 绝对分布（绝对概率，瞬时概率）

马尔可夫链在任何时刻 的一维概率分布：

---

齐次马尔可夫链在时刻 的瞬时概率完全由初始分布和 步转移概率所决定：

向量形式：

3. 维概率分布

设齐次马尔可夫链的参数集和状态空间都是非负整数集。

定理

设齐次马尔可夫链 的状态空间 ，则对 内任意 个非负整数 和 内的任意 个状态 ，有：

4. 平稳分布

定义

对于齐次马尔可夫链 ，如果存在一维概率分布 ，满足：

或

则称 为平稳分布，称 具有平稳性，是平稳齐次马尔可夫链。

定理

如果齐次马尔可夫链 的初始分布 是一个平稳分布，则对

是一个严平稳时间序列。