MCMC(二)马尔科夫链

MCMC和Gibbs Sampling算法

能帮助我们认识万物的运作，任何运行马尔可夫过程的系统都将会达到均衡。

马尔可夫收敛定理告诉我们：只要符合状态总数有限、转移概率恒定以及状态转换自由这三个条件，系统就将达到均衡

马尔可夫过程收敛到均衡的四个条件:

1)可能的状态数是有限的

2)转移概率固定不变

3)从任意状态能够转变到任意其他状态

4)不是简单循环，例如不能全是A到B再从B到A

线代随笔10-马尔科夫矩阵的性质与估计

马尔科夫链可用于观察物体状态随时间的迁移模式，日常生活与工作中有大量的数据与状态有关。本文首先介绍马尔科夫矩阵的性质，然后介绍如何使用样本数据计算马尔科夫矩阵的数学推导，并且给出scala/spark实现的示例代码。

马尔科夫矩阵用于描述状态空间中，状态随机转移的过程。下一个状态只与当前状态有关，与其他状态无关。如下示例，

通过上面的证明，ｍａｒｋｏｖ链是可以最终收敛的。这也就是ＭＣＭＣ的基础。