马尔可夫链

马尔可夫链是一种特殊的随机过程，未来状态仅依赖于当前状态。

马尔可夫性质：随机变量序列满足条件概率仅依赖于前一个状态。

状态分类包括吸收状态、瞬态状态和持久状态。

平稳分布是马尔可夫链长期行为的描述，存在极限分布。

马尔可夫链的应用包括随机游走、分支过程和核反应等。

转移概率是描述状态之间转移的概率，通常用矩阵表示。

同质马尔可夫链的转移概率仅依赖于时间间隔。

随机游走是马尔可夫链的一个实例，描述粒子在一维空间中的移动。

分支过程描述个体在离散时间内的繁殖行为，形成马尔可夫链。

核反应模型中，粒子以一定概率产生后代，形成马尔可夫过程。

Chapman-Kolmogorov方程用于计算马尔可夫链的n步转移概率。

状态的持久性和瞬态性通过首次通过概率进行分类。

周期性状态的定义基于状态返回的时间间隔。

正回归状态的期望返回时间是有限的，且与马尔可夫链的可约性相关。

稳态分布是马尔可夫链在长时间运行后的状态分布，独立于初始状态。

可约马尔可夫链可以分解为瞬态和持久状态的不同部分。