随机过程

马尔可夫随机过程

马尔科夫链是一个随机过程，它具有马尔科夫性质。马尔科夫性质是指给定当前状态，未来状态的条件概率分布只依赖于当前状态，而与过去状态无关。

• 转移矩阵 $P_{S\to S^{'}}$
• $P_{ij} = P[S_i \to S_j]$
• $\sum_{j=1}^{n} P_{ij} = 1$ (每一行的和为 1)

第 $n$ 天的状态：$P_n = P^{n}$

平稳分布：如果 $\lim_{n\to\infty} P_n = P$，则 $P$ 是平稳分布。

马尔可夫决策过程