马尔可夫链是一种随机过程 随机变量$X$只能取有限个、可数个值，$\{0,1,2, \cdots\}$ $P\left\{X_{n+1}=j | X_{n}=i, X_{n-1}=i_{n-1}, \cdots, X_{1}=i_{1}, X_{0}=i_{0}\right\} =P_{i j}$ 过去与将来无关 定义 $\forall i, j \in S, P\left\{X_{n+1}=j | X_{n}=i\right\} \triangleq p_{i j}(n)$称为$n$时刻的一步转移概率，
