KwCheng's blog

1.Marcov Property

2.ergodic

3.steady-state probability

Marcov chain是一種離散隨機過程(discrete stochastic process),

主要在敘述一個過程的下一個狀態只會與其前一個狀態有關.

即:  P(X_n+1|X_n,X_n-1,X_n-2,...,X_0⁾⁼P(X_n+1|X_n)

Marcov Property

由狀態i到狀態j的機率稱為轉換機率(Transition Probability),

寫作P_{ij ,} 而每個狀態可形成一個Probability Vector,

各個Probability Vector可組成Transition Matrix.

其中,

1.The value of P_ij is between 0 and 1.

2.The sum of Probability of a state is 1.

以上兩點即為Marcov Property.

ergodic

ergodic 稱為各態歷經,其中Transition Matrix中的各個entry其value皆大於0

一個Marcov若具備此性質,則其必存在steady-state probability.

steady-state probability

一個具備Marcov Property的Transition Matrix,

以有向圖的形式,random walk的方式來進行各個state的傳遞,

則最後各個狀態的機率會收斂到fixed value,

而此Fixed value就稱為Steady-state probability.