マルコフ過程
マルコフ過程（マルコフかてい）とは、マルコフ性をもつ確率過程のことをいう。すなわち、未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。
このような過程は例えば、確率的にしか記述できない物理現象の時間発展の様子に見られる。なぜなら、粒子の将来の挙動は現在の挙動によってのみ決定されるが、この性質は系の粒子数が多くなり確率論的な解析を必要とする状態にも引き継がれるからである。
ロシア人数学者、アンドレイ・マルコフにちなんで命名されている。
マルコフ過程の分類
マルコフ過程は以下のような分類がある。
- 単純マルコフ過程
- ただ 1 つの状態から次に起こる事象が決定されるマルコフ過程。単にマルコフ過程という場合は、単純マルコフ過程を指す場合が多い。
- N 階マルコフ過程
- 連続する N 個の状態系列から次に起こる事象が決定されるマルコフ過程。どんな N 階マルコフ過程も、N 個の状態組を新たな状態空間とすることによって、単純マルコフ過程（1 階マルコフ過程）として表現することができる。N 重マルコフ過程ともいう。
- 離散時間マルコフ過程
- 時刻のパラメタが離散集合を動くマルコフ過程。通常は T = {1, 2, 3, …} を時刻の集合とする。
- 連続時間マルコフ過程
- 上とは逆に T = [0, ∞) 等を時刻の集合とするマルコフ過程。
- 離散マルコフ過程
- マルコフ過程の状態空間が離散集合であるマルコフ過程。ここで、状態空間とはマルコフ過程が値を取る空間のことである。マルコフ連鎖ともいう。
- 連続マルコフ過程
- 連続時間マルコフ過程の軌跡が時間に関して連続であるときにいう。
- 時間的に一様なマルコフ過程
- 推移確率が現在時刻によらずに一定であるようなマルコフ過程。
マルコフ過程の推移確率
通常現れるマルコフ過程の分布は推移確率によって決定できる。マルコフ過程 Xt の推移確率とは時刻 s に状態空間の点 x を出発して、時刻 t > s に状態空間の(可測)部分集合 Y に入る確率 P(s, t; x, Y) のことであり、 テンプレート:Indent で定義される。離散時間マルコフ過程の場合は t = s + 1 の場合の推移確率のみで十分であり、他の期間の推移確率は以下のチャップマン-コルモゴロフの等式により計算できる。時間的に一様な場合は、s = 0 の場合だけで十分であり、他の時刻の推移確率は P(s, t; x, Y) = P(0, t - s; x, Y) で計算できる。
さらに離散マルコフ過程の場合は Y のかわりに状態空間の一点 y を用いれば十分であり、その場合は推移確率は行列となる。
チャップマン-コルモゴロフの等式
チャップマン-コルモゴロフの等式は 3 つの時刻間の推移確率の間に成り立つ関係を示した等式で、時刻 s < t < u にたいして、 テンプレート:Indent で与えられる。すなわち、時刻 s に x を出発し時刻 u に Z に入る確率を、途中の時刻 t でどこにいたかで場合分けして計算したものである。
