|
マルコフ過程
マルコフ過程（マルコフかてい、英: Markov process）とは、マルコフ性をもつ確率過程のことをいう。すなわち、未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。 このような過程は例えば、確率的にしか記述できない物理現象の時間発展の様子に見られる。なぜなら、粒子の将来の挙動は現在の挙動によってのみ決定されるが、この性質は系の粒子数が多くなり確率論的な解析を必要とする状態にも引き継がれるからである。 ロシア人数学者、アンドレイ・マルコフにちなんで命名されている。 マルコフ過程の分類マルコフ過程は以下のような分類がある。
マルコフ過程の推移確率通常現れるマルコフ過程の分布は推移確率によって決定できる。マルコフ過程 Xt の推移確率とは時刻 s に状態空間の点 x を出発して、時刻 t > s に状態空間の(可測)部分集合 Y に入る確率 P(s, t; x, Y) のことであり、
で定義される。離散時間マルコフ過程の場合は t = s + 1 の場合の推移確率のみで十分であり、他の期間の推移確率は以下のチャップマン-コルモゴロフの等式により計算できる。時間的に一様な場合は、s = 0 の場合だけで十分であり、他の時刻の推移確率は P(s, t; x, Y) = P(0, t - s; x, Y) で計算できる。 さらに離散マルコフ過程の場合は Y のかわりに状態空間の一点 y を用いれば十分であり、その場合は推移確率は行列となる。 チャップマン-コルモゴロフの等式チャップマン-コルモゴロフの等式は 3 つの時刻間の推移確率の間に成り立つ関係を示した等式で、時刻 s < t < u にたいして、
で与えられる。すなわち、時刻 s に x を出発し時刻 u に Z に入る確率を、途中の時刻 t でどこにいたかで場合分けして計算したものである。 関連項目
|
||||||||
