Markovovy modely

V případě Markovova řetězce se jedná o model se spojitým stavem soustavy (systém funguje vs. nefunguje) a diskrétním časem. To znamená, že se analyzuje stav vždy po nějakém předem definovaném časovém okamžiku (na konci dne, týdne, směny, po roce apod.).

Obecně je možno stav systému popsat orientovaným grafem, který vždy reflektuje veškeré stavy soustavy, které mohou nastat a zároveň i jednotlivé přechody mezi těmito stavy. Pro dvoustavový systém může orientovaný graf vypadá následovně:

kde:

P₁₁          je pravděpodobnost, že systém zůstane na konci časového intervalu ve stavu 1, byl-li v tomto stavu na začátku časového intervalu,

P₁₂          je pravděpodobnost, že systém přejde během časového intervalu ze stavu 1 do stavu 2, byl-li ve stavu 1 na začátku časového intervalu,

P₂₁          je pravděpodobnost, že systém přejde během časového intervalu ze stavu 2 do stavu 1, byl-li ve stavu 2 na začátku časového intervalu,

P₂₂          je pravděpodobnost, že systém zůstane na konci časového intervalu ve stavu 2, byl-li v tomto stavu na začátku časového intervalu.

Základní vlastností Markovova řetězu je to, že pravděpodobnost, že se systém nachází na konci časového intervalu v určitém stavu (např. 1) závisí pouze na tom v jakém stavu se systém nacházel na začátku časového intervalu (1 nebo 2) a nikoli na tom, co bylo před tím, tj.na minulé historii systému. Markovův řetězec nemá tedy paměť.

Matematicky je možno Markovův řetězec popsat tzv. přechodovou maticí, ve které řádek představuje výchozí stav, sloupec koncový stav a jednotlivé prvky v matici pak pravděpodobnost přechodu mezi těmito stavy. Diagonální prvek se doplňuje tak, aby součet pravděpodobností v řádku byl vždy roven 1. 

Pro pravděpodobnosti pro jednotlivé možné stavy pak platí: