Markovovy modely

V případě Markovova procesu se jedná o model s diskrétními stavy a spojitým časem. Charakterizujeme-li systémy intenzitou přechodu z jednoho stavu do druhého, můžeme tyto intenzity použít pro výpočet pravděpodobnosti jednotlivých stavů Markovových procesů. Pro výpočty je nutno vycházet z určitých předpokladů:

1.       Pravděpodobnost přechodu z jednoho stavu do druhého během ∆t  je dána λ(t)∙∆t

            Kde λ(t) je intenzita pravděpodobnosti přechodu mezi oběma stavy

2.       Pravděpodobnost více než jednoho přechodu během ∆t je à0 (zanedbatelná). Za jeden časový úsek ∆t se může dojít pouze k jediné změně (může se změnit jen jedna věc - stav).

Markovův proces lze reprezentovat orientovaným grafem a popsat maticí intenzit sestavované na základě možných stavů soustavy z Markovova grafu (orientovaného grafu). Místo pravděpodobností přechodu se však doplňuje intenzita poruch λ případně intenzita oprav m. Parametr intenzity oprav je možno získat na základě testování prvků např. dle vztahu:



N je počet poruch za sledované období

t_i je doba trvání i-té poruchy (opravy)

Pokud přechod dle zjednodušujících předpokladů nemůže nastat, vyplňuje se nulový prvek. Prvky pro k=j se v matici intenzit doplňují s ohledem na ostatní možné stavy tak, aby byla splněna podmínka nulového součtu hodnot v každém jednotlivém řádku.

Pravděpodobnost možných stavů soustavy se následně vypočítá za použití vztahu: 

Jak je z předchozího patrné, výstupem je soustava diferenciální rovnic (Markovovy stavové rovnice) za dříve zmíněných předpokladů, které popisují pravděpodobnosti přechodů z počátečních stavů do stavů konečných. Řešením této soustavy je možno určit pravděpodobnosti těchto stavů, které se následně využijí k určení součinitele pohotovosti.