Markovovy modely

1. Markovovy modely

Markovovy modely jsou funkce dvou náhodných proměnných, stavu systému a doby nebo jiné veličiny, v závislosti na které stav sledujeme.  Obecně se využívají pro výpočet spolehlivosti obnovovaných systémů v případě, že mají doby provozu a doby obnovy exponenciální rozdělení. S ohledem na popis etapy života výrobků vanovou křivkou se tedy jedná o popis období běžného provozu kde by měla být konstantní a zároveň nízká intenzita poruch. 

S ohledem na čas, ve kterém je možno analyzovat se dále modely dělí na:

Markovův řetězec

-          diskrétní čas – ke změně stavu může dojít jen v určitých časových okamžicích

-          diskrétní stav soustavy

Markovův proces           

-          spojitý čas – ke změně stavu prvků může dojít v kterémkoliv okamžiku.

-          diskrétní stav soustavy

1.1. Markovův řetězec

V případě Markovova řetězce se jedná o model se spojitým stavem soustavy (systém funguje vs. nefunguje) a diskrétním časem. To znamená, že se analyzuje stav vždy po nějakém předem definovaném časovém okamžiku (na konci dne, týdne, směny, po roce apod.).

Obecně je možno stav systému popsat orientovaným grafem, který vždy reflektuje veškeré stavy soustavy, které mohou nastat a zároveň i jednotlivé přechody mezi těmito stavy. Pro dvoustavový systém může orientovaný graf vypadá následovně:

kde:

P₁₁          je pravděpodobnost, že systém zůstane na konci časového intervalu ve stavu 1, byl-li v tomto stavu na začátku časového intervalu,

P₁₂          je pravděpodobnost, že systém přejde během časového intervalu ze stavu 1 do stavu 2, byl-li ve stavu 1 na začátku časového intervalu,

P₂₁          je pravděpodobnost, že systém přejde během časového intervalu ze stavu 2 do stavu 1, byl-li ve stavu 2 na začátku časového intervalu,

P₂₂          je pravděpodobnost, že systém zůstane na konci časového intervalu ve stavu 2, byl-li v tomto stavu na začátku časového intervalu.

Základní vlastností Markovova řetězu je to, že pravděpodobnost, že se systém nachází na konci časového intervalu v určitém stavu (např. 1) závisí pouze na tom v jakém stavu se systém nacházel na začátku časového intervalu (1 nebo 2) a nikoli na tom, co bylo před tím, tj.na minulé historii systému. Markovův řetězec nemá tedy paměť.

Matematicky je možno Markovův řetězec popsat tzv. přechodovou maticí, ve které řádek představuje výchozí stav, sloupec koncový stav a jednotlivé prvky v matici pak pravděpodobnost přechodu mezi těmito stavy. Diagonální prvek se doplňuje tak, aby součet pravděpodobností v řádku byl vždy roven 1. 

Pro pravděpodobnosti pro jednotlivé možné stavy pak platí:

1.2. Markovův proces

V případě Markovova procesu se jedná o model s diskrétními stavy a spojitým časem. Charakterizujeme-li systémy intenzitou přechodu z jednoho stavu do druhého, můžeme tyto intenzity použít pro výpočet pravděpodobnosti jednotlivých stavů Markovových procesů. Pro výpočty je nutno vycházet z určitých předpokladů:

1.       Pravděpodobnost přechodu z jednoho stavu do druhého během ∆t  je dána λ(t)∙∆t

            Kde λ(t) je intenzita pravděpodobnosti přechodu mezi oběma stavy

2.       Pravděpodobnost více než jednoho přechodu během ∆t je à0 (zanedbatelná). Za jeden časový úsek ∆t se může dojít pouze k jediné změně (může se změnit jen jedna věc - stav).

Markovův proces lze reprezentovat orientovaným grafem a popsat maticí intenzit sestavované na základě možných stavů soustavy z Markovova grafu (orientovaného grafu). Místo pravděpodobností přechodu se však doplňuje intenzita poruch λ případně intenzita oprav m. Parametr intenzity oprav je možno získat na základě testování prvků např. dle vztahu:



N je počet poruch za sledované období

t_i je doba trvání i-té poruchy (opravy)

Pokud přechod dle zjednodušujících předpokladů nemůže nastat, vyplňuje se nulový prvek. Prvky pro k=j se v matici intenzit doplňují s ohledem na ostatní možné stavy tak, aby byla splněna podmínka nulového součtu hodnot v každém jednotlivém řádku.

Pravděpodobnost možných stavů soustavy se následně vypočítá za použití vztahu: 

Jak je z předchozího patrné, výstupem je soustava diferenciální rovnic (Markovovy stavové rovnice) za dříve zmíněných předpokladů, které popisují pravděpodobnosti přechodů z počátečních stavů do stavů konečných. Řešením této soustavy je možno určit pravděpodobnosti těchto stavů, které se následně využijí k určení součinitele pohotovosti.