Класифікація однорідних ланцюгів Маркова (реферат)

РЕФЕРАТ На тему:

Класифікація однорідних ланцюгів Маркова Усі ланцюги Маркова можна поділити на два класи: на ті, які мають нестійкі стани, і на ті, які таких станів не мають.

Ланцюг Маркова називають поглинальним, якщо серед множини станів відповідної системи існує хоча б один, набувши якого з певною ймовірністю, система перебуватиме в ньому й надалі. Отже, поглинальними є такі ланцюги Маркова, для яких стійкими станами є поглинальні.

Приклад 8. Існує гра, яку називають револьверною рулеткою. Правила її такі. Револьвер із шестизарядним барабаном заряджається одним патроном. Гравець натискує курок. У разі першого експерименту можливі два наслідки: $${}_1$$

— постріл здійсниться;

$${}_2$$

— не здійсниться. Побудувати матриці ймовірностей, а імовірнісний граф.

.

Розв’язання. Розглянемо цю гру як систему, що має лише два несумісні стани. Тоді матриця ймовірностей переходу складатиметься з двох рядків:

$$=\left(\begin{array}{cc}\frac{5}{6}& \frac{1}{6}\\ 0& 1\end{array}\right)\text{.}$$.

У першому рядку $$p_{\text{11}}=\frac{5}{6}$$

— імовірність того, що постріл не відбувся, а тому гра триватиме;

$$p_{\text{12}}=\frac{1}{6}$$

— імовірність того, що постріл відбувся і гра на цьому закінчиласядругий рядок.

$$p_{\text{21}}=0-p_{\text{22}}=1\text{.}$$.

Імовірнісний граф зображено на рис. 16.

Рис. 16.

Ланцюг Маркова називається ергодичним, якщо він має лише одну ергодичну множину станів системи.

Ергодичні ланцюги Маркова бувають двох типів: циклічні та регулярні.

Ланцюг Маркова називається циклічним, якщо кожного свого стану система може набувати з певною ймовірністю через певні однакові інтервали — періоди.

Приклад 9. За даною матрицею ймовірностей переходу.

$$=\left(\begin{array}{ccc}\mathrm{0,5}& \mathrm{0,}\text{25}& \mathrm{0,}\text{25}\\ 0& 0& 1\\ 0& 1& 0\end{array}\right)$$.

визначити тип ланцюга Маркова та побудувати імовірнісний граф.

Розв’язання. Система може перебувати в трьох несумісних станах $${}_1,{}_2,{}_3,$$

а перейшовши зі стану.

$${}_1$$

до стану.

$${}_2$$

або.

$${}_3$$

вона циклічно робитиме перехід.

$${}_2{}_3\text{.}$$

Отже, ланцюг Маркова буде циклічним.

.

Імовірнісний граф для цього ланцюга зображено на рис. 17.

Рис. 17.