Матриці однокрокових імовірностей переходу. 
Однорідні ланцюги Маркова (реферат)

РЕФЕРАТ На тему:

Матриці однокрокових імовірностей переходу. Однорідні ланцюги Маркова.

Перехід системи зі стану $${}_i$$ до стану $${}_j$$, який може відбуватися з певною ймовірністю в момент часу t, позначається як $$p_{\text{ij}}\left(t\right)$$ і називається умовною ймовірністю переходу.

Повна ймовірнісна картина всіх можливих переходів системи, яка має N станів, подається у вигляді квадратної матриці:

$$=p_{\text{ij}}\left(t\right)=\left(\begin{array}{ccccc}{p}_{\text{11}}\left(t\right)& p_{\text{12}}\left(t\right)& p_{\text{13}}\left(t\right)& \text{.}\text{.}\text{.}& p_{1N}\left(t\right)\\ p_{\text{21}}\left(t\right)& p_{\text{22}}\left(t\right)& p_{\text{23}}\left(t\right)& \text{.}\text{.}\text{.}& p_{2N}\left(t\right)\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ p_{N1}\left(t\right)& p_{N2}\left(t\right)& p_{N3}\left(t\right)& \text{.}\text{.}\text{.}& p_{\text{NN}}\left(t\right)\end{array}\right),$$ (14).

яку називають імовірнісною матрицею переходів. При цьому.

$$\underset{j=1}{\overset{N}{}}{p}_{\text{ij}}\left(t\right)=1$$ (15).

$$\left(i=\stackrel{}{\mathrm{1,}N}\right)$$ ,.

оскільки ці випадкові події (перехід системи з фіксованого стану $${}_i$$ до будь-якого можливого стану $${}_j$$ $$(j=\stackrel{}{\mathrm{1,}N})$$ утворюють повну групу. Враховуючи те, що моменти часу переходу системи $${}_i->{}_j$$ названо кроками, умовні ймовірності переходу на k-му кроці позначають $$p_{\text{ij}}\left(k\right)$$ і називають перехідними ймовірностями марковського ланцюга.

Величина $$p_{\text{ii}}\left(k\right)$$ є умовна ймовірність того, що на k-му кроці система перебувала у стані $${}_i$$ і в цьому самому стані вона й залишиться.

Перехідні ймовірності $$p_{\text{ij}}\left(k\right)$$ можна записати такою квадратною матрицею:

$$=p_{\text{ij}}\left(k\right)=\left(\begin{array}{ccccc}{p}_{\text{11}}\left(k\right)& p_{\text{12}}\left(k\right)& p_{\text{13}}\left(k\right)& \text{.}\text{.}\text{.}& p_{1N}\left(k\right)\\ p_{\text{21}}\left(k\right)& p_{\text{22}}\left(k\right)& p_{\text{23}}\left(k\right)& \text{.}\text{.}\text{.}& p_{2N}\left(k\right)\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ p_{N1}\left(k\right)& p_{N2}\left(k\right)& p_{N3}\left(k\right)& \text{.}\text{.}\text{.}& p_{\text{NN}}\left(k\right)\end{array}\right)$$. (16).

Тут також

$$\underset{j=1}{\overset{N}{}}{p}_{\text{ij}}\left(k\right)=1$$ (17).

$$\left(i=\stackrel{}{\mathrm{1,}N}\right)$$ .

Матриці, які мають властивості (16) і (17), називають стохастичними.

Ланцюг Маркова називають однорідним, якщо $$p_{\text{ij}}\left(k\right)=p_{\text{ij}}=\text{const},$$ тобто перехідні ймовірності не залежать від кроку k.

Матриця перехідних імовірностей для однорідних ланцюгів Маркова подається у вигляді.

$$=p_{\text{ij}}=\left(\begin{array}{ccccc}{p}_{\text{11}}& p_{\text{12}}& p_{\text{13}}& \text{.}\text{.}\text{.}& p_{1N}\\ p_{\text{21}}& p_{\text{22}}& p_{\text{23}}& \text{.}\text{.}\text{.}& p_{2N}\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}& \text{.}\text{.}\text{.}\\ p_{N1}& p_{N2}& p_{N3}& \text{.}\text{.}\text{.}& p_{\text{NN}}\end{array}\right)$$. (18).

Матриці (16) і (18) називають матрицями однокрокового переходу системи.

Приклад 3. У певному містечку діють три супермаркети $$A_1,A_2,A_3,$$ які конкурують між собою. Фірма з вивчення ринку зібрала й обробила інформацію за 5 місяців про частку (у відсотках) покупців, які користуються послугами цих супермаркетів. Було з’ясовано, що магазин $$A_1$$ зберіг 80% своїх покупців, придбавши водночас 10% покупців магазину $$A_2$$ і 2% - магазину $$A_3-$$ магазин $$A_2$$ зберіг 70% своїх покупців і придбав 8% покупців магазину $$A_3$$ і 14% - магазину $$A_1-$$ магазин $$A_3$$ зберіг 90% своїх покупців і при цьому придбав 6% покупців магазину $$A_1$$ і 20% - магазину $$A_2\text{.}$$.

Побудувати ймовірнісну матрицю переходів покупців за один крок.

Розв’язання. Матриця однокрокового переходу для цієї системи подається у вигляді.

$$\begin{array}{c}\begin{array}{ccc}{A}_1& A_2& A_3\end{array}\\ =\begin{array}{c}{A}_1\\ A_2\\ A_3\end{array}\left(\begin{array}{ccc}\mathrm{0,8}& \mathrm{0,}\text{14}& \mathrm{0,}\text{06}\\ \mathrm{0,1}& \mathrm{0,7}& \mathrm{0,2}\\ \mathrm{0,}\text{02}& \mathrm{0,}\text{08}& \mathrm{0,9}\end{array}\right)\end{array}$$ .

Як бачимо, виконується умова стохастичної матриці для кожного її рядка. І справді, магазин $$A_1$$

зберіг 80% своїх покупців, а водночас втратив 20%, із яких 14% вибрали магазин.

$$A_2$$

і 6% - магазин.

$$A_3-$$

аналогічно.

$$A_2$$

зберіг 70% своїх покупців і втратив 30% покупців, із них 10% вибрали магазин.

$$A_1$$

і 20% - магазин.

$$A_3-$$

і магазин.

$$A_3$$

зберіг 90% своїх покупців, втративши при цьому 10%, із яких 2% вибрали магазин.

$$A_1$$

і 8% ;

$$A_2\text{.}$$.

Імовірнісні графи Для наочності стани марковських ланцюгів та ймовірності переходу системи з одного стану до іншого зручно подавати ймовірнісними графами.

У загальному випадку графи зображаються вершинами, які розміщуються на площині в певному порядку, і лініями, що сполучають вершини, — так званими ребрами. Вершина графа інформує про стан, в якому може перебувати система, а ребро графа, що сполучає дві вершини, вказує на той стан, до якого може перейти система з певною ймовірністю.

Приклад 4. За заданою матрицею однокрокового переходу системи.

$$=p_{\text{ij}}=\left(\begin{array}{cccc}\mathrm{0,2}& \mathrm{0,3}& \mathrm{0,4}& \mathrm{0,1}\\ \mathrm{0,4}& \mathrm{0,1}& \mathrm{0,2}& \mathrm{0,3}\\ \mathrm{0,1}& \mathrm{0,4}& \mathrm{0,3}& \mathrm{0,2}\\ \mathrm{0,3}& \mathrm{0,1}& \mathrm{0,2}& \mathrm{0,4}\end{array}\right)$$.

побудувати ймовірнісний граф.

Розв’язання. За заданою матрицею 'ясовуємо, що система може перебувати з певною ймовірністю в одному з несумісних чотирьох станів $${}_1,{}_2,{}_3,{}_4,$$ які у структурі графа будуть вершинами. Відповідні ймовірності переходу такі:

$$\begin{array}{cccc}{p}_{\text{11}}=\mathrm{0,2,}& p_{\text{12}}=\mathrm{0,3,}& p_{\text{19}}=\mathrm{0,4,}& p_{\text{14}}=\mathrm{0,1}-\\ p_{\text{21}}=\mathrm{0,4,}& p_{\text{22}}=\mathrm{0,1,}& p_{\text{23}}=\mathrm{0,2,}& p_{\text{24}}=\mathrm{0,3}-\\ p_{\text{31}}=\mathrm{0,1,}& p_{\text{32}}=\mathrm{0,4,}& p_{\text{33}}=\mathrm{0,3,}& p_{\text{34}}=\mathrm{0,2}-\\ p_{\text{41}}=\mathrm{0,3,}& p_{\text{42}}=\mathrm{0,1,}& p_{\text{43}}=\mathrm{0,2,}& p_{\text{44}}=\mathrm{0,4}\text{.}\end{array}$$.

Імовірнісний граф з чотирма вершинами зображено на рис. 13.

Рис. 13.

Приклад 5. За заданим імовірнісним графом (рис. 14) побудувати матрицю ймовірностей однокрокового переходу.

Рис. 14.

Розв’язання. Квадратна матриця ймовірностей однокрокового переходу матиме розмір 3×3.

Імовірності першого рядка матриці такі:

$$p_{\text{11}}=\mathrm{0,5}-p_{\text{12}}=\mathrm{0,4}-p_{\text{13}}=\mathrm{0,1}-$$.

імовірності другого рядка:

$$p_{\text{21}}=\mathrm{0,6}-p_{\text{22}}=\mathrm{0,2}-p_{\text{23}}=\mathrm{0,2}-$$.

імовірності третього рядка:

$$p_{\text{31}}=\mathrm{0,5}-p_{\text{32}}=\mathrm{0,2}-p_{\text{33}}=\mathrm{0,3}\text{.}$$.

Отже, матриця ймовірностей однокрокового переходу така:

$$=\left(\begin{array}{ccc}\mathrm{0,5}& \mathrm{0,4}& \mathrm{0,1}\\ \mathrm{0,6}& \mathrm{0,2}& \mathrm{0,2}\\ \mathrm{0,5}& \mathrm{0,2}& \mathrm{0,3}\end{array}\right)$$

.

.