Марковські процеси з дискретними станами та неперервним часом (реферат)

РефератДопомога в написанніДізнатися вартістьмоєї роботи

Таким чином, систему (157) за допомогою ймовірнісних твірних функцій зведено до простого лінійного диференціального рівняння відносно A (x, t).. А тому, припускаючи, що досліджуваний процес є марковським, скористаємося математичним апаратом дослідження марковських процесів. Якщо — достатньо мала величина, то ймовірність того, що за час t + не настане жодна з подій, можна подати, як показано… Читати ще >

Марковські процеси з дискретними станами та неперервним часом (реферат) (реферат, курсова, диплом, контрольна)

РЕФЕРАТ На тему:

Марковські процеси з дискретними станами та неперервним часом.

Випадковий процес із дискретними станами і неперервним часом називають марковським, якщо для будь-якого моменту часу t умовні ймовірності всіх станів системи в майбутньому (за $t > 0$ ) залежать лише від того, в якому стані $_{i}$ перебувала вона у фіксований момент часу $t = t_{i}$ , і не залежать від того, коли і як саме система набула цього стану.

У реальному світі марковські процеси трапляються дуже рідко. Здебільшого доводиться стикатися з процесами, які лише наближено можна вважати марковськими.

А тому, припускаючи, що досліджуваний процес є марковським, скористаємося математичним апаратом дослідження марковських процесів.

Теорію марковських процесів із дискретними станами і неперервним часом застосовують до систем, в яких можуть відбуватися переходи з одного стану до іншого під впливом зовнішніх випадкових збурень, котрі, як правило, вважають пуассонівськими.

1. Пуассонівський процес Математичні моделі, які вивчатимуться в наступних темах, пов’язані переважно з пуассонівськими потоками подій. При цьому ставляться певні умови, які мають бути виконані, задовольняючи низку обов’язкових властивостей.

Для пуассонівського потоку ймовірність появи випадкової події k раз протягом проміжку часу t обчислюється за формулою:

$p_{k} (t) = \frac{{()}^{k}}{k!} е^{-},$ (133).

де — інтенсивність потоку.

Тоді зі (133) випливає: ймовірність того, що за час t жодна з подій не настане, подається у вигляді.

$p_{0} (t) = е^{-},$ (134).

а ймовірність настання однієї події за час t — у вигляді.

$p_{1} (t) = {tе}^{-} .$ (135).

Тоді ймовірність настання за час t більш як однієї події буде така:

$p_{k > 1} (t) = 1 - p_{0 <= k <= 1} (t) = 1 - (е^{-} + {tе}^{-}) .$ .

Розклавши в ряд функцію.

$е^{-} = 1 - + \frac{{()}^{2}}{2!} - \frac{{()}^{3}}{3!} + \frac{{()}^{4}}{4!} . . .,$ .

дістанемо відповідно.

$p_{0} (t) = 1 - + \frac{{()}^{2}}{2!} - \frac{{()}^{3}}{3!} + \frac{{()}^{4}}{4!} . . .,$ (136).

$p_{1} (t) = (1 - + \frac{{()}^{2}}{2!} - \frac{{()}^{3}}{3!} + \frac{{()}^{4}}{4!} . . .)$ , (137).

$p_{k > 1} (t) = 1 - (1 - + \frac{{()}^{2}}{2!} - \frac{{()}^{3}}{3!} + \frac{{()}^{4}}{4!} . . . +$ .

$+ (1 - + \frac{{()}^{2}}{2!} - \frac{{()}^{3}}{3!} + \frac{{()}^{4}}{4!} . . . +))$ . (138).

Для малих значень t і $k >= 2$ значення $t^{k}$ нескінченно малі, а тому формули (136)-(138) набирають такого вигляду:

$p_{0} (t) = 1 - + (t^{2}),$ (139).

$p_{1} (t) = + (t^{2}),$ (140).

$p_{k > 1} (t) = (t^{2}) .$ (141).

Ця властивість пуассонівського процесу (потоку) вельми важлива для багатьох практичних його застосувань.

Отже, якщо рівності (139)-(141) виконуються, то для малого інтервалу часу відповідно дістаємо:

$p_{0} () = 1 - +_{0} (),$ (142).

$p_{1} () = +_{1} ()$ (143).

$p_{k > 1} () =_{k} (),$ (144).

де.

$lim_{-> 0} \frac{_{0} ()}{} = 0,$ $lim_{-> 0} \frac{_{1} ()}{} = 0,$ $lim_{-> 0} \frac{_{k} ()}{} = 0,$ .

тобто $_{0} (),$ $_{1} (),$ $_{k} ()$ — нескінченно малі вищого порядку порівняно з $.$ .

Нехай $p_{k} (t)$ — імовірність появи k-ї події, що може відбутися за проміжок часу t, причому $0 <= p_{k} (t) <= 1,$ а також.

$_{k = 0}^{} p_{k} (t) = 1,$ (145).

оскільки події $p_{k} (k = 1, 2, 3, . . .)$ несумісні й утворюють повну групу.

Якщо — достатньо мала величина, то ймовірність того, що за час $t +$ не настане жодна з подій, можна подати, як показано на рис. 21.

Рис. 21.

Отже, подія не настане на інтервалі (0, t) і на проміжку $.$ Оскільки ці події незалежні, виконується рівність.

$p_{0} (t +) = p_{0} (t) p_{0} (),$ .

або.

$p_{0} (t +) = p_{0} (t) (1 - +_{0} ())$ . (146).

Аналогічно для ймовірності $p_{k} (t +)$ дістаємо (рис. 22):

Рис. 22.

З огляду на незалежність подій, які можуть відбутися в інтервалах (0, t) і ( $t, t +$ ), маємо:

$p_{k} (t +) = p_{k} (t) p_{0} () + p_{k - 1} (t) p_{1} () + p_{k - 2} (t) p_{2} () +$ .

$+ p_{k - 3} (t) p_{3} () + . . . + p_{0} (t) p_{k} (),$ .

або.

$p_{k} (t +) = p_{k} (t) p_{0} () + p_{k - 1} (t) p_{1} () +_{i = 2}^{k} p_{k - i} (t) p_{i} ()$ .

Проте за $i = 2, 3, 4, . . ., k$ $p_{i} ()$ є величиною нескінченно малою:

$p_{i} () =_{i} (),$ .

причому.

$lim_{-> 0} \frac{_{i} ()}{} = 0 .$ .

Тому.

$p_{k} (t +) = p_{k} (t) p_{0} () + p_{k - 1} (t) p_{1} () +_{k} (),$ .

де $_{k} () =_{i = 2}^{k}_{i} ()$ (сума нескінченно малих величин також нескінченно мала).

Беручи до уваги (142) і (144), дістаємо систему:

${\begin{matrix} p_{0} (t +) = p_{0} (t) (1 - +_{0} ()), \\ p_{k} (t +) = p_{k} (t) (1 - +_{0} ()) + p_{k - 1} (t) (+_{1} ()) +_{k} (), \end{matrix}$ (147).

яку можна подати у вигляді.

${\begin{matrix} p_{0} (t +) = p_{0} (t) - {tp}_{0} (t) + p_{0} (t)_{0} (), \\ \begin{matrix} p_{k} (t +) = p_{k} (t) - {tp}_{k} (t) + p_{k} (t)_{0} () + \\ + {tp}_{k - 1} (t) + p_{k - 1} (t)_{1} () +_{k} (), \end{matrix} \end{matrix}$ .

або.

${\begin{matrix} p_{0} (t +) - p_{0} (t) = - {tp}_{0} (t) + p_{0} (t)_{0} (), \\ \begin{matrix} p_{k} (t +) - p_{k} (t) = - {tp}_{k} (t) + p_{k} (t)_{0} () + \\ + {tp}_{k - 1} (t) + p_{k - 1} (t)_{1} () +_{k} () . \end{matrix} \end{matrix}$ (148).

Поділивши ліву і праву частини обох рівнянь системи на , дістанемо:

${\begin{matrix} \frac{p_{0} (t +) - p_{0} (t)}{} = -_{0} (t) + p_{0} (t) \frac{_{0} ()}{}, \\ \begin{matrix} \frac{p_{0} (t +) - p_{0} (t)}{} = -_{0} (t) + p_{0} (t) \frac{_{0} ()}{} +_{k - 1} (t) + \\ + p_{k - 1} (t) \frac{_{1} ()}{} + \frac{_{k} ()}{} . \end{matrix} \end{matrix} .$ .

Якщо $-> 0,$ то виконуються такі співвідношення:

${\begin{matrix} lim_{-> 0} \frac{p_{0} (t +) - p_{0} (t)}{} = -_{0} (t) + p_{0} (t) lim_{-> 0} \frac{_{0} ()}{}, \\ \begin{matrix} lim_{-> 0} \frac{p_{0} (t +) - p_{0} (t)}{} = -_{0} (t) + p_{0} (t) lim_{-> 0} \frac{_{0} ()}{} + \\ +_{k - 1} (t) + p_{k - 1} (t) lim_{-> 0} \frac{_{1} ()}{} + lim_{-> 0} \frac{_{k} ()}{} . \end{matrix} \end{matrix}$ .

Отже, за $-> 0$ від системи (148) переходимо до системи.

${\begin{matrix} p_{0}^{'} (t) = -_{0} (t), \\ p_{k}^{'} (t) = -_{k} (t) +_{k - 1} (t), k >= 1, \end{matrix}$ (149).

яку називають системою диференціально-різницевих рівнянь.

Цю систему розв’язують методом імовірнісних твірних функцій.

Імовірнісною твірною функцією $A (x, t)$ називають збіжний степеневий ряд виду.

$A (x, t) =_{k = 0}^{} x^{k} p_{k} (t) = p_{0} (t) + {xp}_{1} (t) + x^{2} p_{2} (t) + x^{3} p_{3} (t) + x^{4} p_{4} (t) + . . .,$ (150).

де $| x | <= 1 .$ .

Звідси можна визначити $p_{k} (t)$ для будь-якого значення $k = 0, 1, 2, 3, . . . .$ .

Зокрема, за $x = 0$ маємо:

$p_{0} (t) = A (0, t) .$ .

Щоб знайти $p_{1} (t)$

продиференціюємо (150) один раз і візьмемо.

x = 0 .

Тоді дістанемо.

$p_{1} (t) = A^{'} (0, t) .$ .

Для визначення $p_{2} (t)$ продиференціюємо (150) двічі і також візьмемо $x = 0 .$ .

Отже,.

$p_{2} (t) = \frac{A^{''} (0, t)}{2} = \frac{A^{''} (0, t)}{2!} .$ .

Аналогічно знаходимо:

$\begin{matrix} p_{3} (t) = \frac{A^{'''} (0, t)}{6} = \frac{A^{'''} (0, t)}{3!}, \\ p_{4} (t) = \frac{A^{''''} (0, t)}{24} = \frac{A^{''''} (0, t)}{4!}, \\ p_{k} (t) = \frac{A^{k} (0, t)}{k!} . \end{matrix}$ (151).

Зауважимо, що виконуються такі рівності:

$A (1, t) =_{k = 0}^{} p_{k} (t) = 1 -$ (152).

$A^{'} (x, t) = \frac{d A^{'} (x, t)}{dt} = \frac{d}{dt} (_{k = 0}^{} p_{k} (t)) =_{k = 0}^{} x^{k} p_{k}^{'} (t) .$ (153).

Помноживши обидві частини першого рівняння системи диференціально-різницевих рівнянь (149) на $x^{0}$ , а обидві частини другого рівняння на $x^{k}$ ( $k >= 1$ ), дістанемо:

${\begin{matrix} p_{0}^{'} (t) = -_{0} (t), \\ x^{k} p_{k}^{'} (t) = - x^{k}_{k} (t) + x^{k}_{k - 1} (t) . \end{matrix}$ (154).

Додамо почленно ліві і праві частини рівнянь системи (154):

$p_{0}^{'} (t) + x^{k} p_{k}^{'} (t) = -^{k} p_{k} (t) -_{0} (t) +^{k} p_{k - 1} (t) .$ (155).

Далі, підсумувавши (154) за k, запишемо:

$_{k = 0}^{} x^{k} p_{k}^{'} (t) = -_{k = 0}^{} x^{k} p_{k} (t) +_{k = 0}^{} x^{k} p_{k} (t),$ (156).

або з урахуванням (152) і (156):

$\frac{dA (x, t)}{dt} = (x - 1) A^{'} (x, t) .$ (157).

Таким чином, систему (157) за допомогою ймовірнісних твірних функцій зведено до простого лінійного диференціального рівняння відносно $A (x, t) .$ .

Розв’язуючи це рівняння, маємо:

$\frac{dA (x, t)}{dt} = (x - 1) A (x, t) ->$ $\frac{dA (x, t)}{A (x, t)} = (x - 1) dt ->$ $_{0}^{t} \frac{dA (x, t)}{A (x, t)} = (x - 1)_{0}^{t} dt ->$ $-> ln A (x, t) | \begin{matrix} t \\ 0 \end{matrix} = (x - 1) t | \begin{matrix} t \\ 0 \end{matrix} ->$ $ln A (x, t) - ln A (x, 0) = (x - 1) t ->$ .

$-> (A (x, 0) = 1) -> ln A (x, t) = (x - 1) t ->$ $A (x, t) = e^{(x - 1) t}$ . (158).

Тепер, скориставшись (151), дістанемо:

$p_{0} (t) = A (0, t) = e^{-} -$ .

$p_{1} (t) = A^{'} (0, t) = {(e^{- (x - 1)})}_{x}^{'} = {te}^{(x - 1)} |_{x = 0} = {te}^{-} -$ .

$p_{2} (t) = \frac{A^{''} (0, t)}{2!} = \frac{1}{2!} {(e^{- (x - 1)})}_{x}^{''} = \frac{{()}^{2}}{2!} e^{(x - 1)} |_{x = 0} = \frac{{()}^{2}}{2!} e^{-} -$ .

$p_{3} (t) = \frac{A^{'''} (0, t)}{2!} = \frac{1}{2!} {(e^{- (x - 1)})}_{x}^{''} = \frac{{()}^{3}}{3!} e^{(x - 1)} |_{x = 0} = \frac{{()}^{3}}{3!} e^{-} -$ .

$p_{4} (t) = \frac{A^{'''} (0, t)}{4!} = \frac{1}{4!} {(e^{- (x - 1)})}_{x}^{''} = \frac{{()}^{3}}{4!} e^{(x - 1)} |_{x = 0} = \frac{{()}^{3}}{4!} e^{-} -$ .

Показати весь текст

Заповнити форму поточною роботою