Марковські випадкові процеси з дискретними станами і дискретним часом.
Ланцюги Маркова (реферат)
Вивчаючи марковські процеси, часто з метою наочного висвітлення цього питання розглядають певну економічну або будь-яку іншу систему А, котра в кожний фіксований момент часу t = t i може перебувати в одному з несумісних станів i = 1, 2, ... k, .. ., причому перехід цієї системи з одного стану i до іншого j може відбуватися в моменти часу t = t 1, t 2, ... t k, .. .. Перелічені стани… Читати ще >
Марковські випадкові процеси з дискретними станами і дискретним часом. Ланцюги Маркова (реферат) (реферат, курсова, диплом, контрольна)
РЕФЕРАТ На тему:
Марковські випадкові процеси з дискретними станами і дискретним часом. Ланцюги Маркова.
Вивчаючи марковські процеси, часто з метою наочного висвітлення цього питання розглядають певну економічну або будь-яку іншу систему А, котра в кожний фіксований момент часу може перебувати в одному з несумісних станів , причому перехід цієї системи з одного стану до іншого може відбуватися в моменти часу .
Нехай випадковий перехід системи, А із одного стану в будь-який можливий інший здійснюється лише в певні моменти часу які називають кроками процесу. Такі процеси називаються марковськими з дискретними станами і дискретним часом. Множину всіх можливих станів системи, в яких може перебувати марковський процес, називають простором станів процесу і позначають Символами позначають конкретні стани процесу.
Запис означає перехід процесу із і-го стану до j-го. Простір станів може бути обмеженим і необмеженим. Далі розглядатимемо марковські процеси з обмеженою кількістю станів простору .
Приклад 1. Футбольна команда готується до чергового матчу, результатом якого можуть бути з певною ймовірністю лише три несумісні стани (події): команда виграє - стан нічийний результат матчу — стан команда програє матч — стан Отже, .
Перелічені стани є несумісними, і перехід команди в кожний із цих станів може здійснюватися з певною ймовірністю. Розглядаючи команду як систему, можна стверджувати, що в ній відбувається марковський процес із дискретними станами та дискретним часом переходу з одного стану до іншого за один крок (за один матч).
Приклад 2. Фермер купив трактор. У процесі роботи його в господарстві трактор може з певною ймовірністю перебувати в одному з несумісних станів: — роботоздатному- — нероботоздатному. Перехід із одного стану до іншого може відбуватися в дискретні моменти часу.
Отже, випадковий процес, який маємо в системі (тракторі), буде марковським процесом із дискретними станами та дискретним часом. Простір станів .
Класифікація станів у загальному вигляді
1. Ергодичний стан.
Нехай задано простір станів марковського процесу і певну підмножину станів при цьому буде доповненням до А.
Якщо з кожного стану підмножини, А можна перейти до будь-якого стану і при цьому до стану процес не зможе перейти ні з одного зі станів, які належать підмножині А, то в цьому разі А називають ергодичною множиною, або множиною ергодичного стану процесу. Одного разу потрапивши до ергодичної множини, процес ніколи не зможе залишити її, і з цього моменту часу переміщуватиметься лише серед тих станів, які належать ергодичній множині А.
Отже, ергодичний стан є елементом ергодичної множини.
Щойно сказане ілюструє рис. 11.
Рис. 11.
З рис. 11 бачимо, що стани утворюють ергодичну множину А. Стани також утворюють ергодичну множину Перехід процесу із, А в , як і навпаки, є неможливим.
2. Нестійкі стани.
Нехай задано простір станів випадкового процесу а також . Тоді, якщо будь-який стан підмножини, А може бути досягнений із будь-якого іншого стану цієї самої підмножини і при цьому існує хоча б один стан , із якого процес може перейти до стану то підмножину станів, А називають нестійкою.
Нестійкий стан є елементом нестійкої множини А.
Це схематично ілюструє рис. 12.
Рис. 12.
Як бачимо з рис. 12, процес зі стану може з певною ймовірністю перейти до стану .
Поглинальні стани
Якщо ергодична множина має лише один стан, то його називають поглинальним. Одного разу потрапивши до цього стану, процес у ньому залишається назавжди.
У загальному випадку марковський процес може мати одну, дві і більше ергодичних множин, але при цьому не мати нестійких множин.
Марковський процес із дискретними станами і дискретним часом називають також марковським ланцюгом, що є різновидом марковського процесу, в якому майбутнє залежить від минулого лише через теперішнє.