Окремі випадки задач оптимального стохастичного керування

ОКРЕМІ ВИПАДКИ ЗАДАЧ ОПТИМАЛЬНОГО СТОХАСТИЧНОГО КЕРУВАННЯ

1. Зовнішній інтеграл

Функції і можуть бути довільними, а математичні сподівання можна обчислювати, якщо як функція від є вимірною.

Якщо ж оптимальна стратегія, отримана в результаті оптимізації, виявиться невимірною, то і функція може виявитися невимірною. У цьому випадку математичне сподівання невизначено.

Для розв’язання цієї проблеми застосовують два підходи. Перший полягає в накладенні на функції і таких обмежень, які забезпечували б вимірність підінтегральної функції на кожному кроці оптимізації: функції і, , повинні бути неперервними по своїх аргументах і повинна існувати щільність імовірності розподілу випадкової величини, а множини значень припустимих стратегій повинні бути компактними.

На жаль, на практиці ці вимоги не завжди виконуються. Тому другий підхід пов’язаний з використанням зовнішнього інтеграла.

Позначимо через простір елементарних подій, що є довільною множиною, а — деяка система підмножин множини .

Математичним сподіванням випадкової величини, заданої на імовірнісному просторі, називається число, якщо інтеграл з правої частини існує.

Нехай і - борелівські простори,, єалгеброю в. Функція називаєтьсявимірною, якщо для будь-якої множини. Тут — борелівськаалгебра простору .

Для функції, () зовнішній інтеграл за мірою визначається як нижня грань інтегралів від всіх вимірних функцій (), що мажорують, тобто

.

Тут — функція розподілу випадкової величини, що відповідає ймовірнісній мірі .

Для довільної функції має місце співвідношення:

де, , і вважають, що .

Оскільки зовнішній інтеграл визначений для будь-якої функції, як для вимірної, так і для невимірної, то ніяких додаткових обмежень на функції і накладати не треба.

Для вимірних функцій обидва види математичних сподівань співпадають. Отже, у постановках задач можна замінити звичайне математичне сподівання на зовнішнє, і навіть якщо знайдена при цьому функція виявиться вимірною, то отримана стратегія керування не перестане бути оптимальною.

Зовнішня міра множини визначається співвідношенням .

Для будь-якої множини

де — це індикатор множини, що визначається як

а) якщо, то ;

б) якщо і, то ;

в) якщо або, то ;

г) якщо задовольняє рівності, то для будь-якої функції має місце рівність ;

д) якщо, то для будь-якої функції ;

е) якщо і, то. Якщо при цьому хоча б одна з функцій абовимірна, то останнє співвідношення вірно зі знаком рівності.

Позначимо через дійсну пряму, а через — розширену дійсну пряму і надалі у всіх висновках замість дійсної прямої використовуватимемо поняття розширеної дійсної прямої.

Вважатимемо, що для розширеної дійсної прямої мають місце всі співвідношення порядку додавання і множення, які було введено для, і припустимо, що і .

Позначимо через множину всіх дійсних у розширеному розумінні функцій, де — простір станів.

— банахів простір всіх обмежених дійсних функцій з нормою, що визначається за формулою

.

Позначатимемо, якщо, , і, якщо, , .

Для будь-якої функції і будь-якого числа позначимо через функцію, що приймає значення в кожній точці, так, що

.

Припущення монотонності. Для будь-яких станів, керування і функцій мають місце нерівності

якщо і ;

якщо і ;

якщо, і .

Для будь-якого стратегія називаєтьсяоптимальною при горизонті, якщо

іоптимальною, якщо Багато задач послідовної оптимізації, що становлять практичний інтерес, можуть розглядатися як окремі випадки задач загального виду. Розглянемо деякі з них:

· задачі детермінованого оптимального керування;

· задачі стохастичного керування зі зліченним простором збурень;

· задачі стохастичного керування із зовнішнім інтегралом;

· задачі стохастичного керування з мультиплікативним функціоналом витрат;

· задачі мінімаксного стохастичного керування.

2. Детерміноване оптимальне керування

Розглянемо відображення, що задане формулою

, , (1)

за таких припущень:

функції і відображають множину відповідно в множини і, тобто,; скаляр додатний.

За цих умов відображення задовольняє припущенню монотонності. Якщо функція дорівнює нулю, тобто, , то відповіднакрокова задача оптимізації (1) набуває вигляду:

(2)

. (3)

Ця задача є задачею детермінованого оптимального керування зі скінченним горизонтом. Задача з нескінченним горизонтом має наступний вигляд:

(4)

. (5)

Границя в (4) існує, якщо має місце хоча б одна з наступних умов:

·, , ;

·, , ;

·, ,, і деякого .

У задачі (4) — (5) може бути уведене додаткове обмеження на стан системи,. У такому разі, якщо, позначатимемо .

3. Оптимальне стохастичне керування: зліченний простір збурень

Розглянемо відображення, що задане формулою

(6)

за таких припущень:

параметр приймає значення зі зліченної множини з заданим розподілом ймовірностей, що залежать від і; функції і відображають множину відповідно в множини і, тобто,; скаляр додатний.

Якщо, , — елементи множини , — довільний розподіл ймовірностей на, а — деяка функція, то математичне сподівання визначається за формулою

де ,

.

Оскільки, то математичне сподівання визначене для будь-якої функції і будь-якого розподілу ймовірностей на множині .

Зокрема, якщо, ,… — розподіл ймовірностей на множині, то формулу (6) можна переписати так:

При використанні цього співвідношення треба пам’ятати, що для двох функцій, рівність має місце, якщо виконується хоча б одна з трьох умов:

та ;

та ;

та .

Відображення задовольняє припущенню монотонності. Якщо функція — тотожний нуль, тобто, , то за умови, , функцію витрат за кроків можна подати у вигляді:

(7)

де, .

Ця умова означає, що математичне сподівання обчислюється послідовно по всіх випадкових величинах .

При цьому зміна порядку операцій додавання і узяття математичного сподівання припустима, тому що, , і для довільних простору з мірою, вимірної функції і числа має місце рівність .

Якщо виконується одна з двох нерівностей

або

то функцію витрат за кроків можна записати у вигляді:

де математичне сподівання обчислюється на добутку мір на, а стани, , виражаються через за допомогою рівняння .

Якщо функція допускає подання у такому вигляді для будь-якого початкового стану та будь-якої стратегії, токрокова задача може бути сформульована так:

(8)

. (9)

Відповідна задача з нескінченним горизонтом формулюється так:

(10)

. (11)

Границя в (10) існує при виконанні будь-якої з трьох наступних умов:

·, ,, ;

·, ,, ;

·, ,, , і деякого .

Математичне сподівання визначається і як звичайний інтеграл, і як зовнішній інтеграл залгеброю в множині, що складається із всіх підмножин, в залежності від вимірності або невимірності функцій.

Для багатьох практичних задач виконується припущення про зліченність множини .

Якщо ж множина незліченна, то справа ускладнюється необхідністю обчислення математичного сподівання для будь-якої функції. Подолання цих труднощів і пов’язане з використанням зовнішнього інтеграла.