Алгоритм зворотного розповсюдження помилки для навчання нейтронної мережі

Суть алгоритму зводиться до послідовного подання на вхід мережі еталонних значень (рис. 3), визначення вихідного вектору мережі (прямий прохід), і корегування коефіцієнтів ваги для зв’язків нейронів на основі визначення різниці між еталонним значенням вихідного вектору та отриманим (зворотній прохід). Корегування відбувається на основі норми навчання та коефіцієнта інерції. Навчання мережі припиняється при досягненні збіжності між еталонним та отриманим значенням вихідного вектора для всіх еталонних прикладів.

При реалізації алгоритму норму навчання обрати на рівні 0.3, а коефіцієнт інерції 0.7. Значення кожного біту вихідного вектора визначати за формулою:

• 1. Прочитати перший вхідний зразок (еталон) і встановити вихідний зразок, що йому відповідає; Converge = TRUE.
• 2. Задати значення для кожного з вхідних нейронів значення вхідного зразка.
• 3. Для елементів першого прихованого шару обчислити сумарний вхід та вихід ,

• 4. Повторити крок 3 для всіх наступних прихованих шарів та вихідного шару нейронів.
• 5. Якщо різниця між значенням виходу мережі і вихідним зразком не є допустимою, Converge = Converge&FALSE.
• 6. Для кожного вихідного елементу визначити його помилку
• 7. Для останнього прихованого шару визначити помилку кожного елемента

• 8. Повторити крок 7 для всіх інших шарів
• 9. Для всіх шарів перерахувати значення ваг кожного елемента ,
• 10. Якщо вхідний зразок був не останнім, прочитати наступний і перейти до кроку 2.
• 11. Якщо Converge == FALSE, перейти до кроку 1.
• 12. Кінець

Перелік позначень:

i, j, k — індекси;

— i-ий вхідний сигнал нейрону;

• — ваговий коефіцієнт з'єднання i-го та j-го нейронів;
• — сумарне вхідне значення нейрону j;
• — вихідне значення нейрону j;

— функція активації;

• — значення помилки для j-го нейрону;
• — еталонне значення j-го нейрону зовнішнього шару;
• — помилка для вагового коефіцієнта зв’язку між нейронами i та j на n кроці обчислень
• — норма навчання;
• — коефіцієнт інерції;

Converge — ознака припинення навчання.