Введение в машинное обучение

Производная сигмоидальной активационной функции:

Для любого скрытого слоя сети:

В случае сигмоидальной активационной функции:

Рассчитанное значение градиентов ошибки dz

], dz

], … , dz

также сохраняем в кэше.

Шаг 4. Модифицируем веса сети с учетом значения ошибки для всех слоев I ? L:

где i – номер слоя сети; ? – параметр обучения (learning rate) (0 < ? < 1); ?

– матрица весов слоя i; dz

– рассчитанное значение ошибки i-го слоя (точнее говоря, градиент ошибки).

Полу

чив измененные значения весов, повторяем шаги 1–4 до достижения некоторого минимального значения ошибки либо заданное количество раз.

Процесс обучения искусственной нейронной сети можно представить в виде следующей схемы (рисунок 2.10):

Рисунок 2.10. Итеративный процесс обучения искусственной нейронной сети

Рассмотрим пошаговый пример расчета прямого распространения сигнала, обратного распространения ошибки и коррекции весов.

Поша

говый пример расчета алгоритма обратного распространения ошибки

В этом примере (рисунок 2.11) веса нейронной сети будем обозначать символом w, смещения b. Номер слоя, как и ранее, указываем верхним индексом в квадратных скобках для того, чтобы не путать с индексом обучающего примера, номер нейрона в слое – нижним индексом. Выход нейрона по-прежнему обозначаем символом а.

Рисунок 2.11. Пример нейронной сети с одним скрытым слоем

Входной слой с его входами x для единообразия последующих матричных операций обозначаем как нулевой слой – a

]. В нашем при

мере x1 = 0, x2 = 1, тогда a

] = x1 = 0 и a

] = x2 = 1. Смещение (bias) во всех слоях a

= 1.

На вход сети, таким образом, подается вектор [1,0,1], а на выходе сети необходимо получить y=1.

Шаг 1. Прямое прохождение сигнала.

Рассмотрим прямое прохождение сигнала от входа к выходу:

Выход нейронной сети:

Шаг 2. Расчет ошиб

ки выходного слоя.

Сеть должна давать значение y

= 1, однако получена величина 0.78139. Ошибка, c которой сеть «предсказывает» наш единственный пример, равна разнице между ожидаемым значением и полученным результатом.

Шаг 3. Обратное распространение ошибки.

Полученную ошибку нужно «распространить обратно» для того, чтобы скорректировать веса сети.