Нейронные сети. Эволюция

Так же замечаем, что (E2 – E1 = -?E) и (w2 –w1 = ?w), откуда делаем вывод:

?w = -?E/?w

Ничего не напоминает? Это почти то же, что и дельта линейного классификатора (?А = E/х), подтверждение того что наша эволюция прошла с поэтапным улучшением математического моделирования. Таким же образом, как и с обновлением коэффициента (А = А+?А), линейного классификатора, обновляем весовые коэффициенты:

новыйwij= старый wij-(– ?E/?w)

Знак минус, для того чтобы обновить вес в большую сторону, для уменьшения ошибки.

На примере графика – от w1 до w2.

В общем виде выражение записывается как:

новыйwij= старый wij– dE/dwij

Еще одно подтверждение, постепенного, на основе старого аппарата, хода эволюции, в сторону улучшения классификации искусственного нейрона.

Теперь, зайдем с другой стороны функции ошибки:

Снова замечаем, что (E2 – E1 = ?E) и (w2 –w1 = ?w), откуда делаем вывод:

?w = ?E/?w

В этом случае, для обновления весового коэффициента, в сторону снижения функции ошибки, а значит до значения находящееся левее (w1), необходимо от значения (w1) вычесть дельту (?w):

новыйwij= старый wij- ?E/?w

Получается, что независимо от того, какого знака производная ошибки от весового коэффициента по входу, вычитая из старого значения – значение этой производной, мы движемся в сторону уменьшения функции ошибки.

Откуда можно сделать вывод, что последнее выражение, общее для всех возможных случаев обновления градиента.

Запишем еще раз, обновление весовых коэффициентов в общем виде:

новыйwij= старый wij– dE/dwij

Но мы забыли еще об одной важной особенности… Сглаживания! Без сглаживания величины дельты обновления, наши шаги будут слишком большие.

Мы подобно кенгуру, будем прыгать на большие расстояния и можем перескочить минимум ошибки! Используем прошлый опыт, чтоб устранить этот недочёт.

Вспоминаем старое выражение при нахождении сглаженного значения дельты линейного классификатора: ?А = L*(Е/х).

Где (L) – скорость обучения, необходимая для того, чтобы мы делали спуск, постепенно, небольшими шашками.

Ну и наконец, давайте запишем окончательный вариант выражения при обновлении весовых коэффициентов:

новыйwij= старый wij– L*(dE/dwij)

Еще раз можем убедиться, в постепенном улучшении свойств, в ходе эволюции искусственного нейрона. Много из того что реализовывали ранее остается, лишь небольшая часть подверглась эволюционному улучшению.