Вся фигня – от мозга?! Простая психосоматика для сложных граждан

Рис. 2.3. Упрощенная схема суммирования сигналов в нейроне. Сумма входящих подставляется в функцию активации. Результат подается на единственный выход, где его уже ждут благодарные нейронные соседи

Мы видим, как несколько, а именно произвольное число n (подставьте на его место возраст соседского кота), сигналов поступают на вход круглого чёрного ящика. Там сигналы складываются (знак суммы) и сравниваются с пороговым значением. Если порог преодолён, нейрон выдает на выходе единицу. Иначе – ноль.

Функция f, имеющая форму ступеньки и превращающая входной сигнал в выходной (рис. 2.4), называется функцией активации. Само слово «функция» здесь употребляется в непривычном для многих значении. Обычно функция какого-то объекта – это его способности или предназначение. Например, функция паяльника – нанесение расплавленного припоя в место контакта деталей. В особых случаях – терморектальный криптоанализ. Но в нашем контексте функция – это математическая операция, превращающая одно число в другое (одно числовое множество в другое).

Рис. 2.4. Функция активации, то есть зависимость исходящего сигнала (вертикальная ось) от суммы входящих (горизонтальная ось)

Простейший вид функции активации – ступенька. Если число на входе меньше порогового значения U, то функция превратит это число в ноль. Если больше порога, то в единицу. Так вся бесконечная числовая ось отображается в две точки: ноль или один. Удобно, не правда ли? Удобно, но возникает несколько вопросов.

Почему ноль – понятно. Но вот почему именно единица? Почему не корень из двух, почему не минус сто, почему не потенциал ионизации атома водорода? Да потому что сравнивать не с чем. Все нейроны одинаковые. Эталон сигнала мы выбираем сами. Так что мешает положить максимально возможный сигнал равным единице? Ничего не мешает. Вот мы и кладём. Чтобы считать было легче.

А почему, либо ноль, либо единица? А если порог почти-почти преодолён? Или сумма входных сигналов застыла прямо на пороге? Направление вашей мысли понравилось бы любому специалисту по нейронным сетям.

Чем дальше в лес, тем более хитрые зависимости выходного сигнала от входного придумывали учёные. Вместо ступеньки теперь часто рисуют «сигмоиду» – такую гладенькую возрастающую выпуклую кривую (рис. 2.5), прижимающуюся к единице по мере возрастания входного сигнала. То есть нейрон как бы верещит, но не громко.

Рис. 2.5.