Введение в машинное обучение

В задаче классификации можно считать, что

а в задаче регрессии

J(A(ob), y(ob)) = | A(ob) – y(ob) |

или

J(A(ob), y(ob)) = (A(ob) – y(ob))2.

Возникает закономерный вопрос: что же такое объект? В задачах машинного обучения объект – это некоторое множество параметров (признаков). Если некоторую сущность можно описать конечным набором параметров, то она может рассматриваться как объект в машинном обучении, причем ее физическая природа не имеет значения.

Параметры могут задаваться исследователем, исходя из его представлений о наилучшем описании объекта, так, как это делается в «классических» задачах машинного обучения, или, с другой стороны, формироваться путем выполнения некоторой процедуры так, как это делается в глубоком обучении.

Таким образом, каждый объект ob описывается конечным набором (входных) параметров или свойств (input values or features) x

,x

,….x

, одинаковым для каждого ob

? Ob , а y называется целевой переменной (целевым параметром) (target value) в задаче регрессии или классом в задаче классификации.

Алгоритм А может описываться конечным набором параметров ?

? ? или, как часто говорится при описании нейронных сетей, весов (weights) w

? W.

Задача обучения по примерам рассматривается как задача оптимизации, которую решают путем настройки множества параметров ? алгоритма А так, чтобы минимизировать значение функции стоимости J(?) по всем примерам m.

В задаче регрессии алгоритм A часто называется функцией гипотезы, а функция стоимости определяется как сумма квадратов разности «предсказываемого» алгоритмом (функцией гипотезы) значения и реального значения у по множеству примеров m. При этом подбирается такая функция гипотезы h

(x), которая при некотором наборе параметров ?

? ? обеспечивает минимальное значение J(?).

где m – множество обучающих примеров или объектов; x

– значение параметров или свойств для i-го объекта; y

– фактическое значение объясняемой или целевой переменной для i-го примера; h

– функция гипотезы, которая может быть линейной (h

= ?

+ ?

x) или нелинейной (например, квадратичная функция гипотезы одной переменной – (h

= ?

+ ?

x + ?

x

).