Интеллект-стек 2023

S1 обеспечивает быстрые, неточные, с большим числом логических ошибок результаты. Кроме того, S1 не может объяснить полученные результаты. Но интуиция, «нюх» (включая самые разные математические, логические, физические интуиции), самые разнообразные ассоциации – это всё S1 поддерживает.

Если человек или компьютер с нейросеткой много видел, участвовал во многих ситуациях, много читал, много смотрел видео (и не только художественных фильмов, но и документальных фильмов), то речь у него будет богатой, ассоциации точными и не ограниченными одной модальностью восприятия (видео, аудио, кинестетикой, вкусом, запахом).

Сколько это – много? Это зависит от размера нейросетки. Есть работа[99 - https://arxiv.org/abs/2203.15556 (https://arxiv.org/abs/2203.15556), пояснения на русском с https://t.me/gonzo_ML/1216 (https://t.me/gonzo_ML/1216)], показывающая зависимость размера нейросетки от оптимальной «насмотренности»: если насмотреться меньше, то аппаратные возможности недоиспользованы, если насмотреться больше – результата не будет, только зря потраченное время на познание, «некуда запоминать результаты».

Если очень грубо, то для 40—70 млрд параметров нейросети для обучения надо предъявлять последовательности из 1.4 триллиона токенов (токен – это какой-то элемент как потенциальный носитель смысла, например пиксель, воксель, аудиоотсчёт, буква, слог или часть слова – корень, суффикс, приставка). Мощность человеческого мозга по отношению к оптимальности практически неограничена, нужно довольно долго (сейчас – порядка двадцати пяти лет) насматривать/нарабатывать/начитывать мозг, чтобы он начал выдавать приемлемые результаты мышления. Но нет насмотренности – привет на работе пятилетнему ребёнку, он тоже человек, просто насмотренности поменьше!

Большие языковые модели (large language models), с которыми работают сейчас в области AI, тут мало отличаются: они начитаны, удивительно творческие, хорошо пишут школьные сочинения и даже журнальные статьи, но удивительно глупы: в сгенерированных ими текстах есть ошибки, и эти сетки не трудятся их обнаружить и исправить.

Со временем эта ситуация исправляется, ошибок у нейросетей меньше и меньше, и у взрослых людей ошибок меньше и меньше, но всё равно это не полная безошибочность строгого математического вычисления.

Первая же догадка, которая приходит «на ум» (живому человеку или компьютерной нежити) выдаётся как результат.