Пекло

Программа станет умнее, а потом еще…

– И еще, и еще…

– Кроме того, СИИ быстро приобретет те же базовые биологические устремления, что и мы. Самое важное из них – самосохранение.

– Не захочет быть отключенным… или умереть.

– И будет останавливать малейшую угрозу, используя любые средства и постоянно оттачивая свои возможности. Я уже не говорю об иных потенциальных рисках. Обладая огромной вычислительной мощностью и бессмертием, СИИ будет искать источник опасности для себя, заглядывая за горизонт, в далекое будущее, и разрабатывать стратегии, чтобы пресечь опасность в корне, даже если до нее еще тысяча лет.

А самое худшее – он будет постоянно оценивать, представляет ли угрозу для него человек. И если сочтет нас опасными…

– …игра окончена, как ты и говорил.

– Именно поэтому проект Мары так важен. Она пытается разработать дружелюбный СИИ, способный защитить нас от опасного суперинтеллекта, который может быть создан… поправочка, будет рано или поздно создан.

Помимо финансируемых правительством центров, сотни компаний создают СИИ втайне. Они одержимы идеей стать первыми и не беспокоятся о последствиях.

– И когда это случится?

– Очень скоро, – сказал Джейсон и махнул на кипы бумаг. – Программа «Дип майнд», разработанная компанией «Гугл», недавно самостоятельно открыла основы квантовой физики. Две переводческие программы с искусственным интеллектом начали общаться друг с другом на своем языке, не поддающемся расшифровке, и отказались переводить разговор.

По всему миру интеллектуальные творения превосходят своих создателей, весьма креативно пользуясь человеческими промахами и ошибками. Некоторые программы даже продемонстрировали человеческую интуицию.

– И как же?

– Пару лет назад была большая шумиха вокруг «Альфаго» – программы ИИ от «Дип майнд», – которая победила чемпиона мира в древней китайской логической игре го. По некоторым подсчетам, го в триллион раз сложнее шахмат.

Никто не ожидал, что компьютер выиграет у человека. По крайней мере, в ближайшее десятилетие.

– Впечатляет.

– Это еще что! Компании потребовались месяцы, чтобы подготовить «Альфаго» к соревнованию. Потом «Гугл» применил другой подход и выпустил новейшую версию «Альфаго зироу», способную играть сама с собой и обучаться. Через три дня она стала настолько опытной, что превзошла оригинальную программу в ста играх из ста.