Квантовый переход. Книга первая. Техническая сингулярность

Представь себе, что у тебя есть умный робот, и ты ставишь ему задачу: «Сделай мне хорошо». Но не расшифровал ему, что ты имеешь в виду. И он интерпретировал это по-своему, а именно: усыпил тебя и сделал операцию – вживил в мозг электрод. В зону удовольствия. А когда ты очнулся, пустил ток. И тебе хорошо. Формально задача выполнена. Но ты же не этого хотел, верно?

– Значит, нужно просто правильно поставить задачу….

– А что значит «Правильно поставить задачу»? Расшифровать подробно понятие «сделать хорошо»? Задать ограничения?

– Ну да, например, сказать роботу, что нельзя производить хирургическое вмешательство.

– Тогда робот накормит тебя наркотиками. Тебе будет хорошо, и он бодро отрапортует о выполнении задачи.

– Хм, – Максим задумался.

– Да, действительно, ограничений придется вкладывать слишком много, – наконец сказал он, – Нельзя оказывать химическое воздействие на мой организм, еще что-то нельзя. И не дай Бог что-то забуду. Хотя… стоп. А как же три закона робототехники, придуманные Азимовым?

– Ну, хорошо.

Робот не может причинить вред человеку. А что значит вред? Допустим, человеку потребовалась срочная операция на сердце. Но хирургическое вмешательство робот не может осуществить: вред же, повреждение тканей.

– Робот так же не может своим бездействием допустить, чтобы человек был причинен вред. То есть, он должен произвести операцию.

– А вот тут мы получаем конфликт мотиваций. Но, в принципе, разрешить данный конфликт мы можем сравнением, где больше вреда.

Врачи, кстати, так и делают: оценивают риск от хирургического вмешательства и, исходя из опасности заболевания, выносят решение о том, показана ли операция. Да, искусственный интеллект может принимать решения по такой же методике. Но проблема не в этом. А в том, что умная машина может принять решение, которое нас не устроит. И последствия могут быть довольно плачевными.

– Ну, значит нужно тщательно тестировать. Выявить все возможные подводные камни.

– Чем мы, собственно и занимается….

– Это-то я понимаю. Но не понимаю одного: зачем держать Синтию-2 в подвале обитым фольгой? Как она может вырваться из отключенного от сети компьютера?

– А ты в курсе, что специальным оборудованием можно снять изображение с мониторов, находящихся за стеной?

– А… так ты опасаешься шпионов? … Но я все равно не вижу смысла обивать комнату фольгой, если любой сотрудник запросто может вынести информацию на флешке.

Леонид улыбнулся.