Бинарный код. Mystery Number Three

Задан алгоритм не навредить человеку, служить ему, но не задан алгоритм – не навредить человечеству. Для машины важно, чтобы остались живы и невредимы те люди, кому она служит, а все остальное человечество она может принести в жертву.

– Но разве мы требуем этого от нее, разве мы сообщаем, что нас надо от них спасать?

– Мы, возможно, нет.

– Что-то ты говоришь загадками. Тогда кто?

– Тот, кто составлял ее логически-алгоритмическую систему.

– Нет, этого не может быть. В таком случае у нее была бы возможность развязать мировую войну уже давно.

Ты, надеюсь, знаешь, что этот мир несколько раз был на пороге этого. В последний раз, когда Путин фактически инициировал этот вопрос, именно данные ИСУ-А2 остановили его рассмотрение.

– Почему же он теперь рассматривается?

– Он рассматривается как ситуация, которой быть не может, рассматривается теоретически, с научной точки зрения. Риск всегда есть, сейчас он низок, потому что сейчас приостановлены модернизация и создание новых средств преодоления, одновременно созданы и усилены средства ПРО.

Этими данными она как раз и оперирует.

– А запрос на исследование ситуации и последствий в случае подрыва всего боезапаса лодок?

– По правилам – мы должны это делать.

– Почему сейчас, когда лодки уже там?

– Слушай, ты меня начинаешь пугать. Это без нас невозможно в принципе.

– А кто имеет допуск к редактированию лиц, чьи команды должна принять система в случае ее боевого взвода?

Хент сел, показал жестом, чтобы Рутра тоже сел на стул.

– Зачем тебе это?

– Раз Вы хотите, чтобы я докопался до истины, я должен знать это.

– Зачем это тебе сейчас?

– Я подозреваю, что в программу суперкомпьютера введен преднамеренно код, который сработает совсем не так, как мы ожидаем.

– Ты думаешь, что система не запустится при ситуации, когда сложатся соответствующие обстоятельства?

– Да.

– И в чем же смысл? Нет-нет, этого не может быть. Ты меня совсем запутал.

– Позвольте мне проверить программный блок суперкомпьютера.

– Яровитович будет крайне возмущен такой постановкой вопроса. Получается, или я ему не доверяю, или мы считаем, что его обманывают, причем свои, или его одурачили создатели системы.

– Я думал, в наши взаимоотношения слово «обидеться» не входит.

– Ну, тогда второй и третий вариант.

– Ну, так что, пойду?

– В такой момент? Все уже на взводе.

– Поэтому нужно торопиться.

– Хорошо, тогда и ты выполнишь условие.