На краю пропасти. Экзистенциальный риск и будущее человечества

Нам нужно научиться соотносить цели все более умных и автономных машин с интересами человечества, и сделать это необходимо прежде, чем такие машины станут сильнее нас.

Эти угрозы человечеству и наши ответы на них определяют наше время. Появление ядерного оружия создало реальный риск уничтожения человечества в XX веке. Технологии развиваются все быстрее, а серьезных усилий для защиты человечества не прикладывается, поэтому есть все основания полагать, что в текущем столетии риск станет еще выше и будет расти с каждым веком, пока продолжается технический прогресс.

Поскольку такие антропогенные риски превосходят все природные риски, вместе взятые, именно они определяют, сколько у человечества времени, чтобы отойти от края пропасти.

Я не утверждаю, что вымирание – это неизбежный итог научного прогресса или даже самый вероятный его результат. Я утверждаю, что человечество становится все могущественнее и уже достигло той точки, когда само создает серьезную угрозу собственному существованию.

Нам решать, как мы будем работать с этим риском.

Я не призываю и к отказу от технологий. Технологиям принадлежит огромная заслуга в улучшении благосостояния человечества. Кроме того, без технологий человечество не сумеет раскрыть свой потенциал в долгосрочной перспективе. В отсутствие технологий мы были бы обречены из-за совокупного риска таких природных катастроф, как падение астероидов. В отсутствие технологий мы никогда не придем к истинному процветанию, хотя мы могли бы его достичь.

Проблема не столько в переизбытке технологий, сколько в недостатке мудрости[65 - Это связано с “проблемой темпов” (pacing problem), знакомой всем, кто изучает регулирование технологической сферы. Проблема темпов заключается в том, что технологические инновации все сильнее обгоняют способность законов и норм эффективно регулировать эти технологии. Ларри Даунс (2009) отметил: “Технологии меняются экспоненциально, а социальные, экономические и правовые системы – поступательно”.

Ключевое различие между двумя контекстами состоит в том, что проблема темпов связана со скоростью технологических изменений, а не с их растущей способностью менять мир.]. Особенно хорошо об этом сказал Карл Саган:

Большинство угроз, с которыми мы сталкиваемся, действительно обусловлены наукой и технологиями, но на более фундаментальном уровне они вызваны тем, что мы стали могущественнее, при этом не став соизмеримо мудрей.