«На краю пропасти». Отрывок из книги
Беспрецедентные риски (глава 7. Защита человечества)
Человечество никогда не сталкивалось с экзистенциальной катастрофой, и остается надеяться, что столкнуться с ней в будущем ему не придется. Катастрофы таких масштабов беспрецедентны в нашей долгой истории. Поэтому у нас возникают серьезные трудности, когда мы пытаемся изучить, спрогнозировать и предотвратить такие бедствия. Более того, эти трудности никуда не денутся, поскольку экзистенциальные риски заведомо беспрецедентны. Когда у нас появится прецедент, станет слишком поздно, ведь мы уже лишимся будущего. Чтобы сберечь долгосрочный потенциал человечества, мы вынуждены строить планы и воплощать их в мире, никогда не видевшем событий, которых мы надеемся избежать1. Рассмотрим три связанных с этим трудности и попытаемся понять, как их преодолеть.
Во-первых, нельзя полагаться на свои интуитивные знания и институты, сформировавшиеся для работы с рисками малого и среднего масштабов2. Наше интуитивное чувство страха ни в эволюционном, ни в культурном плане не приспособлено к работе с рисками, грозящими большим, чем гибель отдельно взятых людей, — с рисками катастроф, которые нельзя допускать даже раз в тысячу лет в мире, населенном миллиардами людей. Это относится и к нашему интуитивному представлению о вероятности крайне редких событий и слишком высоких рисков. Эволюция и культурная адаптация помогли нам относительно неплохо усвоить ответы на эти вопросы в повседневной жизни (когда безопасно переходить дорогу, покупать ли детектор дыма), но плохо справляются с работой с рисками, угрожающими сотням людей, не говоря уже о рисках, которые угрожают миллиардам и всему будущему человечества.
С нашими институтами происходит то же самое. Существующая система законов, норм и организаций для работы с риском ориентирована на риски малого и среднего масштабов, с которыми мы сталкивались в прошлых веках. Она плохо справляется с колоссальными рисками, способными разорить страны по всему миру, с серьезными рисками, при наступлении которых не остается ни одного юридического института, чтобы покарать виновных.
Во-вторых, у нас вообще нет права на ошибку. Это лишает нас возможности учиться на своих промахах. Как правило, человечество управляет рисками методом проб и ошибок. Мы увеличиваем вложения или усиливаем регулирование, ориентируясь на причиненный ущерб, и ищем способы предотвращать новые пожары, ходя по пепелищу.
Но в случае с экзистенциальным риском пассивный метод проб и ошибок не оправдывает себя. Нам необходимо будет принимать упреждающие меры: иногда сильно заранее, иногда ценой немалых издержек, иногда даже в моменты, когда еще непонятно, реален ли риск, а если да, то помогут ли эти меры его устранить3. Для этого нужны институты, имеющие доступ к новейшей информации о приближающихся рисках, способные к решительным действиям и готовые к тому, чтобы перейти к ним на практике. При работе со многими рисками многие (а может, и все) страны мира должны будут действовать слаженно. Возможно, принимая те или иные меры, мы будем понимать, что никогда не узнаем, принесут ли они пользу, несмотря на все издержки. В конце концов для этого понадобятся новые институты, где будут работать умные и здравомыслящие люди, располагающие немалым бюджетом и оказывающие реальное влияние на политику.
Это очень сложные обстоятельства для определения программно-нормативных установок — возможно, с ними не справятся даже лучшие из институтов, существующих сегодня. Но сейчас ситуация именно такова, и мы должны отдавать себе в этом отчет. Чтобы соответствовать этим требованиям, необходимо срочно улучшить наши институциональные возможности.
Весьма непросто будет и понять, когда таким институтам необходимо будет приступить к действию. С одной стороны, они должны быть в состоянии предпринимать решительные шаги, даже если данные не соответствуют высочайшим научным стандартам. С другой стороны, может возникнуть риск, что мы начнем гоняться за призраками — по просьбе (или по принуждению) идти на большие жертвы, не имея достаточно данных. Эта проблема усугубляется, когда риск связан с засекреченными сведениями или информационными опасностями, к анализу которых нельзя привлечь широкую публику. Похожие трудности возникают из-за того, что власти наделены правом объявлять чрезвычайную ситуацию: в разгар реального кризиса без чрезвычайных полномочий не обойтись, но ими очень легко злоупотреблять4.
Третий вызов связан с недостатком знаний. Как прогнозировать, измерять и осознавать риски, которые никогда не наступали? Крайне сложно предсказать риск, сопряженный с новыми технологиями. Представьте момент, когда на наши дороги впервые выехали автомобили. Было совсем непонятно, насколько это опасно, но теперь, когда это случилось и позади остались миллионы километров, мы легко определяем риски, анализируя статистические частоты. Это позволяет нам понять, перевешивают ли выгоды эти риски, что именно нам могут дать очередные усовершенствования в сфере безопасности и какие усовершенствования будут особенно полезны.
Мы не располагаем такими данными об экзистенциальном риске и не можем рассчитать вероятности на основе длительных наблюдений за частотами. Нам приходится принимать чрезвычайно важные решения в отсутствие надежной информации о вероятностях сопряженных с ней рисков5. Оценка вероятностей тех событий, на которые мы ориентируемся при принятии решений о работе с экзистенциальным риском, сопряжена с серьезными трудностями6. Эта проблема уже наблюдается в исследованиях климатических изменений и вызывает серьезные трудности при выработке политики в этой области — особенно если это приводит к возникновению явных или неявных систематических ошибок при интерпретации неоднозначных данных.
В период холодной войны беспокойство об экзистенциальном риске, сопряженном с ядерной войной, часто списывалось со счетов по причине того, что серьезность риска не была доказана. Но для экзистенциального риска такой стандарт недостижим. Научные доказательства предполагают многократное повторение экспериментов, и при разработке этих требований подразумевалось, что такие эксперименты возможны и не слишком затратны. Ни одна из этих посылок, однако, не верна. Как метко отметил Карл Саган, «теории, предполагающие конец света, не поддаются экспериментальной проверке — по крайней мере, их нельзя проверить дважды»7.
Даже не имея исторических данных об экзистенциальной катастрофе, мы можем оценивать сопряженные с ней вероятности или определять границы этих вероятностей. Например, в третьей главе мы научились ориентироваться на продолжительность существования людей и подобных животных, чтобы получить достаточно грубую оценку общего природного риска. Мы также можем учитывать случаи, когда нам едва удалось избежать гибели: как крупнейшие из случившихся катастроф (например, черную смерть), так и едва не случившиеся экзистенциальные катастрофы (например, в ходе Карибского кризиса). Это поможет нам понять, насколько общество устойчиво к крупным катастрофам и как из-за неполноты информации страны порой оказываются гораздо ближе к войне с фатальными последствиями, чем планировали. Нам нужно извлекать как можно больше уроков из таких случаев, даже если они не являются точными аналогиями для новых рисков, с которыми мы сталкиваемся, поскольку других данных у нас попросту нет.
В некоторой степени использование данных о едва не случившихся катастрофах систематизировано в сфере анализа рисков. Существуют методы для оценки вероятности беспрецедентных катастроф на основе прецедентных просчетов, которые должны необходимо случиться, чтобы катастрофа действительно произошла. Например, методика анализа дерева ошибок была разработана для оценки надежности стартовых комплексов ядерных ракет и регулярно помогает при управлении такими низкочастотными рисками, как авиакатастрофы и ядерные аварии8.
Особенно сложно оценивать риски вымирания человечества. Вне зависимости от вероятности такого события найти в прошлом его прецедент невозможно. Вариация этого эффекта отбора может искажать исторические данные о некоторых катастрофах, связанных с вымиранием, даже если они вызывают его не всегда. Например, у нас, вероятно, нет возможности непосредственно применить имеющиеся данные о столкновениях с астероидами и полномасштабной ядерной войне. Насколько нам известно, такие эффекты отбора не слишком искажают исторические данные, но статей по этой теме мало, а некоторые методологические проблемы еще не решены9.
Наконец, трудность возникает и при работе со всеми маловероятными рисками с высокими ставками. Допустим, по оценкам ученых, беспрецедентный технологический риск может с чрезвычайно малой вероятностью вызвать экзистенциальную катастрофу. Пусть вероятность этого составляет один на триллион. Можем ли мы использовать эту конкретную цифру в своем анализе? К сожалению, нет. Вероятность того, что ученые некорректно оценили эту вероятность, во много раз выше, чем один на триллион. Как мы помним, они не сумели оценить масштаб колоссального ядерного взрыва «Касл Браво»*, а если бы просчет был настолько маловероятен, таких примеров не было бы. Следовательно, если катастрофа все-таки происходит, гораздо вероятнее то, что в расчеты закралась ошибка и реальный риск был серьезнее, чем то, что произошло событие с вероятностью один на триллион.
Это значит, что число один на триллион не может быть точкой отсчета при принятии решений, а те, кто их принимает, должны учитывать это и ориентироваться на более высокую вероятность10. Не очень понятно, как именно это делать. Общая установка состоит, в частности, в том, что неопределенность физической вероятности события не может быть причиной игнорировать риск, поскольку истинный риск может быть как выше, так и ниже. Более того, если изначальная оценка вероятности очень низка, корректный учет неопределенности часто ухудшает ситуацию, поскольку истинная вероятность может быть существенно выше, а может быть и значительно ниже11.
Трудности, связанные с экзистенциальным риском, неординарны, но они разрешимы. Для этого необходимо расширить наши теоретические знания о том, как оценивать риски, беспрецедентные по своей природе. Нужно научиться лучше сканировать горизонт и прогнозировать появление подрывных технологий, а также более эффективно внедрять эти методы и идеи в процесс принятия стратегических решений.
* Испытание термоядерной бомбы США на атолле Бикини в 1954 году, когда мощность и последствия взрыва оказались значительно выше, чем было запланировано, из-за непредвиденных дополнительных реакций. — Прим. науч. ред.
1 В зависимости от того, как именно мы определяем экзистенциальную катастрофу, их может случиться и две. Допустим, мы лишились 99% своего потенциала в экзистенциальной катастрофе. Поскольку я не утверждаю, что катастрофа может считаться экзистенциальной, только если полностью уничтожит наш потенциал, такая катастрофа идет в расчет. В последующие годы нам, возможно, целесообразно будет оберегать оставшийся 1% нашего потенциала от новых катастроф. Если изначально наш потенциал был поистине велик, то оставшийся 1% также может быть велик в сравнении с нашими будничными заботами и доводы в пользу его сохранения могут быть очень вескими. В этом случае людям, живущим после первой экзистенциальной катастрофы, логично изучить все подходы к работе с экзистенциальным риском. Можно определить экзистенциальный риск через наш остаточный потенциал, и тогда человечество может столкнуться с несколькими последовательными экзистенциальными катастрофами, а можно определить его через наш изначальный потенциал, и тогда в расчет пойдет лишь первая катастрофа. Я не знаю, какое из определений лучше, поэтому оставляю этот вопрос открытым. Обратите, однако, внимание, что ничего из написанного в этом разделе из-за этого не меняется. Даже если люди смогут научиться на ошибках первой экзистенциальной катастрофы, это позволит им сохранить лишь остатки ценности, а значит, первая катастрофа безгранично важнее, и при этом сталкиваются с ней люди, в представлении которых она имеет беспрецедентный характер.
2 См. Groenewold (1970) и Bostrom (2002b).
3 Эти меры могут быть направлены на любую стадию катастрофы — предупреждать ее начало, ограничивать ее распространение, создавать устойчивость к ее воздействию, — но выделять ресурсы, собирать информацию и планировать действия все равно нужно заранее.
4 Я взял эту мысль у Бустрёма (Bostrom, 2013, p. 27).
5 Иногда эту ситуацию называют «Найтовой неопределенностью» или просто «неопределенностью» и отличают от ситуаций «риска», в которых у нас есть доступ к вероятностям (Knight, 1921). Существует несколько способов провести такое различение, например применять понятие «неопределенность» только к ситуациям, когда мы не обладаем никакой поддающейся количественной оценке информацией о том, случится ли событие. Я не стану использовать такую терминологию на страницах этой книги и продолжу называть экзистенциальные риски «рисками». Обратите внимание, что почти всегда я говорю о «рисках» применительно к ситуациям, объективная вероятность которых нам неизвестна, но у нас есть хотя бы какие-то количественные данные о том, случится ли катастрофа (например, то, что вероятность начала ядерной войны в следующую минуту составляет менее 50%).
6 Обзор попыток и методик оценки экзистенциального риска см. в Rowe and Beard (2018).
7 Lepore (2017).
8 Дерево ошибок — это схема логических связей между событиями, в частности связей, приводящих к провалу. Оно позволяет выявить возможные источники провалов — последовательности и комбинации событий, которые должны случиться, чтобы дело окончилось неудачей, и оценить их вероятность.
9 Вопрос об антропных эффектах отбора при оценке риска был поднят в Leslie (1996, pp. 77, 139–141) и изучен в Bostrom (2002a). См. работу Ćirković, Sandberg & Bostrom (2010), где тщательно анализируется «антропная тень»: цензурирование исторических данных о различных событиях, связанных с риском вымирания.
10 Это подчеркивается, с привязкой к Большому адронному коллайдеру, в работе Ord, Hillerbrand & Sandberg (2010). Разобраться, в чем проблема, поможет байесовский подход. У нас есть априорное представление об объективной вероятности, а также некоторые данные, подкрепляющие расчеты ученых. Следовательно, наша апостериорная оценка должна находиться в промежутке между априорной оценкой и оценкой ученых. Когда ученые дают чрезвычайно низкую оценку, апостериорная оценка, как правило, оказывается выше. Эта проблема затрагивает все риски с низкой вероятностью, но решать ее нужно лишь в тех случаях, когда ставки достаточно высоки и потому есть основания для дополнительного анализа.
11 Это связано с тем, что в случае с маловероятными рисками с высокими ставками истинная вероятность скорее окажется выше, а не ниже оценки. Например, если вероятность оценивается в один на миллион и шансы того, что истинная вероятность окажется в десять раз выше или в десять раз ниже, равны, то первое сильнее влияет на ожидаемую истинную вероятность, повышая ее. Иными словами, если вы еще не сделали поправку на этот эффект, ваша точечная оценка базовой вероятности часто оказывается ниже ожидаемой, но при принятии решений важна именно ожидаемая оценка.
