Так, завершая обсуждение экзистенциальных рисков в книге “Просвещение продолжается”, Стивен Пинкер обратился к природным рискам: “Наши предки ничего не могли противопоставить этим смертельным угрозам; мы же с вами, благодаря технологиям, живем не в самое опасное, а в самое безопасное время в истории”[466]. Хотя Пинкер прав в том, что мы сталкиваемся со множеством природных угроз, а технологии снизили сопряженный с ними риск, нельзя из этого сделать вывод, что наше время стало исключительно безопасным. Понять почему поможет количественная оценка рисков.
Чтобы наше время стало исключительно безопасным, мы должны были бы снизить природный риск сильнее, чем повысили антропогенный. Однако, как мы увидели в главе 3, несмотря на огромное число смертей в результате природных катастроф, их совокупная вероятность, по-видимому, всегда оставалась крайне низкой (иначе вид вроде нашего просто не смог бы просуществовать так долго). Реалистичная оценка векового природного экзистенциального риска находится в диапазоне от 1 к 1 000 000 до 1 к 2000. Следовательно, нашим технологиям почти нечего снижать. Даже при самой высокой из этих оценок технологии не могут снизить природный риск сильнее, чем на одну двадцатую процентного пункта. И лишь невероятный оптимизм при взгляде в будущее может дать нам основания полагать, что антропогенный риск, с которым мы сталкиваемся, менее серьезен. Можем ли мы ожидать, что проживем еще 2000 таких веков, как этот? Можем ли мы быть на 99,95 % уверены, что протянем еще сто лет?
Таблица 6.1. Мои лучшие оценки вероятности экзистенциальной катастрофы по каждой из перечисленных причин в последующие 100 лет (если катастрофа имеет отложенный эффект, как в случае с изменением климата, я оцениваю вероятность того, что в ближайшие 100 лет будет пройдена точка невозврата). Погрешность этих оценок достаточно велика: их следует считать указанием на верный порядок величин, но каждая при этом вполне может оказаться в 3 раза выше или ниже. Обратите внимание, что цифры не совсем согласуются друг с другом, потому что иначе могло бы возникнуть ложное ощущение точности оценок, а также по неочевидным причинам, описанным в разделе “Объединение и сравнение рисков”.
В связи с этим я присвою рискам количественные вероятности и поясню, как их трактовать. В научном контексте количественные оценки порой безосновательно кажутся людям объективными или точными[467]. Не считайте эти цифры совершенно объективными. Даже с таким хорошо изученным риском, как столкновение с астероидом, научные данные дают нам лишь часть информации: мы неплохо знаем, какова вероятность столкновения, но плохо представляем, какова вероятность того, что определенное столкновение уничтожит наше будущее. Не считайте оценки точными. Они нужны, чтобы показать верный порядок величин, а не более точную степень вероятности.
Цифры показывают мою степень уверенности в том, что каждая из катастроф случится в текущем столетии. Это значит, что в них находят отражение не только сведения и доводы из глав о рисках, но и вся совокупность знаний и суждений о каждом из рисков, которую невозможно в сжатой форме изложить на нескольких страницах. Их никак нельзя считать окончательными – скорее эти цифры представляют собой краткий конспект всего, что я знаю о рисковом ландшафте.
Одна из самых удивительных характеристик этого рискового ландшафта – огромная разница между вероятностями разных рисков. Одни риски в миллионы раз вероятнее других, и мало какие из рисков имеют вероятности одного порядка. Такая разница наблюдается и между разными классами рисков: по моим оценкам, антропогенные риски более чем в 1000 раз вероятнее природных[468]. Из антропогенных рисков, на мой взгляд, риски, сопряженные с технологиями будущего, примерно в 100 раз серьезнее рисков, сопряженных с существующими технологиями, а следовательно, риски в третьей, четвертой и пятой главах расположены по мере роста их вероятности.
(window.adrunTag = window.adrunTag || []).push({v: 1, el: 'adrun-4-390', c: 4, b: 390})
На первый взгляд такая неоднородность может показаться неожиданной, но в науке на удивление часто встречается подобное распределение, включающее цифры различных порядков, где основной вклад в целое вносят максимальные величины. Из-за этой неоднородности нам крайне важно отдавать приоритет работе с нужными рисками. Кроме того, именно поэтому наша оценка общего риска сильно зависит от оценки нескольких самых серьезных рисков (которые входят в число самых слабо изученных). В связи с этим ключевой задачей становится более глубокое изучение этих рисков и более точная их оценка.
На мой взгляд, самый серьезный риск для человеческого потенциала в ближайшее столетие представляет неконтролируемый искусственный интеллект, которому я присвоил вероятность 1 к 10. Может показаться странным, что вероятность такого умозрительного риска столь высока, поэтому не помешает объяснить, чем я руководствовался.
При оценке вероятности беспрецедентного события, способного потрясти весь мир, принято проявлять скепсис: начинать с исключительно низкой вероятности и увеличивать ее лишь в том случае, когда появляется большое количество объективных данных в поддержку такого решения. Я не согласен с таким подходом. Я полагаю, что правильнее начинать с вероятности, которая отражает наши общие впечатления, а затем корректировать ее с учетом научных данных[469]. Когда данных много, эти подходы соединяются. Но когда данных мало, нам не все равно, с чего начинать.
В случае с искусственным интеллектом никто не спорит, что данные и доводы пока далеки от однозначности, но возникает вопрос: что нам это дает? Если не вдаваться в подробности, в своем анализе я отталкиваюсь от общего мнения экспертного сообщества, согласно которому вероятность того, что в ближайшее столетие появятся агенты ИИ, способные превзойти человека в выполнении практически любой задачи, составляет примерно 1 к 2. Если это случится, не стоит удивляться, что агенты, превосходящие нас по всем фронтам, в итоге, возможно, унаследуют наше будущее. Особенно если, рассматривая ситуацию в деталях, мы предвидим серьезные трудности при настройке таких агентов на соответствие нашим ценностям.
Одни мои коллеги присваивают этому риску большую вероятность, чем я, а другие – меньшую. Но в целом наши цифры сходятся. Допустим, вы более скептически подходите к оценке этого риска и присваиваете ему вероятность 1 к 100. С информационной точки зрения эти оценки не так далеки друг от друга: нужно не так уж много данных, чтобы перейти от одной из них к другой. С практической точки зрения они тоже, скорее всего, не слишком различаются: экзистенциальный риск, имеющий любую из этих вероятностей, стал бы проблемой первостепенной важности во всем мире.
Порой я представляю рисковый ландшафт, ориентируясь на пять серьезных рисков: ядерной войны, изменения климата, другого экологического ущерба, пандемий искусственного происхождения и неконтролируемого ИИ. Хотя я считаю последние два особенно важными, на мой взгляд, каждый из них с вероятностью не менее 1 к 1000 может в текущем столетии уничтожить потенциал человечества, а потому каждому из них необходимо противостоять силами всего мира, учитывая их вклад в общий уровень экзистенциального риска (в дополнение к другим убедительным причинам).
В целом я считаю, что вероятность экзистенциальной катастрофы в последующее столетие составляет примерно 1 к 6. Это не малая статистическая вероятность, которую нам следует держать в голове, как, например, вероятность погибнуть в дорожной аварии, а серьезная цифра, свидетельствующая о том, что действительно может произойти, сопоставимая с вероятностью выпадения любого из чисел на игральной кости или вероятностью неудачи в русской рулетке.
Риск велик, но наше положение вовсе не безнадежно. Оценка подразумевает, что в пяти случаях из шести человечество сумеет прожить следующую сотню лет, не растеряв свой долгосрочный потенциал. В связи с этим, хотя я считаю, что управление некоторыми рисками (скажем, рисками с вероятностью 1 к 1000 и выше) следует признать глобальной задачей первостепенной важности, я не говорю, что этот век станет для нас последним.
