129
По оценке Farquhar (2017), общемировые расходы на снижение экзистенциального риска от ИИ в 2017 году составили 9 млн долларов. После этого они значительно возросли, возможно в 2–3 раза. Я уверен, что расходы в 2020 году составили от 10 до 50 млн долларов.
По оценке IDC (2019), общемировые расходы на ИИ в 2019 году достигнут 36 млрд долларов и значительная их часть пойдет на расширение способностей ИИ. [По информации русскоязычного издания “Коммуникации в ИТ-бизнесе”, общемировые расходы на мировом рынке технологий искусственного интеллекта (ИИ) в 2021 году составили 383 млрд долларов, а в 2022 году превысят 450 млрд долларов (см. https://www.dailycomm.ru/m/54690/, дата посещения 3 ноября 2022 г.). – Прим. науч. ред.]
130
В 2018 году объем мирового рынка мороженого оценивался в 60 млрд долларов (IMARC Group, 2019), или ~0,07 % валового мирового продукта (World Bank, 2019a).
Точно определить, сколько мы тратим на охрану своего будущего, нелегко. Я склоняюсь к простейшей формуле и учитываю лишь расходы, направленные на снижение экзистенциального риска. В этих рамках я оцениваю общемировые расходы примерно в 100 млн долларов.
Борьба с изменением климата показывает, насколько сложно определить, какие именно расходы нас интересуют. По одной из оценок, общемировые расходы на борьбу с изменением климата составляют около 400 млрд долларов (~0,5 % валового мирового продукта) (Buchner et al., 2017). Скорее всего, это завышенная оценка экономических издержек, поскольку большая часть средств идет на производство возобновляемой энергии, хотя в ином случае значительная доля этого шла бы на строительство невозобновляемых мощностей. Кроме того, как мы увидим в главе 4, экзистенциальный риск, связанный с изменением климата, главным образом проистекает из самых радикальных сценариев потепления. Следовательно, неясно, сколько в среднем долларов, расходуемых на борьбу с изменением климата, идет на снижение экзистенциального риска. Подобные трудности возникают и при оценке риска искусственной пандемии: США направляют на обеспечение биологической безопасности 1,6 млрд долларов из федерального бюджета, но лишь малая часть этой суммы в итоге пойдет на защиту от худших пандемий (Watson et al., 2018).
Не считая борьбы с изменением климата, совокупные расходы на обеспечение биологической безопасности и снижение природных рисков, а также рисков, связанных с ИИ и ядерной войной, все равно оказываются ниже наших расходов на мороженое. А непосредственно на снижение экзистенциального риска, я уверен, не тратится и десятой части этой суммы.
131
Robock, Oman & Stenchikov (2007) и Coupe et al. (2019).
132
King et al. (2015). Как мы увидим в главе 4, на основе имеющихся у нас сегодня научных знаний можно сделать вывод, что потепление на 6 °C вполне возможно.
133
Эти характеристики называются неисключительностью (поставщик не может сделать так, чтобы выгоду получали только оплатившие товар потребители) и неконкурентностью (потребление блага одним индивидом не ограничивает возможность его потребления для остальных). Как видно, большая часть товаров и услуг, предлагаемых рынком, обладают исключительностью и конкурентностью.
134
Cм. Bostrom (2013, p. 26). Оттолкнувшись от понятия трагедии общин, экономист Джонатан Уинер (2016) назвал такую ситуацию “трагедией редкостей”.
135
В долгосрочной перспективе рассматриваются лишь некоторые вопросы, например энергетическая политика, пенсионное обеспечение и реализация крупных инфраструктурных проектов. Как правило, они планируются на десять-двадцать лет вперед, но и это довольно краткий срок по меркам нашей книги.
136
Подробнее об эвристике и предубеждениях пишет Kahneman (2011). Глубокий анализ этих и других предубеждений, влияющих на общественную оценку редких катастрофических рисков, проводит Wiener (2016).
(window.adrunTag = window.adrunTag || []).push({v: 1, el: 'adrun-4-390', c: 4, b: 390})
137
Мы действительно порой страдаем от одной из разновидностей этого эффекта, называемой потрясением массовостью, когда не можем осознать ущерб, причиняемый тысячам людей (и более), и считаем его даже менее значимым, чем такой же ущерб, причиняемый единственному идентифицируемому человеку. См. Slovic (2007).
138
Здесь я не учитываю религиозные дискуссии о конце света, которые, на мой взгляд, сильно отличаются от обсуждения натуралистических причин гибели человечества.
139
Russell (1945). В середине своего эссе Рассел отмечает, что только что узнал о бомбардировке Нагасаки – скорее всего, это было утром 9 августа 1945 года: “Пока я писал эти строки, выяснилось, что вторую бомбу сбросили на Нагасаки. Будущее человеческого рода как никогда безрадостно. У человечества два ясно очерченных пути: либо мы все погибнем, либо нам придется обзавестись хотя бы зачатками здравого смысла. Если мы хотим предотвратить полную катастрофу, нужно перестроить наше политическое мышление”.
140
“Бюллетень” существует по сей день и давно делает основной акцент на дискуссиях о риске вымирания. В последние годы его редакторы расширили фокус и теперь рассматривают не только ядерный риск, но и целый диапазон угроз будущему человечества, включая изменение климата, биологическое оружие и неконтролируемый искусственный интеллект.
141
В манифесте Рассела – Эйнштейна, составленном в 1955 году, говорится (Russell, 2002): “Поэтому вот вопрос, который мы ставим перед вами, – вопрос суровый, ужасный и неизбежный: должны мы уничтожить человеческий род или человечество откажется от войн? […] перед вами опасность всеобщей гибели”.
Эйнштейн подписал его незадолго до своей смерти в 1955 году, и Рассел рассказывает об этом (2009, p. 547): “Разумеется, я отправил манифест Эйнштейну на одобрение, но еще не знал, какое впечатление он произвел на него и согласится ли он его подписать. Пока мы летели из Рима в Париж, где должны были состояться дальнейшие заседания Ассоциации мирового правительства, пилот сообщил о смерти Эйнштейна. Я был опустошен – и не только по очевидным причинам, но и потому, что собственный план казался мне провальным без его поддержки. Однако, добравшись до своей парижской гостиницы, я обнаружил там письмо от него, в котором он согласился подписать манифест. Таким стал один из последних поступков в его общественной жизни”.
142
В личном письме Эйзенхауэр (1956) рассматривал эту угрозу и ее последствия для высшей стратегии: “Рано или поздно мы достигнем момента, когда обе стороны поймут, что любое обострение противоречий вне зависимости от фактора внезапности приведет к взаимному и полному уничтожению, и тогда, возможно, нам хватит ума встретиться за столом переговоров и осознать, что эпоха вооружения подошла к концу, а человечеству остается либо действовать дальше в соответствии с этой истиной, либо умереть”.
Выступая в ООН, Кеннеди (1961) сказал: “Ядерная катастрофа, распространяемая ветрами, и водами, и страхом, вполне способна без разбору поглотить великих и малых, богатых и бедных, ответственных и безответственных. Человечество должно положить конец войне – иначе война положит конец человечеству… Сегодня каждый житель этой планеты должен задумываться о дне, когда эта планета может стать непригодной для жизни. Каждый мужчина, каждая женщина и каждый ребенок живут под дамокловым мечом, и меч этот удерживают тончайшие нити, которые могут в любой момент порваться из за случайности, ошибки или безумия. Нам нужно поставить крест на орудиях войны, пока они не поставили крест на нас”.
