разумом. Наконец мы начали конструировать машины, способные превзойти нас не только физически, но и ментально. Ныне мы охотно уступили машинам выполнение множества «узких» когнитивных задач – от запоминания и арифметики до игр; мы будем рады, судя по тому, как идут дела, уступить еще больше «сфер влияния» – от вождения автомобилей до инвестиций в медицинскую диагностику. Если сообщество исследователей ИИ преуспеет в реализации своей первоначальной цели (в создании ОИИ), тогда мы, по определению, окажемся избавленными от вообще всех когнитивных задач.
Эта ситуация порождает много очевидных вопросов. Например, будет ли кто-то или что-то контролировать ОИИ, управляющий планетой? Должны ли мы стремиться к подчинению сверхразумных машин? Если нет, можем ли мы гарантировать, что они будут понимать, принимать и сохранять человеческие ценности? Как писал Норберт Винер в «Человеческом применении человеческих существ»:
Горе нам, если мы позволим ей [машине] определять наше поведение, прежде чем изучим законы ее действий и не будем полностью уверены, что ее работа станет строиться на приемлемых для нас принципах. С другой стороны, подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас.
А кто такие «мы»? Кто должен находить «такие решения… приемлемыми»? Даже если некие будущие власти решат помочь людям выжить и достичь процветания, как мы отыщем смысл и цель своего существования, если нам ничего не будет нужно?
Содержание споров о влиянии ИИ на общество резко изменилось за последние несколько лет. В 2014 году публичных обсуждений риска появления ИИ почти не было, от предупреждений отмахивались как от «луддитского паникерства» – по одной из двух логически несовместимых причин:
(1) ОИИ – не более чем шумиха, он появится в лучшем случае через столетие.
(2) ОИИ, вероятно, появится скоро, но практически гарантированно принесет людям пользу.
Сегодня разговоры о влиянии ИИ на общество слышатся повсюду, а работа по безопасности и этике ИИ переместилась в компании, университеты и научные конференции. Главное в исследованиях безопасности ИИ уже не в том, чтобы его защищать, а в том, чтобы его отвергать. Открытое письмо конференции разработчиков и исследователей ИИ в Пуэрто-Рико в 2015 году (оно помогло обеспечить безопасность ИИ) весьма смутно рассуждало о важности эффективности искусственного интеллекта, но асиломарские принципы ИИ (2017, см. ниже) стали настоящей декларацией: в них прямо говорится о рекурсивном самосовершенствовании, сверхразуме и экзистенциальном риске. Этот документ подписали лидеры индустрии и более тысячи исследователей ИИ со всего мира.
Тем не менее большинство дискуссий ограничиваются обсуждением ближайших перспектив ИИ, а широкая публика уделяет сравнительно малое внимание драматическим преобразованиям, которые ОИИ способен осуществить на планете. Почему?
Почему мы спешим себя погубить, но избегаем говорить об этом
Прежде всего, обратимся к простой экономике. Всякий раз, когда мы выясняем, как избавить человека от очередного занятия, придумывая машину, которая справится с такой работой лучше и дешевле, общество в целом выигрывает: те, кто проектирует и использует машины, получают прибыль, а потребителям достаются более доступные и качественные товары. Это столь же справедливо для будущих инвесторов и исследователей ОИИ, как было справедливо для ткацких станков, экскаваторов и промышленных роботов. В прошлом пострадавшие люди обычно находили себе новые рабочие места, но сегодня с этим намного сложнее, хотя базовый экономический постулат продолжает действовать. Появление работоспособного ОИИ, по определению, означает, что всякий труд становится дешевле благодаря машинам, поэтому любой, кто утверждает, что «люди всегда найдут себе новые высокооплачиваемые рабочие места», фактически предполагает, что сообщество ИИ не сумеет создать ОИИ.
Во-вторых, Homo Sapiens по своей природе любознателен, и это качество будет мотивировать ученых на стремление постичь разум и создать ОИИ – даже в отсутствие экономических стимулов. Хотя любознательность заслуженно считается одним из важнейших человеческих качеств, она чревата проблемами, когда способствует развитию технологий, которыми мы пока не научились управлять с должной мудростью. Чисто научная любознательность без мотива прибыли обернулась появлением ядерного оружия, искусственно созданных пандемий, и грустно сознавать, что знаменитая поговорка «Любопытство сгубило кошку» ныне вполне применима к человеческому виду.
В-третьих, мы смертны. Это объясняет практически единодушную поддержку разработки новых технологий, которые помогают людям жить дольше и оставаться более здоровыми; таков, к слову, побудительный мотив современных исследований в области ИИ. ОИИ сулит прорыв в сфере здравоохранения. Некоторые мыслители даже рассуждают о бессмертии через киборгизацию или загрузку цифровых копий.
Словом, мы ступили на скользкую дорожку к созданию ОИИ, и налицо сильные стимулы, побуждающие скользить дальше, пусть даже последствия обещают наше экономическое исчезновение. Мы больше не будем нуждаться ни в чем, потому что все работы будут более эффективно выполняться машинами. Успешное внедрение ОИИ станет величайшим достижением человечества, так почему же мы наблюдаем так мало серьезных дискуссий о возможных последствиях?
Ответ опять включает несколько причин.
Во-первых, как сказал когда-то Эптон Синклер: «Трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает»[77]. Например, представители технологических компаний или университетских исследовательских групп нередко публично заявляют, что их действия не несут никакого риска, даже если сами они думают иначе. Замечание Синклера помогает объяснить не только реакцию на риски, вызванные курением и изменением климата, но и тот факт, что кое-кто воспринимает технологии как новую религию, главная догма которой гласит: больше технологий всегда лучше, а сомневающиеся – невежественные еретики и паникеры-луддиты.
Во-вторых, людям издавна присущи фантазии, некорректная экстраполяция прошлого и недооценка новых технологий. Дарвиновская эволюция подарила нам возможность опасаться конкретных угроз, а не абстрактных фантомов будущих технологий, которые непросто визуализировать или хотя бы вообразить. Представьте, как вы в 1930-м предупреждаете людей о грядущей гонке ядерных вооружений: вы не в состоянии показать ни одного видеоролика с ядерным взрывом, и никто не знает, как вообще создать такое оружие. Даже ведущие ученые могут недооценивать неопределенность, изрекая прогнозы слишком оптимистичные – где эти термоядерные реакторы и летающие машины? – или слишком пессимистичные. Эрнест Резерфорд, возможно величайший физик-ядерщик своего времени, сказал в 1933 году – менее чем за сутки до того, как Лео Силард задумался о ядерной цепной реакции, – что ядерная энергия есть «полная чушь». Разумеется, никто тогда не мог предвидеть гонки ядерных вооружений.
В-третьих, психологи обнаружили, что мы склонны избегать мыслей об опасности, когда нам кажется, что мы все равно ничего не можем сделать. Но в данном случае имеется множество конструктивных действий, которые мы в силах совершить, если заставим себя задуматься над этой проблемой.
Что мы можем сделать?
Я высказываюсь в пользу перехода
