Вернемся ненадолго к одному известному определению так называемой «технологической сингулярности». В нем говорится о будущем, когда нам, людям, придется делить планету с другим, более мощным разумом. Рэй Курцвейл предполагает, что человечество сольется с машинами и таким образом уцелеет. Другие специалисты считают, что машины изменят и улучшат нашу жизнь, но сами мы останемся такими же, как прежде, просто людьми, а не человеко-машинными киборгами. Третьи, и я солидарен с ними, считают, что будущее принадлежит машинам.
Исследовательский институт машинного интеллекта был основан для того, чтобы сохранить наши человеческие ценности вне зависимости от формы, которую приобретут наследники.
Вассар в Сан-Франциско сказал мне:
На кону сейчас передача человеческих ценностей преемникам человечества. А через них — и Вселенной.
В институте считают, что первый УЧИ, который выйдет на свободу, должен быть безопасен; тогда он сможет передать человеческие ценности преемникам человечества, какую бы форму они ни приняли. Если обеспечить безопасность УЧИ не удастся, ни сам человек, ни то, что мы ценим, не уцелеют. И на кону не только будущее Земли. Как сказал мне Вассар
миссия нашего института — сделать так, чтобы технологическая сингулярность произошла в наилучших возможных условиях и принесла Вселенной наилучшее возможное будущее.
Как может выглядеть удачный для Вселенной исход дела?
Вассар пристально смотрел за окно на оживленное по случаю часа пик движение; машины только-только начали скапливаться на железном мосту в Окленд. Где-то там, за водной поверхностью, лежало будущее. В его воображении сверхразум уже вышел из-под контроля своих создателей. Он колонизировал сначала Солнечную систему, а затем и Галактику; теперь он занимался переформатированием Вселенной и вырастал в нечто настолько необычное, что сложно поддается человеческому пониманию.
В этом будущем, сказал Вассар, вся Вселенная становится единым компьютером, или единым сознанием; это настолько же опережает наши сегодняшние представления о мире, насколько космический корабль опережает червя. Курцвейл пишет, что это судьба Вселенной. Другие соглашаются, но считают, что, бездумно развивая ИИ, мы сделаем неизбежным как наше собственное уничтожение, так и уничтожение других существ, возможно, обитающих где-то далеко. Если ИСИ не будет ни любить нас, ни ненавидеть, точно так же он не будет ни любить, ни ненавидеть всех остальных существ во Вселенной. Неужели наше стремление построить ИИ человеческого уровня знаменует собой начало галактической эпидемии?
Покидая квартиру Вассара, я размышлял о том, что может помешать этому антиутопическому сценарию осуществиться. Что сможет остановить всеразрушающий искусственный разум человеческого или более высокого уровня? Более того, есть ли в этой антиутопической гипотезе слабые места?
Ну, вообще-то создатели ИИ могли бы сделать его «дружелюбным», чтобы то, что разовьется из первых образцов УЧИ, не уничтожило нас и другие существа во Вселенной. С другой стороны, не исключено, что мы ошибаемся насчет способностей и побудительных мотивов УЧИ и напрасно боимся, что он будет завоевывать Вселенную. Возможно, это ложная дилемма.
Может быть, ИИ никогда не сможет развиться в УЧИ. Есть серьезные основания считать, что эволюция ИИ произойдет иначе и более управляемым способом, чем мы думаем. Короче говоря, мне хотелось знать, что могло бы направить нас по более безопасному пути в будущее.
Я собирался спросить об этом у автора эксперимента «ИИ в ящике» Елиезера Юдковски. Мне говорили, что он не только предложил тот мысленный эксперимент, но и вообще знает о «дружелюбном» ИИ больше, чем кто бы то ни было другой на всем белом свете.
ГЛАВА 4
По сложному пути
Среди возможных катастроф ничто не сравнится с выпущенным в мир искусственным интеллектом, за исключением, может быть, нанотехнологии…
Елиезер Юдковски, научный сотрудник Исследовательского института машинного интеллекта
В Кремниевой долине четырнадцать «официальных» городов, в которых размещается двадцать пять математических и технических университетов и филиалов. Их выпускники пополняют ряды софтверных, полупроводниковых и интернет-фирм, составляющих на данный момент тот технологический центр, который возник примерно в этих же местах в начале XX в. и начался с развития радио. На Кремниевую долину приходится около трети всего венчурного капитала США. Здесь число технарей, причем самых высокооплачиваемых, на душу населения максимально. Значительное число американских миллиардеров и миллионеров считают Кремниевую долину своим домом.
Здесь, в эпицентре глобальной технологии, я ехал к дому Елиезера Юдковски самым старомодным способом — по письменным указаниям (хотя и во взятой напрокат машине, и в айфоне у меня имелись GPS-навигаторы). Юдковски, стремясь сохранить информацию о себе в тайне, прислал схему проезда по электронной почте, попросив при этом никому не открывать ни физический, ни электронный его адрес. Телефонный номер он мне сообщать не стал.
В свои тридцать три года Юдковски, один из основателей и сотрудник Института машинного интеллекта, написал об опасностях ИИ больше, чем кто бы то ни было. Больше десяти лет назад, когда Юдковски только начинал свою профессиональную деятельность, людей, посвятивших, как он, свою жизнь изучению опасностей искусственного интеллекта, практически не было. Он, конечно, не приносил никаких формальных клятв, но и тогда, и теперь избегает всякой деятельности, которая могла бы увести его внимание от главного вопроса. Он не пьет, не курит, не употребляет наркотики. Редко появляется на публике и мало общается с коллегами. Несколько лет назад он отказался от чтения ради удовольствия. Он не любит давать интервью, а если уж дает, то предпочитает делать это по скайпу с лимитом времени в полчаса. Он атеист (среди специалистов по ИИ это скорее правило, чем исключение), так что ему не приходится тратить драгоценные часы в церкви. У него нет детей, хотя он их любит и считает родителей, которые не подписали своих детей на криоконсервацию[11], плохими родителями.
Но обратите внимание на парадокс. Для человека, вроде бы дорожащего тайной своей личной жизни, Юдковски выложил в Интернет слишком много информации о себе. После первых же попыток найти этого человека я выяснил, что в любом уголке Сети, где ведутся дискуссии о теории разума и грядущих катастрофах, никуда не деться от него самого и его самых сокровенных размышлений. Если вы задумываетесь о разрушительности ИИ, не забудьте освободить в своей жизни место под идеи Юдковски.
Благодаря его вездесущности я узнал, к примеру, что его младший брат Иегуда покончил с собой в родном Чикаго в возрасте девятнадцати лет. Горе Юдковски вылилось в онлайновую тираду, которая и сегодня, почти десять лет спустя, задевает за живое. Еще я узнал, что, бросив школу в восьмом классе, Юдковски самостоятельно изучил математику, логику, историю науки и вообще все, что показалось ему необходимым. Среди других освоенных им навыков — убедительная риторика и умение писать плотную и часто забавную прозу:
Я большой поклонник музыки Баха и считаю, что лучше всего ее исполнять на электронных инструментах с тяжелым ритмом, в точности как планировал сам Бах.
Юдковски всегда спешит, потому что его работа жестко ограничена по срокам — ограничена тем днем, когда кто-нибудь создаст наконец ИИ человеческого уровня. Если исследователи построят свой ИИ с предохранителями, о которых говорит Юдковски, он может оказаться спасителем человечества, и не только человечества. Но если интеллектуальный взрыв все же произойдет и окажется, что Юдковски не удалось внедрить достаточно предохранителей, то и мы с вами, скорее всего, превратимся в серую слизь, а с нами и Вселенная. Эта идея находится в самом центре его собственной космологии.
Я приехал к нему, чтобы узнать побольше о дружественном ИИ (термин, введенный Юдковски). По его мнению, дружественным можно назвать такой ИИ, который навсегда сохранит человечество и наши ценности. Он не станет уничтожать наш биологический вид или расползаться по Вселенной подобно пожирающей планеты космической чуме.
Но что такое дружественный ИИ? Как его создать?
Мне хотелось также услышать рассказ об эксперименте «ИИ в ящике», а особенно узнать, как мой собеседник играл роль искусственного интеллекта человеческого уровня, как он уговаривал Привратника выпустить его на волю. Я уверен, что когда-нибудь вы лично, или кто-то из ваших знакомых, или кто-то удаленный от вас на пару рукопожатий в самом деле окажется в кресле Привратника. Этому человеку необходимо знать заранее, чего можно ожидать в такой ситуации и как этому сопротивляться. Может быть, Юдковски это знает.
