В своем очерке он сравнивает диссидентов, уничтоживших железный занавес, с новыми диссидентами, которых тревожит быстрое развитие искусственного интеллекта. Парадоксальным образом он находит корни этого нового диссидентства среди пионеров в области ИИ, будь то Винер, Алан Тьюринг и И. Дж. Гуд[83].
Яана беспокоят экзистенциальные риски; на его взгляд, ИИ выделяется из прочих своим «экстремизмом». В 2012 году Таллинн стал соучредителем Центра по изучению экзистенциальных рисков – междисциплинарного исследовательского института, который стремится минимизировать риски, «связанные с новыми технологиями и деятельностью человека», – при Кембриджском университете; компанию ему составили философ Хью Прайс и королевский астроном Мартин Рис [84].
Однажды он охарактеризовал себя как «убежденного последователя», подразумевая, что достаточно убежден доказательствами для того, чтобы передать большую часть своего предпринимательского дохода Институту будущего жизни (соучредителем которого он является), научно-исследовательскому институту машинного интеллекта и другим подобным организациям, призванным минимизировать риски развития. Макс Тегмарк писал о нем: «Если вы – разумная форма жизни, читающая этот текст спустя миллионы лет и поражающаяся буйству жизни вокруг, не исключено, что вы в долгу перед Яаном».
Недавно в Лондоне мы с Яаном принимали участие в семинаре по искусственному интеллекту «Марафон Серпентайн-гэллери» в лондонской ратуше; ведущим семинара был Ханс-Ульрих Обрист (еще один из авторов настоящей книги). Поскольку затрагивался мир искусства, тем вечером в ратуше состоялся гламурный ужин, на который собрались творческие люди Лондона – художники, фотомодели, олигархи, звезды сцены и экрана. Побродив по залу и пообщавшись с публикой в своей привычной непринужденной манере («Привет, меня зовут Яан»), Таллинн внезапно воскликнул: «Пора танцевать хип-хоп!», рухнул на пол и принялся демонстрировать экзотические движения ошеломленным представителям «списка А». Позже он отправился в танцевальный клуб, как, по-видимому, всегда поступает в поездках. Ну что тут сказать?
В марте 2009 года я сидел в сетевой закусочной рядом с шумной калифорнийской автострадой. Мы договорились там встретиться с одним молодым человеком, блог которого я почитывал. Чтобы я мог его узнать, он нацепил на грудь значок с надписью: «Говори правду, даже если голос дрожит». Этого человека звали Элиезер Юдковски, и следующие четыре часа мы обсуждали его послание миру – именно оно привело меня в эту закусочную и в конечном счете определило характер моей дальнейшей работы.
Послание первое: советская оккупация
В «Человеческом применении человеческих существ» Норберт Винер рассматривал мироздание сквозь призму коммуникации. Он видел перед собой Вселенную, которая марширует в лад со вторым законом термодинамики и движется к неизбежной тепловой смерти. В такой Вселенной единственными (мета)стабильными сущностями оказываются сообщения – информационные структуры, распространяющиеся во времени, подобно волнам, которые разбегаются по поверхности водоема. Даже нас, людей, можно трактовать как сообщения, поскольку атомы наших тел живут слишком недолго, чтобы отождествлять их с личностью. Мы лишь «послания», передаваемые телесными функциями. Как заметил Винер: «Сама структура, поддерживаемая этим гомеостазисом, является, если угодно, критерием нашей личной индивидуальности».
Мне привычнее считать фундаментальными «кирпичиками» мироздания процессы и вычисления. Тем не менее точка зрения Винера позволяет выявить ряд любопытных аспектов, которые иначе наверняка остались бы в тени, – а ведь они во многом определили мою жизнь. Речь о двух, скажем так, посланиях, восходящих ко Второй мировой войне. Они составлялись изначально как скромные диссидентские послания того сорта, на который люди обычно не обращают особого внимания, даже если в целом молчаливо и, возможно подсознательно, одобряют. Первое послание гласило: Советский Союз возник из череды незаконных оккупаций. Это должно прекратиться раз и навсегда.
Будучи эстонцем, я вырос за железным занавесом – и очутился в первых рядах зрителей, когда этот занавес падал. Это первое послание я улавливал в ностальгических воспоминаниях моих дедушек и бабушек и среди треска глушилок, пытавшихся помешать трансляциям «Голоса Америки». Послание зазвучало громче в эпоху Горбачева, ибо государство начало более снисходительно относиться к диссидентам, и достигло крещендо в эстонской «певческой революции»[85] в конце 1980-х годов.
В подростковом возрасте я был свидетелем того, как послание распространялось среди широкой публики, от активных диссидентов, которые озвучивали его на протяжении полувека, не жалея и не щадя себя, вплоть до художников и литераторов, а также членов компартии и политиков, постепенно усваивавших новую идеологию. Эта новая элита представляла собой эклектичное сочетание диссидентов первой волны, сумевших пережить репрессии, интеллектуалов и (к великому раздражению упомянутых диссидентов) даже бывших коммунистов. Оставшиеся догматики – среди них были даже выдающиеся люди – в конце концов очутились на обочине истории, некоторые из них перебрались в Россию.
Интересно, что по мере распространения послания от группы к группе его содержание уточнялось. Вначале все было просто и бескомпромиссно («Оккупация должна закончиться!»); так утверждали диссиденты, полагавшие, что правда важнее личной свободы. Широкая публика, не готовая на жертвы, поначалу воспринимала послание в смягченной форме, скажем, заявляла, что было бы целесообразно в долгосрочной перспективе передать решение местных вопросов на местный уровень. (Разумеется, встречались исключения: ряд интеллектуалов-лидеров озвучивали исходное диссидентское послание дословно.) В итоге первоначальное послание – просто потому, что оно было правдиво – возобладало, а смягченные варианты исчезли. Эстония вернула себе независимость в 1991 году, а последние советские войска покинули ее территорию три года спустя.
Люди, которые рискнули сказать правду (в Эстонии и в других странах Восточного блока), сыграли колоссальную роль в достижении результата, изменившего жизнь сотен миллионов людей, в том числе мою. Они говорили правду, даже когда их голоса дрожали.
Послание второе: риски ИИ
Мое знакомство со вторым революционным посланием состоялось благодаря блогу Юдковски; этот блог побудил меня связаться с его автором и договориться о встрече в Калифорнии. Суть послания была такова: дальнейшее развитие ИИ может спровоцировать изменения космических масштабов; это безудержный процесс, который, вероятно, убьет всех на планете. Нужно приложить серьезные дополнительные усилия, чтобы этого не случилось.
После встречи с Юдковски я попытался заинтересовать его посланием своих коллег по Skype и ближайших соратников. У меня ничего не вышло. Послание казалось едва ли не безумным, уж точно откровенно диссидентским. Время прислушаться к нему еще не наступило.
Лишь много позже я узнал, что Юдковски не сам пришел к этой мысли, что не его следует считать первым диссидентом от ИИ. В апреле 2000 года Билл Джой, соучредитель и главный научный сотрудник «Сан майкросистемс», опубликовал в журнале «Wired» довольно-таки длинную статью «Почему будущее обойдется без нас». Он предостерегал:
«Привыкнув к жизни, где крупные научные открытия сделались практически повседневной рутиной, мы уже примирились с тем фактом, что самые передовые технологии XXI столетия – робототехника, генная инженерия и нанотехнологии – представляют собой угрозу, отличную от угрозы технологий, освоенных ранее. В частности, роботы, инженерные организмы
