Так что сингулярность «не будет ни утопичной, ни антиутопичной», зато мы сможем играть в квиддич! Очевидно, сингулярность Курцвейла решительно отличается от сингулярности Вернора Винджа и интеллектуального взрыва Гуда. Можно ли примирить их между собой? Неужели это будет одновременно и лучшее, и худшее время для жизни? Я прочел почти каждое слово, опубликованное Курцвейлом, и прослушал все доступные аудио- и видеозаписи и подкасты. В 1999 г. я взял у него длинное интервью для документального фильма, посвященного, в частности, искусственному интеллекту. Я знаю все, что он написал и сказал об опасностях ИИ, и это очень немного.
Однако, как ни удивительно, именно Курцвейлу мы отчасти обязаны существованием самого аргументированного очерка по данному вопросу — статьи Билла Джоя «Почему мы не нужны будущему?». В ней Джой — программист, специалист по архитектуре компьютеров и один из основателей компании Sun Microsystems — призывает к замедлению или даже остановке исследований по трем направлениям, которые, как он считает, смертельно опасно развивать нынешними темпами: это искусственный интеллект, нанотехнологии и биотехнологии. Джой написал об этом после пугающего разговора в баре с Курцвейлом и прочтения его книги «Эпоха духовных машин» (The Age of Spiritual Machines). В ненаучной литературе и популярных лекциях об опасностях ИИ, мне кажется, только три закона Азимова цитируются чаще, хотя и не всегда к месту, чем это эссе Джоя, оказавшее заметное влияние. Вот короткий отрывок — суть его позиции по ИИ:
Но сейчас, когда появление вычислительных мощностей человеческого уровня ожидается примерно лет через 30, напрашивается новая идея: может быть, я работаю над созданием инструментов, при помощи которых станет возможна постройка технологий, которые, в конце концов, заменят наш биологический вид. Как я чувствую себя в этой связи? Очень неуютно. Всю свою профессиональную жизнь я бился над созданием надежных программных систем, и мне представляется более чем вероятным, что это будущее получится не таким замечательным, каким его, может быть, вообразили некоторые. Мой личный опыт говорит о том, что мы склонны переоценивать свои конструкторские способности. Учитывая невероятную мощь этих новых технологий, разве нам не следует задаться вопросом о том, как лучше всего сосуществовать с ними? А если наше собственное вымирание является вероятным или хотя бы возможным результатом нашего технического развития, разве нам не следует действовать в этом направлении с величайшей осторожностью?
Разговор с Курцвейлом в баре может дать начало международному обсуждению, но, говоря откровенно, несколько предостерегающих слов теряются у него в море интереснейших предсказаний. Он настаивает, что его описание будущего — не утопия, но я с ним не согласен.
Мало кому удается писать о технологиях более убедительно и с большим знанием дела, чем это делает Курцвейл, — он всегда заботится о том, чтобы его слова были ясны и понятны, и тщательно аргументирует свои мысли. Однако мне кажется, что он совершил ошибку, присвоив слово «сингулярность» и придав ему новое радужное значение. Настолько радужное, что мне, как и Винджу, становится страшно от этого определения, полного убедительных образов и идей, маскирующих опасность. Я уверен, что проделанный им ребрендинг преуменьшает опасность ИИ и раздувает наивные перспективы его использования. Начав с обсуждения технологий, Курцвейл создал культурное движение с сильным привкусом религии. Мне кажется, что смешивать технический прогресс и религию — большая ошибка.
Представьте себе мир, где разница между человеком и машиной размывается, где граница между человечеством и техникой пропадает, где душа и кремниевый чип едины… Во вдохновенных руках [Курцвейла] жизнь в новом тысячелетии уже не кажется пугающей. Напротив, XXI век, по Курцвейлу, обещает стать эпохой, когда брак между человеческой сущностью и искусственным интеллектом фундаментально изменит и улучшит нашу жизнь.
Курцвейл — не просто крестный отец вопросов сингулярности, вежливый и упорный спорщик и неутомимый, хотя и несколько механистичный, пропагандист. Вокруг него собралось достаточно молодых людей, живущих на грани сингулярности. Как правило, сингуляритариям немного за тридцать, в основном они мужчины и они бездетны. По большей части это белые интеллектуалы, услышавшие зов сингулярности. Многие из них в ответ на этот зов бросили то, чем занимались, и отказались от карьеры, которую могли бы одобрить их родители, в пользу почти монашеской жизни, посвященной вопросам сингулярности, — и горды этим. Среди них много самоучек, отчасти благодаря тому, что ни одна университетская программа не предлагает специализации одновременно в компьютерных науках, этике, биоинжиниринге, нейробиологии, психологии и философии, — короче говоря, в науках, имеющих отношение к сингулярности. Курцвейл — один из основателей Университета сингулярности, который не аккредитован и не присваивает степеней. Однако обещает «широкое кросс-дисциплинарное представление о крупнейших идеях и вопросах трансформационных технологий». К тому же многие сингуляритарии слишком умны и самостоятельны, чтобы вписаться в традиционную систему образования. Да и мозги у них устроены так, что мало какой колледж или университет захотел бы иметь их в своем кампусе.
Некоторые сингуляритарии избрали главным догматом своей веры рациональность. Они считают, что повышение интеллекта и логических способностей людей, в первую очередь тех, кто завтра будет принимать решения, понижает вероятность того, что все мы совершим самоубийство посредством ИИ. Наш мозг, утверждают они, полон странных предрассудков и эвристических механизмов, которые очень пригодились нам в ходе эволюции, но которые при столкновении с комплексными рисками и выборами современного мира навлекают на нас одни лишь беды. При этом главный объект их внимания — не негативная катастрофическая, а благотворная позитивная сингулярность. В ней мы сможем воспользоваться технологиями продления жизни, которые позволят нам жить и жить без конца, вероятно, уже в механической, а не в биологической форме. Иными словами, очисти себя от неверных мыслей — и найдешь спасение от мира плоти, и откроешь жизнь вечную.
Неудивительно, что движение сингулярности часто называют «Блаженство чокнутых» (Rapture of the Geeks) — как движение оно имеет все отличительные особенности апокалиптической религии, включая ритуалы очищения, отказ от бренного человеческого тела, предвкушение вечной жизни и неоспоримого (в некоторой степени) харизматического лидера. Я всей душой согласен с идеей сингуляритариев о том, что ИИ — самое важное, о чем нужно размышлять в настоящий момент. Но когда дело доходит до разговоров о бессмертии, я пасую. Мечты о вечной жизни сильно искажают окружающее. Слишком многие сингуляритарии верят, что интенсивное взаимопроникновение технологий не приведет к катастрофам, которых мы могли бы ожидать от каждой из них в отдельности, или к комплексным катастрофам, которые мы тоже могли бы предвидеть, но даст вместо этого совершенно противоположный результат. Оно спасет человечество от того, чего мы больше всего боимся. От смерти.
Но как можно компетентно оценить технологии? Нужно ли, и если нужно, то как регулировать их развитие, если вы уверены, что те же самые технологии позволят вам жить вечно? Даже самые рационально мыслящие люди в мире не в состоянии трезво оценивать собственную религию. И, как говорит ученый Уильям Грасси, если обсуждается преображение немногих избранных и жизнь вечная, то не о религии ли идет речь?
Приведет ли сингулярность к тому, что на смену человечеству придут духовные машины? Или результатом станет преображение человечества и превращение людей в сверхчеловеков, живущих вечно в гедонистическом раю рационалистов? Будет ли предшествовать сингулярности период бедствий? Появятся ли немногие избранные, которым известны будут секреты сингулярности, — авангард, а может быть, все, что останется от человечества, и суждено ли им будет увидеть землю обетованную? Все эти религиозные темы неизменно присутствуют в риторике и рассуждениях сингуляритариев, даже если они последовательно не развивают пре- и постмилленаристские[20] интерпретации, столь характерные для донаучных мессианских движений.
В отличие от вариантов развития событий по Гуду и Винджу, сингулярность Курцвейла формируется с помощью трех технологий, приближающихся к точке конвергенции, — генной инженерии, нанотехнологий и робототехники — достаточно широкий термин, который он использует для обозначения искусственного интеллекта. Кроме того, в отличие от Гуда и Винджа, Курцвейл предложил объединенную теорию технологической эволюции; которая, как всякая уважающая себя научная теория, пытается объяснить наблюдаемые явления и делает предсказания относительно явлений будущих. Эта теория получила название Закона прогрессирующей отдачи.
