Виндж рассказывал, что когда в 1960-е он начинал писать научную фантастику, мир, основанный на будущих достижениях науки, о которых он писал, отстоял от него на сорок или пятьдесят лет. Однако к 1990-м гг. будущее уже стремительно приближалось, и скорость технических перемен, казалось, все росла. Виндж уже не мог предугадать, что принесет человечеству будущее, поскольку считал, что очень скоро в мире появится разум, превосходящий человеческий. Именно этот, а не наш разум будет определять скорость технического прогресса. Виндж, как и другие фантасты, не мог писать об этом.
На протяжении 1960-х, 70-х и 80-х годов понимание надвигающегося катаклизма ширилось. Возможно, первыми его приближение почувствовали писатели-фантасты. В конце концов, именно "твердые" фантасты стараются описывать конкретные последствия всего, что может сделать с нами технический прогресс. Именно они все больше и больше чувствовали эту непрозрачную стену, отгородившую нас от будущего.
Исследователь ИИ Бен Гертцель сказал мне:
Вернор Виндж очень ясно видел принципиальную непознаваемость ИИ, когда предлагал концепцию технологической сингулярности. Именно поэтому он не ездит по миру с лекциями о ней; он просто не знает, что сказать. Что он может сказать? "Да, я считаю, что мы вот-вот создадим технологии, которые будут намного умнее человека, и после этого кто знает, что произойдет?"
Но как же в этом случае приручение огня, появление земледелия, печатный станок и электричество? Разве человечество не пережило до сих пор множество технологических сингулярностей? В разрушительных технических новинках нет ничего нового, но никто не придумывал для каждой из них красивого имени и не пугал ими окружающих. Моя бабушка родилась еще до широкого распространения автомобилей, но дожила до первых шагов Нила Армстронга по Луне. Она считала, что все это называется XX век. Что же делает переход, о котором говорит Виндж, таким особым?
«Секретный компонент — разум, — сказал мне Виндж. В его стремительном тенорке то и дело звучал смех. — Разум делает его другим, а определяющая рабочая черта этого перехода в том и заключается, что человек не может ничего знать заранее. Мы теперь находимся в такой ситуации, что очень-очень скоро, всего через несколько десятилетий, начнутся трансформации, которые будут иметь, как в древности, большое биологическое значение».
В эту концепцию укладываются две важные идеи. Во-первых, технологическая сингулярность изменит сам разум — единственную суперсилу человека, которая, собственно, и создает технологии. Вот почему эта революция будет отличаться от любой другой. Во-вторых, биологическая трансформация, на которую намекает Виндж, произошла двести тысяч лет назад, когда человечество захватило лидерство на мировой арене. Homo sapiens начал доминировать на планете, поскольку был умнее любого другого биологического вида. Точно так же разум, в тысячу или миллион раз превосходящий человеческий в интеллектуальном отношении, навсегда изменит правила игры. Что же тогда произойдет с нами?
Этот вопрос вызвал у Винджа взрыв смеха.
Если на меня уж очень наседают с вопросами о том, на что будет похожа сингулярность, то чаще всего я говорю: а почему, как вы думаете, я назвал это сингулярностью[18]?
Но по поводу непрозрачного будущего Виндж сделал, по крайней мере, один вывод — сингулярность несет угрозу и может привести к гибели человечества. Писатель, процитировав в речи 1993 г. целиком абзац из статьи Гуда 1967 г. об интеллектуальном взрыве, указал, что знаменитый статистик не так далеко зашел в своих выводах:
Гуд ухватил суть процесса (неуправляемого роста мощности ИИ), но не стал рассматривать его самые тревожные следствия. Любая разумная машина того типа, о котором он пишет, станет "инструментом" человечества не больше, чем само человечество является инструментом кроликов, или зябликов, или шимпанзе.
Вот еще одна уместная аналогия — кролики для людей то же, что люди для сверхразумных машин. А как мы относимся к кроликам? Как к вредителям или как к потенциальному обеду, в лучшем случае — как к домашним любимцам. ИСИ-агенты поначалу будут нашими инструментами — как нашими инструментами являются сегодня их предки Google, Siri и Watson. Кроме того, считает Виндж, существуют и другие факторы помимо индивидуального машинного интеллекта, способные вызвать сингулярность. Среди них — разум, берущий начало от Интернета (от Интернета вместе с пользователями — этакая цифровая Гея), от человеко-машинных интерфейсов или биологических наук (через повышение интеллекта будущих поколений при помощи манипуляций с генами).
В трех из перечисленных путей человек вовлечен в развитие технологий; возможно, он способен провести постепенное и управляемое повышение интеллекта и таким образом избежать взрыва. Так что можно, говорит Виндж, подумать о том, как победить величайшие проблемы человечества — голод, болезни, даже саму смерть. Это оптимистичное представление о будущем Курцвейла, которое пропагандируют «сингуляритарии». Сингуляритарии — это те, кто ожидает от резкого ускорения будущего в основном хороших вещей. Винджу их «сингулярность» представляется слишком благодушной.
Ставки в нашей игре чрезвычайно высоки, и положительная сторона ее так оптимистична, что это само по себе производит пугающее впечатление. Ветры мировой экономики — необычайно могущественная сила — связаны с достижениями ИИ. Сотни тысяч людей в мире, очень умных людей, работают над вещами, которые должны привести к созданию сверхчеловеческого разума. Вероятно, большинство из них не рассматривает свою работу в таком ключе. Они просто хотят сделать быстрее, дешевле, лучше, выгоднее.
Виндж сравнивает все это со стратегией времен холодной войны, известной как MAD (mutual assured destruction — взаимно гарантированное уничтожение). Термин этот был пущен в оборот любителем аббревиатур Джоном фон Ньюманом (он также был создателем одного из первых компьютеров с говорящим именем MANIAC), а сама стратегия помогала сохранить мир благодаря угрозе взаимного уничтожения сторон. Подобно MAD, искусственный интеллект может похвастать тем, что множество исследователей тайно трудятся над развитием технологий, потенциально грозящих катастрофой. Но это — взаимно гарантированное уничтожение без всяких тормозов, обусловленных здравым смыслом. Никто не может знать, кто на самом деле идет впереди в этой гонке, и каждый считает, что впереди кто-то другой. Но, как мы видели, победитель не сможет забрать все. Победитель в гонке за создание ИИ получит лишь сомнительную привилегию первым столкнуться с суперинтеллектом «лицом к лицу» или попробовать выжить в ситуации, очень напоминающей сценарий Busy Child.
«Мы имеем сегодня тысячи хороших людей, которые работают по всему миру, пытаясь совместными усилиями приблизить катастрофу, — сказал Виндж. — А двигаться вперед по ландшафту угроз очень сложно. Мы тратим недостаточно сил на раздумья о том, что будет, если нас постигнет неудача».
Другие сценарии, которые тоже тревожат Винджа, также заслуживают внимания. Цифровая Гея, или брак между людьми и компьютерами, уже формируется в Интернете. Что это будет означать для нашего будущего — глубокий и важный вопрос, заслуживающий, чтобы о нем написали гораздо больше книг, чем пишется сейчас. УИ, или искусственное усиление интеллекта, имеет равный с обычным ИИ катастрофический потенциал, немного смягченный (по крайней мере поначалу) участием человека. Но это преимущество быстро исчезнет. Позже мы поговорим об УИ подробнее. А сначала я хочу обратить ваше внимание на замечание Винджа о том, что разум может вырасти из Интернета.
Техномыслители, в том числе Джордж Дайсон и Кевин Келли, выдвинули предположение о том, что информация — это форма жизни. Компьютерная программа, несущая информацию, воспроизводит себя и растет по биологическим законам. Но разум… нет, разум — это совсем не то. Разум присущ лишь сложным организмам и не возникает случайно.
Будучи в гостях у Елиазера Юдковски в Калифорнии, я задал вопрос, может ли интеллект, хотя бы в принципе, родиться в результате экспоненциального роста инфраструктуры Интернета из содержащихся в нем 5 трлн мегабайт данных, из более чем 7 млрд связанных между собой компьютеров и смартфонов и 75 млн серверов. Юдковски поморщился, как будто на клетки его мозга внезапно попал кислый раствор.
«Категорически нет, — сказал он. — Потребовались миллиарды лет эволюции, чтобы появился разум. Интеллект не может народиться просто из сложности жизни. Автоматически такое не происходит. Оптимизация происходит через естественный отбор под внешним давлением».
Иными словами, интеллект не возникает просто из сложности как таковой. Кроме того, Интернету недостает давления среды, которое в природе сохраняет одни мутации и отбраковывает другие.
