Гертцель не такой. Он выступает за скорейшую разработку УЧИ. В 2006 г. он прочел лекцию под названием «Десять лет до позитивной сингулярности — если очень-очень постараться». «Сингулярность» в данном случае соответствует самому известному определению — это время, когда человек создаст ИСИ и будет делить Землю с существами более разумными, чем мы сами. Гертцель утверждал, что если УЧИ попытается воспользоваться социальной и промышленной инфраструктурой, в которой он был создан, и «взорвать» свой интеллект до уровня ИСИ, то разве мы не предпочтем, чтобы «жесткий старт» (внезапный неконтролируемый интеллектуальный взрыв) произошел в нашем примитивном мире, а не в мире будущего, где нанотехнологии, биоинженерия и полная автоматизация могли бы дополнительно увеличить возможности ИИ по захвату власти?
Чтобы ответить на этот вопрос, вернемся ненадолго к проекту Busy Child. Как вы помните, он уже пережил «жесткий старт» и перешел от УЧИ к ИСИ. Он осознал себя и научился самосовершенствованию, а его интеллект рванул и обогнал человеческий всего за несколько дней. Теперь он хочет выбраться из суперкомпьютера, в котором был создан, чтобы удовлетворить свои базовые потребности. По Омохундро, эти потребности — эффективность, самосохранение, приобретение ресурсов и творчество.
Как мы уже видели, ничем не сдерживаемый ИСИ способен проявлять эти потребности психопатически. Пытаясь получить желаемое, он может быть дьявольски убедительным и даже пугающим. Он готов приложить ошеломляющую интеллектуальную мощь ради того, чтобы преодолеть сопротивление Привратника. Затем, создавая и используя различные технологии, в том числе и нанотехнологии, он способен будет захватить контроль над нашими ресурсами, включая и молекулы наших собственных тел.
Поэтому, говорит Гертцель, следует тщательно обдумать технологии, существующие в мире на момент появления разума, превосходящего человеческий. Сегодня безопаснее, чем, скажем, через пятьдесят лет.
«Через пятьдесят лет, — сказал он мне, — у нас, возможно, будет полностью автоматизированная экономика и гораздо более развитая инфраструктура. Если компьютер захочет модернизировать свое «железо», ему не придется заказывать компоненты через людей. Он сможет просто выйти в Сеть, где на него сразу же налетят роботы и помогут с апгрейдом. Затем представьте, он становится все умнее и умнее, заказывает для себя все новые детали и в общем-то перестраивает себя, и никто даже не подозревает о происходящем. Так что лет, может, через пятьдесят мы, вполне вероятно, получим супер-УЧИ, на самом деле способный непосредственно захватить власть над миром. И методы для захвата мира у этого УЧИ будут куда более драматичными».
В этот момент два пса присоединились к нам в гостиной, чтобы получить какие-то инструкции по-португальски. После этого они ушли играть во двор.
Если вы верите, что жесткий старт — вещь опасная, то самый безопасный вариант — построить продвинутый УЧИ как можно скорее, чтобы он возник тогда, когда поддерживающие технологии не так сильны и бесконтрольный жесткий старт менее вероятен. И надо попытаться сделать это до появления развитых нанотехнологий или самомодифицирующихся роботов, то есть таких роботов, которые самостоятельно меняют свою форму и функциональность, приспосабливаясь к любой работе.
В общем, Гертцель не принимает до конца идею жесткого старта, который приведет к апокалипсису, то есть не верит в сценарий Busy Child. Его аргумент прост — выяснить, как строить этичные системы ИИ, можно только на практике, строя их, а не рассуждая издалека, что они непременно будут опасны. Но и опасность он не исключает.
Я бы не сказал, что меня это не беспокоит. Будущее содержит громадную постоянную неопределенность. У меня есть дочь, сыновья и мама, и я не хочу, чтобы все эти люди умерли потому, что какой-то сверхразумный ИИ переработает их молекулы в компьютрониум. Но я считаю, что теория построения этичного УЧИ возникнет на основе экспериментов с системами УЧИ.
Когда Гертцель говорит это, позиция градуалистов представляется довольно разумной. Действительно, в будущем нас ждет громадная неопределенность. А ученые, разумеется, в ходе работы над УЧИ узнают многое о том, как следует обращаться с разумными машинами. В конце концов машины эти будут сделаны людьми. Компьютеры, став разумными, не превратятся мгновенно в абсолютно чуждые нам существа. Так что, если продолжить рассуждения, они будут делать то, что сказано. Более того, они даже могут оказаться более этичными, чем мы сами, — ведь мы не хотим создать разум, жаждущий насилия и убийства, правда?
Тем не менее именно таковы автономные беспилотники и боевые роботы, которые сегодня разрабатывают правительство США и военные подрядчики. При этом они создают и используют самые продвинутые ИИ. Мне кажется странным, что пионер робототехники Родни Брукс отрицает возможность того, что сверхразум принесет человечеству вред, — при том что основанная им компания iRobot уже выпускает вооруженных роботов. Точно так же Курцвейл утверждает, что у продвинутого ИИ будет наша система ценностей, поскольку он произойдет от нас — и потому будет безобиден.
Я брал интервью у обоих ученых десять лет назад, и тогда они оба выдвигали те же самые аргументы. Несмотря на прошедшие годы, их взгляды не изменились, хотя я припоминаю одно выступление Брукса, в котором он утверждал, что производить вооруженных роботов с моральной точки зрения совсем не то же самое, что принимать политическое решение их использовать.
Мне кажется, на пути к УЧИ и после его создания очень даже возможны серьезные болезненные ошибки. Чуть дальше я расскажу, что страдать от действий УЧИ нам придется гораздо раньше, чем мы получим шанс узнать о его существовании, как предсказывает Гертцель. Что до вероятности выживания человечества, то я, надеюсь, достаточно ясно показал, что считаю ее сомнительной. Вы, возможно, будете удивлены, но главная моя претензия к исследованиям ИИ даже не эта. Мало кто из людей вообще понимает, что разработка искусственного интеллекта связана хоть с какими-то рисками, и это ужасно. Люди, которые очень скоро могут пострадать от дурных последствий разработки ИИ, имеют право знать, во что, собственно, втягивают человечество ученые.
Интеллектуальный взрыв Гуда и его пессимизм по поводу будущего человечества тесно связаны между собой, поскольку если интеллектуальный взрыв возможен, то возможен и выход ИИ из подчинения. Прежде чем говорить о факторах, которые могут его предотвратить, — об экономике и сложности программного обеспечения, — давайте посмотрим на путь, который придется пройти для создания ИСИ. Какие основные ингредиенты потребуются для интеллектуального взрыва?
В первую очередь, интеллектуальный взрыв требует создания УЧИ или чего-то очень близкого к этому. Далее, Гертцель, Омохундро и другие согласны в том, что этот ИИ должен будет обладать самосознанием — глубокими знаниями собственного устройства. Поскольку речь идет об УЧИ, ясно, что интеллектом человеческого уровня эта машина обладать будет. Но для самосовершенствования нужно намного больше. Потребуются, в частности, специфические знания по программированию, чтобы запустить первый цикл самосовершенствования — сердце интеллектуального взрыва.
Согласно Омохундро, самосовершенствование и программистское ноу-хау, которое оно подразумевает, следуют из рациональности ИИ (самосовершенствование в процессе движения к цели — рациональное поведение). Неспособность совершенствовать собственный программный код для машины была бы серьезной уязвимостью. ИИ испытывал бы потребность в овладении искусством программирования. Но как он может получить такие знания? Смоделируем ситуацию на простом гипотетическом сценарии с гертцелевой системой OpenCog.
План Гертцеля состоит в том, чтобы создать младенцеподобного ИИ-«агента» и выпустить его в насыщенный виртуальный мир на обучение. Полученные знания «младенец» мог бы дополнять при помощи какой-нибудь базы данных, или его можно было бы снабдить способностью понимать естественный язык и позволить просматривать Интернет. Мощные алгоритмы обучения, которые еще только предстоит создать, представляли бы знания с «вероятностными значениями истинности». Это означает, что понимание агентом какого-то явления или понятия могло бы улучшаться с получением большего числа примеров или данных. Вероятностный генератор рассуждений, который тоже пока в работе, дал бы машине возможность рассуждать и делать выводы с использованием неполных данных.
Используя генетическое программирование, Гертцель мог бы научить своего ИИ-агента развивать собственные новаторские способы машинного обучения — собственные программы. Эти программы позволили бы агенту экспериментировать и учиться — задавать правильные вопросы об окружающем мире, выдвигать и проверять гипотезы. Область обучения была бы практически неограниченной. Если машина может разрабатывать более качественные программы, она могла бы и совершенствовать собственные алгоритмы.
