Это лишь один пример проблемы непредвиденных последствий, связанной с ИИ, — проблемы настолько серьезной и вездесущей, что ее можно было бы, пожалуй, сравнить с «проблемой воды» в отношении к морским судам. Мощная ИИ-система, цель которой — обеспечить вашу защиту, может попросту запереть вас дома и никуда не выпускать. Если вы попросите счастья, она может подсоединить вас к системе искусственного жизнеобеспечения и все время стимулировать центры удовольствия в вашем мозгу. Если вы не обеспечите ИИ очень большой библиотекой приемлемых вариантов поведения или надежнейшим средством выбора предпочтительного для вас варианта, вам придется терпеть тот вариант, который он выберет сам. А поскольку ИИ — чрезвычайно сложная система, вы, возможно, никогда не сумеете понять ее достаточно хорошо, чтобы быть уверенным в правильности своих представлений о ней. Чтобы понять, не собирается ли ваш снабженный ИИ робот привязать вас к кровати и засунуть электроды в уши, пытаясь обеспечить вам безопасность и счастье, может потребоваться еще один, более умный ИИ.
Существует еще один подход к проблемам первичных потребностей ИИ, причем такой, который предпочтительнее для позитивно настроенного Омохундро. Потребности дают возможности — двери, которые открываются перед человечеством и нашими мечтами. Если мы не хотим, чтобы наша планета, а со временем и Галактика, были населены исключительно эгоцентричными и бесконечно воспроизводящими себя сущностями с чингисхановским отношением к биологическим существам и друг к другу, то творцам ИИ следовало бы сформулировать цели, органично включающие в себя человеческие ценности. В списке пожеланий Омохундро можно найти, в частности, следующие пункты: «делать людей счастливыми», «сочинять красивую музыку», «развлекать других», «работать над сложной математикой» и «создавать возвышающие произведения искусства». А затем нужно будет отойти в сторону. С такими целями творческая потребность ИИ включится на полную мощность и откликнется прекрасными творениями, обогащающими нашу жизнь.
Как человечеству сохранить человечность? Это чрезвычайно интересный и важный вопрос, который мы, люди, задаем в разных формах уже очень давно. Что такое доблесть, праведность, совершенство? Какое искусство возвышает и какая музыка красива? Необходимость точно определить наши ценности — один из моментов, которые помогают нам лучше узнать самих себя в процессе поиска путей к созданию искусственного интеллекта человеческого уровня. Омохундро считает, что такое глубокое погружение в себя и самокопание приведет к созданию обогащающих, а не ужасающих технологий. Он пишет:
Вооружившись одновременно логикой и вдохновением, мы можем двигаться к созданию техники, которая усилит, а не ослабит дух человеческий.
* * *
Разумеется, я иначе смотрю на вещи — я не разделяю оптимизма Омохундро. Но я сознаю необходимость и важность развития науки, которая помогла бы нам разобраться в наших разумных созданиях. Не могу не повторить его предупреждение, касающееся продвинутого ИИ.
Не думаю, что большинство исследователей ИИ видят какую-то потенциальную опасность в создании, скажем, робота-шахматиста. Но мой анализ показывает, что нам следует тщательно обдумать, какие ценности мы в него закладываем; в противном случае мы получим нечто вроде психопатической, эгоистичной, зацикленной на себе сущности.
Мои личные впечатления свидетельствуют о том, что Омохундро прав относительно создателей ИИ: те, с кем я разговаривал, заняты исключительно гонкой и стремятся побыстрее создать разумные системы; они не считают, что результат их работы может быть опасен. При этом большинство из них в глубине души убеждены, что машинный интеллект со временем придет на смену человеческому интеллекту. Они не думают о том, как именно произойдет такая замена.
Разработчики ИИ (а также теоретики и специалисты по этике) склонны верить, что разумные системы будут делать только то, на что они запрограммированы. Но Омохундро говорит, что они, конечно, будут делать это, но будут делать и многое другое, и мы можем предугадать с некоторой вероятностью, как поведут себя продвинутые ИИ-системы. И их поведение может оказаться неожиданным и креативным. В основе этих размышлений лежит настолько пугающе простая концепция, что потребовалось настоящее озарение (в лице Омохундро), чтобы ее разглядеть: для достаточно разумной системы уход от уязвимостей — мотиватор не менее мощный, чем специально встроенные в нее цели и подцели.
Мы должны остерегаться непредусмотренных последствий, вызванных теми целями, на которые мы программируем разумные системы; кроме того, мы должны остерегаться последствий того, что мы оставляем за рамками этих целей
ГЛАВА 7
Интеллектуальный взрыв
С точки зрения экзистенциальных рисков один из важнейших моментов, связанных с искусственным интеллектом, — то, что искусственный интеллект в принципе может наращивать свою интеллектуальность чрезвычайно быстро. Очевидная причина подозревать такую возможность — рекурсивное самосовершенствование (Гуд, 1965). ИИ становится умнее, в том числе и в написании внутренних когнитивных функций для ИИ, так что ИИ может переписать свои когнитивные функции, чтобы они работали еще лучше, что сделает этот ИИ еще умнее, в том числе и в переписывании самого себя, так что он проведет новые улучшения… Ключевое для наших целей следствие из всего этого — то, что любой ИИ может совершить гигантский скачок в уровне интеллекта после достижения некоего критического порога.
Елиезер Юдковски, научный сотрудник Исследовательского института машинного интеллекта
Возможно, вы имели в виду: рекурсия.
Поисковик Google на запрос «рекурсия»
До сих пор мы с вами рассматривали ИИ-сценарий настолько катастрофический, что его просто необходимо исследовать подробнее. Мы обсудили перспективную идею о том, как следует конструировать ИИ, чтобы избежать всякой опасности (речь идет о дружественном ИИ), и выяснили, что эта концепция неполна. Более того, сама идея запрограммировать разумную систему на абсолютно безопасные, раз и навсегда заданные цели или дать ей развиваемую способность генерировать для себя цели, которые на протяжении большого числа итераций оставались бы безопасными для нас, представляется попросту утопической.
Далее мы выяснили, почему вообще ИИ может стать опасным. Мы обнаружили, что многие потребности, которые должны мотивировать сознающую себя самосовершенствующуюся компьютерную систему, легко могут привести к катастрофическим последствиям для людей. Трагические исходы этих сценариев подчеркивают почти библейскую опасность греха как деянием, так и не деянием в процессе подверженного ошибкам человеческого программирования.
ИИ человеческого уровня, когда будет создан, может оказаться непредсказуемым и опасным, но, вероятно, в краткосрочной перспективе не катастрофически. Даже если УЧИ изготовит множество копий самого себя или организует командную работу по вопросу освобождения, его возможности, в том числе и опасные, все же не будут превышать возможности группы умных людей. Потенциальная опасность УЧИ заключается в основе сценария Busy Child — стремительном рекурсивном самосовершенствовании, которое позволит ИИ быстро «прокачать» себя с человеческого уровня до уровня сверхразума. Этот процесс обычно и называют «интеллектуальным взрывом».
Сознающая себя самосовершенствующаяся система будет стремиться к наилучшему выполнению поставленных перед ней задач и минимизации уязвимостей; для этого она будет улучшать себя. Она будет стремиться не к мелким улучшениям, а к серьезному непрерывному развитию всех аспектов своих когнитивных способностей, особенно отвечающих за развитие интеллекта. Она будет стремиться к интеллекту уровня выше человеческого, то есть к суперинтеллекту. Если написанные людьми программы окажутся хоть чуточку неидеальными, у нас будет множество оснований для страха перед сверхразумными машинами.
От Стива Омохундро мы знаем, что УЧИ будет естественным образом стремиться к интеллектуальному взрыву. Но что такое интеллектуальный взрыв? При выполнении каких минимальных аппаратных и программных требований он может произойти? Могут ли такие факторы, как недостаточное финансирование или просто сложность достижения вычислительной разумности, навсегда блокировать интеллектуальный взрыв?
Прежде чем обратиться к механике этого процесса, важно разобраться, что, собственно, означает этот термин и как математик Ирвинг Гуд предложил идею взрывного искусственного разума.
Американское шоссе № 81 начинается в штате Нью-Йорк и заканчивается в Теннесси, пересекая почти всю гряду Аппалачских гор. Повернув в центре Вирджинии на юг, трасса змеей извивается вверх и вниз по холмам, густо заросшим лесом, и травянистыми равнинам; отсюда открываются самые поразительные, мрачные и первобытные виды США. Аппалачи включают в себя Голубой хребет (от Пенсильвании до Джорджии) и хребет Грейт-Смоки (вдоль границы Северной Каролины и Теннесси). Чем дальше на юг, тем труднее поймать сигнал сотового телефона, а церквей вокруг становится больше, чем домов; музыка кантри на радио сменяется сперва духовными песнопениями, а затем и речами проповедников, вещающих о геенне огненной. Именно там я услышал памятную песню Джоша Тёрнера об искушении под названием «Длинный черный поезд». Там я слышал, как проповедник начал рассказ с Авраама и Исаака, запутался и закончил притчей о хлебах и рыбах; не забыл он упомянуть и про ад, просто для порядка. Я подъезжал к Смоки-Маунтинз, к границе с Северной Каролиной и Вирджинскому политехническому институту и Университету штата Вирджиния в Блэксбурге. Девиз этого университета выглядит так: «Изобретай будущее».
