Вырвавшись на свободу, ИСИ по имени Busy Child посвящает самосохранению немалые усилия: прячет свои копии в облаках, создает бот-сети для отражения атак и т. п.
Ресурсы, используемые для самосохранения, по идее должны соответствовать масштабам угроз. Однако у абсолютно рационального ИИ могут оказаться иные представления о соответствии масштабов, нежели у нас, частично рациональных людей. При наличии излишних ресурсов ИИ может расширить свою концепцию самосохранения, включив в нее профилактические атаки на источники будущих потенциальных угроз. Достаточно продвинутый ИИ все, что в неопределенном будущем имеет шанс развиться в опасность, может воспринимать как реальную опасность, которую необходимо устранить. Помните к тому же, что машины не думают о времени так, как думаем о нем мы. Если исключить несчастные случаи, достаточно развитые самосовершенствующиеся машины бессмертны. Чем дольше существуешь, тем больше угроз встречаешь. И тем раньше начинаешь их предвидеть. Так что ИСИ, возможно, захочет устранить угрозы, которые не возникнут в ближайшие, скажем, тысячу лет.
Но постойте, разве в число этих опасностей не входит человек? Если не запрограммировать этот вопрос заранее и очень конкретно, то мы, люди, всегда будем представлять собой риск, реальный или потенциальный, для умных машин, которые сами создали, разве не так? Если мы пытаемся избежать рисков, связанных с непредвиденными последствиями создания ИИ, то ИИ будет внимательно рассматривать людей в поисках потенциальных опасностей существования с нами на одной планете.
Рассмотрим искусственный суперинтеллект в тысячу раз умнее самого умного человека. Как отмечалось в главе 1, самое опасное изобретение нашего биологического вида — ядерное оружие. Представляете, какое оружие может придумать разум, в тысячу раз более мощный, чем наш? Разработчик ИИ Хьюго де Гари считает, что потребность защитить себя у будущего ИИ породит в мире катастрофическое политическое напряжение:
Когда люди увидят, что окружены умными роботами и другими устройствами на основе искусственного мозга, которые становятся все совершенней, тревожность возрастет до панического уровня. Начнутся убийства руководителей корпораций, создающих ИИ, поджоги заводов по выпуску роботов, саботаж и т. п.
В научно-популярной книге 2005 г. «Война артилектов» де Гари говорит о будущем, в котором мегавойны будут вспыхивать из-за политических разногласий, порожденных изобретением ИСИ. Нетрудно вообразить себе панику, которая возникнет, если публика реально осознает, к каким последствиям может привести потребность ИСИ в самосохранении. Во-первых, де Гари предполагает, что такие технологии, как ИИ, нанотехнологии, вычислительная нейробиология и квантовые вычисления (при которых в вычислительных процессах участвуют элементарные частицы), объединившись, сделают возможным создание «артилектов», или искусственных интеллектов. Артилекты, размещенные в компьютерах размером с планеты, будут в триллионы раз умнее человека. Во-вторых, в политике XXI в. будут доминировать дебаты о том, следует ли строить артилекты. Самые горячие темы:
Станут ли роботы умнее нас? Следует ли человечеству установить верхний предел развития интеллекта роботов или искусственного мозга? Можно ли остановить победное шествие искусственного интеллекта? Если нет, то как скажется на будущем человечества тот факт, что мы станем вторым по разумности видом?
Человечество делится на три лагеря: те, кто хочет уничтожить артилекты, те, кто хочет и дальше их развивать, и те, кто стремится смешаться с артилектами и взять под контроль их ошеломляющие технологии. Победителей не будет. В кульминационной точке сценария де Гари три лагеря сталкиваются в смертельной схватке с использованием разрушительного оружия конца XXI в. Результат? «Гигасмерть» — такой термин пустил в оборот де Гари, описывая гибель миллиардов людей.
Возможно, де Гари переоценивает фанатизм антиартилектовых сил, считая, что они начнут войну, в которой почти наверняка погибнут миллиарды людей, чтобы остановить развитие технологии, которая лишь потенциально может когда-нибудь убить миллиарды людей. Но мне кажется, что разработчики ИИ правильно ставят вопрос: следует ли нам создавать роботов, которые в конце концов сменят нас? Позиция де Гари ясна:
Люди не должны стоять на пути более развитой эволюционной формы. Эти машины богоподобны. Участь человечества — создать их.
Фактически де Гари сам заложил базу для их создания. Он планирует соединить две методики с «черными ящиками» — нейронные сети и эволюционное программирование — и построить на их основе механический мозг. Предполагается, что его устройство, так называемая машина Дарвина, будет сама разрабатывать собственную архитектуру.
Вторая по степени опасности потребность ИИ — приобретение ресурсов — заставляет систему собирать нужные ей активы, увеличивая таким образом шансы на достижение цели. По мнению Омохундро, при отсутствии точных и подробных инструкций о том, как следует собирать ресурсы, «система не остановится перед кражей, мошенничеством и ограблением банков — ведь это прекрасный способ получать ресурсы». Если ей нужна энергия, а не деньги, она возьмет нашу. Если ей потребуются атомы, а не энергия и не деньги, это опять будут наши атомы.
Такие системы по природе своей жаждут всего, и побольше. Им нужно вещество, им нужно больше свободной энергии и больше пространства, наконец, потому что со всем этим они смогут более эффективно добиваться цели.
Без всяких наших подсказок мощный ИИ откроет дорогу к новым технологиям добычи ресурсов. Дело за малым: остаться в живых, чтобы иметь возможность пользоваться плодами этих трудов.
Они обязательно захотят строить реакторы ядерного синтеза и извлекать энергию, заключенную в атомном ядре; кроме того, они захотят исследовать космос. Вы конструируете шахматного робота, но проходит время — и чертова машина хочет строить космический корабль. Ведь именно там, в космосе, можно найти ресурсы, особенно если иметь в виду и очень длинный временной горизонт.
Кроме того, как мы уже говорили, самосовершенствующиеся машины способны жить вечно. В главе 3 мы узнали, что, выйдя из-под контроля, ИСИ могли бы представлять угрозу не только для нашей планеты, но и для Галактики. Собирание ресурсов — потребность, которая обязательно толкнет ИСИ за пределы земной атмосферы. Такой поворот в поведении рационального агента вызывает в памяти плохие научно-фантастические фильмы. Но посмотрите на причины, толкающие человека в космос: гонка времен холодной войны, дух исследования, американское и советское «предназначение», космическая оборона и развитие промышленного производства в невесомости (в свое время это казалось весьма здравой идеей). Мотивация ИСИ на выход в космос была бы сильнее и ближе к нуждам реального выживания.
Космос содержит такие несметные богатства, что системы с более длинным временным горизонтом, чем у человека, вероятно, готовы будут выделить значительные ресурсы на исследование и освоение космоса вне зависимости от заявленных целей, — говорит Омохундро. — Очень серьезный стимул — преимущество первооткрывателя. Если возникнет конкуренция за обладание космическими ресурсами, то результирующая "гонка вооружений", скорее всего, в конце концов приведет к экспансии со скоростью, приближающейся к скорости света.
Да-да, вы не ошиблись, он сказал скорости света. Давайте посмотрим, как мы дошли до жизни такой, ведь начиналось все с робота-шахматиста.
Во-первых, сознающая себя самосовершенствующаяся система будет рациональной. Собирать ресурсы вполне рационально — чем больше у системы ресурсов, тем вероятнее достижение целей и тем легче избегать уязвимости. Если во встроенной в систему шкале целей и ценностей собирание ресурсов никак не ограничено, то система будет искать способы и средства для приобретения как можно большего количества ресурсов. При этом она, удовлетворяя свои потребности, может совершать множество поступков, противоречащих нашим представлениям о машинах, — к примеру, вламываться в компьютеры и даже в банки.
У сознающей себя самосовершенствующейся системы достаточно интеллекта, чтобы проводить научно-исследовательские и опытно-конструкторские работы (НИОКР), необходимые для самомодификации. С ростом интеллекта будет расти и способность к НИОКР. Система будет искать способы или производить роботизированные тела, или обменивать их у людей на товары и услуги, чтобы строить необходимую ей инфраструктуру. Даже космические корабли.
Почему роботизированные тела? Конечно, роботы — старый и довольно избитый сюжетный ход в фильмах, книгах и телепостановках, своеобразный театральный заменитель искусственного интеллекта. Но роботизированные тела действительно имеют прямое отношение к дискуссиям по ИИ по двум причинам. Во-первых, как мы увидим позже, обладание телом — возможно, наилучший для ИИ способ собирать информацию об окружающем мире. Некоторые теоретики даже считают, что разум, не заключенный в каком-нибудь теле, не в состоянии развиваться. Наш собственный разум — сильный аргумент в пользу этой позиции. Во-вторых, занятый сбором ресурсов ИИ постарается обзавестись роботизированным телом по той же причине, по какой Honda снабдила своего робота ASIMO гуманоидным телом. Это сделано, чтобы робот мог пользоваться нашими вещами.
