Действительно ли мы заходим слишком далеко, считая, что со временем нам удастся раскрыть принципы работы разума и воплотить их в машине, так же как методами обратного проектирования нам удалось реализовать в удобном для нас виде особенно полезные свойства природных объектов, таких как лошадь или прядильный орган личинки шелкопряда? Сенсация: человеческий мозг — природный объект.
Михаил Анисимов, директор MIRI по связям с прессой
Искажение нормальности — неспособность человека эффективно действовать и адекватно реагировать в условиях катастрофы, в которой он оказался впервые.
Памела Валентайн и Томас Смит, Brief Treatment and Crises Intervention
Наше исследование интеллектуального взрыва выявило несколько серьезных вопросов. Искусственный интеллект человеческого уровня, когда он будет получен, окажется сложной системой, а сложные системы иногда отказывают вне зависимости от того, используют ли они программное обеспечение или нет. Системы ИИ и когнитивные архитектуры, о которых мы начали говорить, настолько сложные, по утверждению автора книги «Нормальные аварии» (Normal Accidents) Чарльза Перроу, что мы не можем предусмотреть все варианты комплексных отказов, которые могут в них возникнуть. Мы не отступим от истины, если скажем, что УЧИ, скорее всего, будет реализован как когнитивная архитектура и что по размерам и сложности он может превзойти облачный кластер из 30 ООО процессоров, выстроенный не так давно компанией Cycle Computing. А эта компания сама хвасталась, что «кошка- чудовище» была слишком сложная, чтобы за ее работой мог следить (чтобы его мог по-настоящему понять) человек.
Добавьте к этому тот тревожный факт, что части вероятных систем УЧИ, такие как генетические алгоритмы и нейронные сети, принципиально непознаваемы — мы не можем точно сказать, почему они принимают те или иные решения. И при всем том среди людей, работающих над созданием ИИ и УЧИ, лишь небольшая часть хотя бы сознает, что на этом пути нам могут грозить опасности. Большинство не рассматривает катастрофические сценарии и не планирует своего поведения на этот случай. Инженеры-атомщики Чернобыля и Тримайл-Айленда глубоко изучали всевозможные аварийные сценарии, но даже они не сумели эффективно вмешаться. Какие шансы справиться с УЧИ будут у неподготовленных ученых?
Наконец, подумайте о DARPA. Без этого агентства информатика как наука и все, что она нам дала, были бы сегодня на значительно более примитивном уровне. ИИ, если бы все же разрабатывался, сильно отставал бы от нынешнего состояния. Но DARPA — оборонное ведомство. Сознает ли оно, насколько сложным и непознаваемым может оказаться УЧИ? Готово ли к тому, что у УЧИ будут собственные потребности и мотивации, помимо тех задач, для решения которых он будет создан? Или получатели грантов DARPA вооружат продвинутый ИИ раньше, чем будет создана этика его использования?
Ответы на эти вопросы, когда они будут получены, могут нам не понравиться, особенно если не забывать о том, что на кону стоит будущее человечества.
Рассмотрим еще одно возможное препятствие для интеллектуального взрыва — сложность программного обеспечения. Утверждается следующее: мы никогда не получим УЧИ, или искусственный разум человеческого уровня, потому что задача его создания окажется слишком сложной для нас. Если это правда, то никакой УЧИ не сможет усовершенствовать себя в достаточной степени, чтобы запустить интеллектуальный взрыв. Искусственный разум не сможет создать чуть более умную версию самого себя, эта версия не построит еще более умный ИИ и т. д. Те же ограничения распространяются и на человеко-машинную связь — не исключено, что она сможет укрепить и усилить человеческий интеллект, но никогда по-настоящему не превзойдет его.
Посмотрим, как давно человек исследует проблему сложного программирования. В 1956 г. Джон Маккарти, которого называют отцом ИИ (именно он пустил в обращение термин «искусственный интеллект»), объявил, что всю проблему УЧИ можно решить за полгода. В 1970 г. пионер ИИ Марвин Мински сказал: «За период от трех до восьми лет мы получим машину, сравнимую по общему интеллекту со средним человеческим существом». Учитывая состояние науки на тот момент и пользуясь преимуществами послезнания, скажем, что оба они страдали от гордыни в классическом смысле. Греки под гордыней понимали высокомерие, причем часто по отношению к богам. Грех гордыни приписывали людям, которые пытались выйти за рамки человеческих возможностей. Вспомните Икара, попытавшегося подняться к Солнцу, Сизифа, сумевшего перехитрить Зевса (по крайней мере, на какое-то время), и Прометея, давшего людям огонь. Пигмалион, согласно мифологии, был скульптором и влюбился в одну из своих статуй, в Галатею (в переводе с греческого ее имя означает «спящая любовь»). Но Пигмалион не понес наказания. Вместо этого Афродита, богиня любви, оживила Галатею. Гефест, греческий бог-кузнец, помимо всего прочего, любил делать железные машины, которые помогали в работе с металлами. Он создал Пандору с ее ящиком, и Талоса — бронзового гиганта, защищавшего Крит от пиратов.
Парацельс, великий средневековый алхимик, известный тем, что связал медицину с химией, будто бы придумал формулу создания человекоподобных существ и гибридов человека и животных, называемых гомункулусами. Наполните мешок человеческими костями, волосами и спермой, затем заройте его вместе с лошадиным навозом. Подождите сорок дней. Народится человекоподобный младенец и будет жить, если кормить его кровью. Он навсегда останется крохотным, но будет выполнять ваши приказы, пока не взбунтуется и не убежит. А если вы хотите получить помесь человека с другим животным, скажем, с лошадью, замените в рецепте человеческие волосы конскими. Я, надо сказать, мог бы придумать десяток применений крохотному человечку (чистить теплопроводные каналы в стенах и т. п.), но вот к какому делу можно приставить крохотного кентавра, ума не приложу.
Задолго до появления Лаборатории робототехники в МТИ и «Франкенштейна» Мэри Шелли существовала еврейская легенда о големе. Подобно Адаму, голем — существо мужского пола, сотворенное из глины. В отличие от Адама, голем оживлен не дыханием Господа, а распевными словами и числами, которые произносит равви-каббалист, верящий в упорядоченность Вселенной и божественность чисел. Имя Бога, написанное на клочке бумаги и вложенное в рот, поддерживает в этом безгласном, но вечно растущем существе «жизнь». В еврейском фольклоре раввины-волшебники использовали голе- мов в качестве лакеев и домашних слуг. Самый знаменитый голем по имени Йосель, или Иосиф, был создан в XVI в. главным раввином Праги Иехудой Лёвом. В эпоху, когда евреев то и дело обвиняли в использовании крови христианских младенцев при приготовлении мацы, Йосель без устали разоблачал «кровавых» клеветников, ловил воров в еврейском квартале Праги и вообще помогал рабби Лёву бороться с преступностью. В конце концов, согласно легенде, Йосель взбесился и начал крушить все вокруг. Чтобы спасти соплеменников, раввин вступил с големом в схватку и вынул оживляющий клочок бумаги из его рта. Йосель рассыпался на куски. По другой версии, рабби Лёв был раздавлен падающим гигантом насмерть — уместное наказание за гордыню, толкнувшую его на акт творения. Еще по одной версии, жена рабби Лёва приказала Йоселю принести воды, а он начал носить и носил до тех пор, пока дом его создателя не был полностью затоплен. В информатике незнание того, остановится программа вовремя или нет, называют «проблемой остановки». Хорошие программы работают до тех пор, пока не встретят команду остановиться, и в общем случае невозможно сказать наверняка, остановится ли когда-либо данная конкретная программа. В случае с големом жене рабби Лёва следовало уточнить, сколько воды нужно принести, — скажем, сто литров, — и тогда Йосель, вероятно, остановился бы, выполнив задание. Если верить легенде, она этого не сделала.
Проблема остановки — серьезный вопрос для программистов; бывает, что до запуска готовой программы не удается обнаружить скрытый в тексте бесконечный цикл. Кроме того, есть еще один интересный факт: невозможно написать приложение, которое определяло бы, актуальна ли для той или иной программы проблема остановки. На первый взгляд представляется, что такой диагностический отладчик вполне возможен, но еще Алан Тьюринг обнаружил, что это не так (причем до того, как появились компьютеры и программирование). Он сказал, что проблема остановки нерешаема, потому что, если отладчик наткнется на проблему остановки в тестируемой программе, он сам войдет в бесконечный цикл и не сможет определить присутствие этой проблемы. Вам, программисту, придется ждать от него ответа ровно столько же, сколько вы прождали бы остановки первоначальной программы. То есть очень долго, а может быть, даже целую вечность. Один из отцов искусственного интеллекта Марвин Мински указал, что «любой конечный автомат, будучи предоставлен сам себе, со временем перейдет в периодический повторяющийся режим. Продолжительность этого цикла не может превосходить число возможных внутренних состояний машины». Иными словами, при прогоне проблемной программы компьютеру с памятью средней емкости потребуется очень много времени, чтобы перейти в полностью циклический режим, который могла бы заметить диагностическая программа. Насколько много? В некоторых случаях больше, чем просуществует Вселенная. Так что для практических целей проблема остановки означает невозможность точно сказать, остановится данная конкретная программа или нет.
