В приложении к УЧИ у Принципа предосторожности и отказа от технологий нет никаких шансов, если исключить вариант катастрофического происшествия на пути к УЧИ, которое испугало бы нас всех до смерти. Лучшие корпоративные и правительственные проекты УЧИ никогда не откажутся от конкурентного преимущества в виде секретности — мы уже видели это на примере стелс-компаний. Мало какая страна или организация откажется от такого преимущества, даже если работа над УЧИ будет объявлена вне закона. (Мало того, та же корпорация Google обладает средствами и влиянием небольшого государства, так что, если хотите понять, что будут делать другие страны, следите за Google.) Технологии, необходимые для создания УЧИ, вездесущи и многосторонни, к тому же постоянно миниатюризируются. Контролировать их развитие чрезвычайно сложно, если не невозможно.
Другой вопрос — действительно ли аморально не развивать УЧИ, как говорит Курцвейл. Во-первых, польза от УЧИ будет громадна, но только в том случае, если человечество уцелеет и сможет ею воспользоваться. И это довольно серьезное если, когда система достаточно продвинута, чтобы инициировать интеллектуальный взрыв. Утверждать, как это делает Курцвейл, что недоказанная польза перевешивает столь же недоказанный риск, на мой взгляд, проблематично. Я бы сказал в ответ на его аргументы, что аморально, на мой взгляд, разрабатывать такие технологии, как УЧИ, и не просвещать одновременно как можно большее количество людей относительно связанных с этим рисков. Я считаю, что катастрофические риски УЧИ, ныне признанные многими известными и уважаемыми исследователями, установлены надежнее, чем предполагаемая польза от сингулярности, — для начала это наноочищение крови, улучшенный, более быстрый мозг и бессмертие. Единственное, что можно наверняка сказать о сингулярности, — это то, что данный термин описывает период времени, в который, согласно Закону прогрессирующей отдачи, быстрые и очень умные компьютеры прочно войдут в нашу жизнь и наши тела. После этого, вполне возможно, чуждый машинный интеллект устроит нашему природному интеллекту веселую жизнь. Понравится нам это или нет, другой вопрос. Если вы внимательно читали Курцвейла, вы понимаете, что польза проистекает в основном от усиления человеческих способностей — усиления, необходимого, чтобы поспевать за изменениями. Как я уже говорил, я считаю, что это приведет к технологическому насилию, а может быть, и к выбраковке.
И это, надо сказать, не главный мой страх, потому что я не думаю, что мы когда-нибудь доживем до подобной ситуации. Я считаю, что нас остановят еще на подходе силы, слишком могущественные, чтобы их можно было контролировать. Я сказал об этом Курцвейлу, и он ответил стандартной заготовкой — тем же оптимистичным, антропоморфным аргументом, что он выдал мне десять лет назад.
Получить сущность чрезвычайно умную, но по каким-то причинам нацеленную на наше уничтожение — это негативный сценарий. Но спросите себя: почему может так случиться? Во- первых, я осмелился бы утверждать, что не существует противостояния между нами и машинами, поскольку машины — не отдельная цивилизация. Это часть нашей цивилизации. Это инструменты, которыми мы пользуемся, и их применение постоянно расширяется; даже если мы станем этими инструментами, все равно эта система развивается из нашей цивилизации. Это не какое-то инопланетное вторжение машин с Марса. Нам не придется гадать, на чем основана их система ценностей.
Как мы уже говорили, считать, что УЧИ будет в точности похож на человека, означает приписывать человеческие ценности разумной машине, которая получила свой разум — и свои ценности — совершенно иначе, чем мы. Несмотря на самые лучшие намерения создателей, в большинстве, если не во всех УЧИ значительная часть работы системы окажется слишком непрозрачной и слишком сложной, чтобы мы могли полностью в ней разобраться и точно предсказать ее поведение. Чуждый, непознаваемый, да к тому же… не забывайте, что некоторые УЧИ будут созданы специально для того, чтобы убивать людей, ведь в США, к примеру, мы видим ведомства оборонного сектора среди самых активных инвесторов. Можно ожидать, что в других странах дело обстоит точно так же.
Я уверен, что Курцвейл понимает, что для того, чтобы УЧИ уничтожил человечество, не обязательно разрабатывать его специально с этой целью; достаточно простой небрежности. Как предупреждает Стив Омохундро, без тщательного программирования у продвинутого ИИ появятся мотивации и цели, которые будут нам чужды. Как говорит Елиезер Юдковски, наши атомы могут пригодиться ИИ в каком-то совсем другом качестве. И, как мы уже видели, дружественный ИИ, который обеспечил бы правильное поведение первого УЧИ и всех его потомков, — это концепция, которой еще очень далеко до готовности.
Курцвейл не стал уделять слишком много времени концепции дружественного ИИ. «Мы не можем просто сказать: "Мы поместим в наши ИИ эту маленькую подпрограммку, и это их обезопасит", — сказал он. — Я имею в виду, все сводится к целям и намерениям этого искусственного интеллекта. Перед нами пугающие вызовы».
Вызывает ужас одна только мысль о недружественном ИИ — УЧИ, разработанном с целью уничтожения врагов; с этой реальностью мы с вами очень скоро столкнемся лицом к лицу. «Почему бы могла появиться такая вещь?» — спрашивает Курцвейл. Да просто потому, что десятки организаций в США работают над ее созданием, и тем же самым занимаются за границей наши противники. Если бы сегодня УЧИ уже существовал, то очень скоро, не сомневаюсь, он нашел бы применение в боевых роботах. Возможно, DARPA настаивает, что беспокоиться не о чем, — ИИ, созданные на деньги DARPA, будут убивать только наших врагов. Его создатели установят защиту, позаботятся о безотказности, добавят аварийный блокиратор и систему секретной связи. Они смогут контролировать сверхразум.
В декабре 2011 г. один иранец запустил на своем ноутбуке простую программу обмена файлами — и устроил крушение беспилотника Sentinel. В июле 2008 г. кибератака на Пентагон позволила злоумышленникам получить неограниченный доступ к 24000 секретных документов. Бывший заместитель министра обороны Уильям Линн III рассказал газете The Washington Post, что в результате сотен кибератак на системы министерства обороны и его подрядчиков были украдены «наши важнейшие секреты, включая системы авионики, технологии наблюдения, системы спутниковой связи и сетевые протоколы безопасности». Тому, кто не способен даже на такое относительно простое дело, как обезопасить информацию от хакеров-людей, бессмысленно доверять охрану сверхразума.
Однако мы можем извлечь кое-какие полезные уроки из истории контроля над вооружениями. С момента создания ядерного оружия только США реально использовали его против неприятеля. Ядерным державам удалось избежать гарантированного взаимного уничтожения. Ни в одной ядерной державе, насколько нам известно, не происходило случайных взрывов. Пока история ответственного руководства ядерной отраслью заслуживает высокой оценки (хотя угроза еще не миновала). Но вот что я хочу сказать. Слишком мало людей знает, что нам необходимо налаживать постоянный международный переговорный процесс по поводу УЧИ, сравнимый с тем, что идет по поводу ядерного оружия. Слишком много людей полагает, что пределы ИИ обозначены безобидными поисковыми системами, смартфонами и вот теперь компьютером Watson. Но в реальности УЧИ намного ближе к ядерному оружию, чем к видеоиграм.
ИИ — технология «двойного назначения»; этим термином обозначают технологии, имеющие и мирные, и военные приложения. К примеру, ядерный синтез может обеспечивать города электричеством или разрушать их (или, как в случае с Чернобылем и Фукусимой, делать то и другое последовательно). Ракеты, сконструированные в ходе космической гонки, увеличили мощность и точность межконтинентальных баллистических ракет. Нанотехнологии, биоинженерия и генная инженерия обещают невероятные успехи в улучшающих жизнь гражданских приложениях, но они же буквально напрашиваются на катастрофические аварии и использование военными и террористами.
Когда Курцвейл объявляет себя оптимистом, он не подразумевает, что УЧИ окажется безобидным. Он говорит о том, что готов к взвешенному подходу, обычному для людей, сталкивающихся с потенциально опасными технологиям. И иногда люди терпят неудачу.
«Идет много разговоров об экзистенциальных рисках, — сказал Курцвейл. — Меня больше тревожат неприятные эпизоды, они куда более вероятны. Вы знаете, шестьдесят миллионов человек были убиты во время Второй мировой войны. Разумеется, эта цифра увеличилась за счет мощных разрушительных средств, которыми мы тогда располагали. Я настроен довольно оптимистично и считаю, что мы прорвемся, но я не настолько оптимистичен, чтобы думать, что нам удастся избежать болезненных эпизодов».
