Сравните долларовую стоимость террористических атак и финансовых скандалов. Нападение «Аль-Каиды» 11 сентября 2001 г. обошлось США приблизительно в $3,3 трлн, если учесть последовавшие войны в Афганистане и Ираке. Но даже если не считать эти войны, то непосредственный ущерб от физических разрушений, экономических последствий и раздутых расходов на безопасность составил почти $767 млрд. Скандал с субстандартным ипотечным кредитованием[35], вызвавший худший глобальный спад со времен Великой депрессии, стоил около $10 трлн в мировом масштабе и порядка $4 трлн в США. Скандал с компанией Enron стоил примерно $71 млрд, а мошенничество Верни Мэдоффа — почти столько же, $64,8 млрд.
Эти цифры показывают, что по денежной стоимости финансовое мошенничество может поспорить с самым страшным терактом в истории, а субстандартное ипотечное кредитование намного его обгоняет. Когда исследователи передадут продвинутый ИИ в руки бизнесменов (что непременно произойдет), эти люди внезапно окажутся обладателями самой мощной технологии из всех когда-либо созданных. Некоторые используют ее для нового мошенничества. Я считаю, что следующая кибера- така будет представлять собой «дружественный огонь», то есть будет исходить изнутри страны; при этом она будет разрушать инфраструктуру и убивать американцев.
Звучит неубедительно?
Enron — замешанную в скандале техасскую корпорацию — возглавляли Кеннет Лэй (ныне покойный), Джеффри Скил- линг и Эндрю Фастоу (оба нынче в тюрьме); занималась компания продажей электроэнергии. В 2000 и 2001 гг. трейдеры Enron подняли в Калифорнии цены на электроэнергию при помощи стратегий, известных как «Толстый мальчик» и «Звезда смерти». В одной схеме трейдеры повышали цены, втайне приказывая энергопроизводящим компаниям отключать станции. Второй план подвергал опасности жизни людей.
Enron обладал правами на жизненно важную линию электропередач, соединяющую Северную Калифорнию с Южной. В 2000 г., перегрузив линию потребителями во время летней жары, компания создала «фантомную», или ложную, сетевую перегрузку и «бутылочное горлышко» в доставке энергии к потребителю. Цены взлетели до небес, а электричество оказалось в серьезном дефиците. Калифорнийские чиновники подавали энергию в одни районы, одновременно погружая во мрак другие, — известная практика «веерных отключений». Эти отключения вроде бы не вызвали гибели людей, но испугали очень многих: целые семьи оказывались запертыми в лифте, а улицы освещались только фарами проезжающих авто. Apple, Cisco и другие корпорации вынуждены были временно закрыться с потерей миллионов долларов.
Но сам Enron заработал на этом миллионы. Было зафиксировано, как во время отключения электричества один трейдер сказал: «Просто отключи их. Вот идиоты! Им бы лучше вернуть чертовых лошадей и коляски, и чертовы лампы, чертовы керосиновые лампы».
Сегодня этот трейдер — энергетический брокер в Атланте. Но дело в том, что, если бы руководители Enron имели доступ к умному вредоносному ПО, которое могло бы помочь им оставить Калифорнию без электричества, как вы думаете, они постеснялись бы им воспользоваться? Я думаю, нет, даже если это означало бы ущерб для энергосистемы и гибель людей
ГЛАВА 16
УЧИ 2.0
Машины последуют по пути, который отражает эволюцию человека. В конечном итоге, однако, сознающие себя самосовершенствующиеся машины выйдут в своем развитии за пределы человеческих возможностей контролировать или хотя бы понимать их.
Рэй Курцвейл, изобретатель, писатель, футурист
В игре жизни и эволюции участвуют три игрока: люди, природа и машины. Я прочно стою на стороне природы. Но природа, я подозреваю, на стороне машин.
Джордж Дайсон, историк
Чем больше времени я провожу с разработчиками ИИ и результатами их трудов, тем все более убеждаюсь, что УЧИ появится совсем скоро. И я уверен, что, когда это произойдет, его создатели обнаружат, что получилось не то, на что они рассчитывали, когда брались за это дело несколько десятилетий назад. Дело в том, что искусственный интеллект, возможно, получится человеческого уровня, но он не будет похож на человеческий интеллект по всем тем причинам, которые я перечислил. Будет много шума о том, что мы создаем на планете новый вид. Это будет круто. Но не будет уже разговоров о том, что УЧИ — следующий эволюционный шаг для homo sapiens, и обо всем, что с этим связано. По существу, мы просто не сможем понять, что представляет собой наше создание.
В своей области новый вид будет столь же силен, как Watson в своей. Если даже он будет сосуществовать с нами в качестве нашего орудия, он обязательно запустит свои щупальца во все уголки нашей жизни так, как и не снилось Google и Facebook. Социальные сети могут оказаться для него инкубатором, или средством распространения, или тем и другим сразу. Если поначалу ИИ будет нашим инструментом, то ответы у него будут готовы прежде, чем мы успеем сформулировать вопрос. В целом он будет лишен чувств. У него не будет за плечами нашего происхождения и природы млекопитающих, нашего долгого детства, необходимого для формирования мозга, или нашего инструктивного воспитания, даже если выращивать его, как человека, от младенчества до взрослости. Вероятно, он будет питать к вам не больше чувств, чем тостер у вас на кухне.
Это будет УЧИ версии 1.0. Если по какой-то случайности мы избежим интеллектуального взрыва и просуществуем достаточно долго, чтобы повлиять на создание УЧИ 2.0, возможно, его удастся наделить чувствами. К тому моменту ученые, может быть, выяснят, как сделать вычислительную модель чувств (возможно, с помощью 1.0), но чувства будут вторичной целью после первичной — делания денег. Ученые, возможно, научатся развивать эти синтетические чувства в направлении симпатии к нашему существованию. Но, скорее всего, 1.0 будет последней версией, которую мы увидим, потому что этого события мы не переживем и до создания 2.0 дело не дойдет. Подобно естественному отбору, мы выбираем работающие решения, а не лучшие.
Stuxnet тому — наглядный пример. Как и автономные дроны-убийцы. С финансированием DARPA ученые в Исследовательском институте Технологического университета Джорджии разработали программное обеспечение, позволяющее автоматическим транспортным средствам распознавать врагов при помощи программ зрительного распознавания и других средств, а затем наносить по ним смертельный удар при помощи вооруженного дрона. И все это вообще без участия человека. В статье, которую я читал об этом, была и фраза, призванная продемонстрировать благие намерения: «Авторизация машины на принятие смертельных боевых решений — дело политических и военных руководителей, решающих юридические и этические вопросы».
Это напоминает мне старый афоризм: «Был ли хоть один случай, когда оружие было изобретено, но не использовалось?» Быстрый поиск в Google выдал пугающий список вооруженных роботов, предназначенных для автономного убийства и нанесения ранений (один из них, изготовленный фирмой iRobot, орудует тазером), ожидающих только разрешения. Я уверен, что эти машины будут использованы задолго до того, как мы с вами об этом узнаем. Политики, расходующие общественные деньги, не сочтут необходимым заручиться нашим информированным согласием — точно так же, как не сделали этого перед тем, как запустить Stuxnet.
В ходе работы над этой книгой я просил ученых разговаривать человеческим языком, так чтобы было понятно даже непосвященным. Самые продвинутые из них так и делали, и я уверен, что это должно быть общим требованием в разговорах о рисках ИИ. На самом общем уровне эта тема не должна относиться к исключительной прерогативе технократов и мастеров риторики, хотя, читая в Сети материалы, посвященные ИИ, можно подумать, что именно так и обстоит дело. Дискуссия об ИИ не требует особого, «инсайдерского», словаря. Она требует только уверенности в том, что опасности и ловушки ИИ касаются всех нас.
Кроме того, я встречался с небольшим числом людей, среди которых были и ученые, которые так прочно убеждены в невозможности создания опасного ИИ, что вообще не хотели обсуждать эту идею. Но те, кто уходит от обсуждения этого вопроса, — из-за апатии ли, по лени или благодаря информированному убеждению, — не одиноки. Общество практически не в состоянии разобраться в этом вопросе и следить за угрозой, что ничуть не мешает медленному и неотвратимому развитию машинного интеллекта. Однако непонимание угрозы не отменяет того факта, что у нас будет всего один шанс наладить позитивное сосуществование с теми, чей интеллект превышает наш.
Издательство «Альпина нон-фикшн» представляет
Физика невозможного
Митио Каку, пер. с англ., 6-е изд., 2015, 456 с.
