То, что Мерхольц называет подходом, который «просто работает», имеет огромное значение. Всякий, кто пытался настроить будильник электронных часов, изменить настройки WiFi-роутера или разобраться в панели инструментов Microsoft Word, знает цену простоте. Слишком сложные устройства и программы заставляют нас тратить массу времени, но не дают ничего взамен. Верно, что мы не должны быть специалистами во всем на свете, однако предлагаемые программы берут на себя интеллектуальные и общественные функции. Такая замена становится весьма опасной. Она лишает нас не только радости познания, но и внушает чувство, что это познание ничего не стоит и к нему не надо стремиться. Вспомним для примера алгоритмы коррекции орфографических и синтаксических ошибок, которыми теперь снабжены практически все текстовые редакторы. Когда-то программы проверки орфографии исполняли роль наставников. Программа подчеркивала подозрительное слово, привлекала к нему ваше внимание и преподавала небольшой урок грамотности. Человек мог учиться в процессе работы над текстом. Теперь программисты добавили опцию автоматической коррекции. Такие системы мгновенно и исподтишка исправляют ошибки, не поднимая лишнего шума, не образуя обратной связи и убирая элементы познания.
Можно также взять для примера поисковую систему Google. В своей исходной форме она предназначена для запроса. Интерфейс был очень прост, но сервис заставлял пользователя обдумывать запрос, тщательно его составлять и отбирать ключевые слова для получения оптимального результата. Теперь все эти хлопоты остались в прошлом. В 2008 году компания ввела в поисковик опцию Google Suggest, систему, которая, опираясь на вероятностные алгоритмы, предвосхищает то, что вы ищете. Стоит вам ввести первую букву запроса, как Google тут же услужливо предлагает набор возможных запросов в оптимальной форме. С каждой следующей буквой набор предложений изменяется. За этим новшеством прячется настойчивое, почти маниакальное стремление к эффективности. Приняв на вооружение мизантропические ценности автоматизации, Google рассматривает человеческое познание как плохо отлаженный и неуклюжий биологический процесс, доверить который можно только и исключительно компьютеру. «Могу утверждать, что пройдет еще несколько лет, и на большинство запросов ответ будет даваться раньше, чем вы успеете дописать вопрос, – говорит Рэй Курцвейль, изобретатель и футурист, назначенный в 2012 году руководителем технического отдела компании. – Машина заранее будет знать, что вы хотели увидеть» [2]. Конечная цель – полностью автоматизировать акт поиска, выбросить из процесса изъявление человеческой воли.
Социальные сети, например Facebook, все больше проникаются такими же идеями. Они стараются упорядочить хаотичный процесс привлечения новых участников путем «статистического» приобретения новых друзей, «like» и другими символами симпатии и привязанности, а также автоматизированным управлением многих аспектов человеческих отношений. Основатель Facebook Марк Цукерберг приветствует все эти достижения как символ «беспрепятственного общения», не требующего никаких осознанных усилий. Есть отталкивающий момент в применении социальных сетей – это стандартизация связей между людьми. Человеческие отношения требуют доверия, обходительности и жертвенности, что, с точки зрения технократического ума, является источником неэффективности и неудобства. Общение становится похожим на привязанность потребителя к товару, которая легко формируется, но так же легко и исчезает.
Подобно чрезмерно назойливым родителям, не дающим детям поступать самостоятельно, Google, Facebook и другие изготовители программ для личного пользования способствуют уничижению и нивелированию тех черт характера, которые по крайней мере в прошлом считались незаменимыми для полноценной энергичной жизни: изобретательности, любопытства, независимости, упорства, отваги. Неужели в будущем люди будут пользоваться всеми этими добродетелями в их бутафорском виде, совершая виртуальные подвиги руками таких персонажей, как Джон Марстон, в иллюзорных мирах на экранах наших компьютеров?
Глава восьмая
Ваш внутренний робот
Представьте себе холодный декабрьский вечер. Пятница. Человек едет домой с корпоративного праздника. Точнее, сказать, его везут домой. Он недавно купил свою первую самоуправляющуюся машину, запрограммированный Google, сделанный на заводе Mercedes электромобиль eSmart. И за рулем не он, а программа. В свете автоматически настраиваемых светодиодных фар он видит затянутые льдом лужицы, но на них можно не обращать внимания, так как снабженный чувствительными датчиками робот регулирует скорость и газ в полном соответствии с дорожными условиями. Все идет гладко. Человек расслабился и погрузился в приятные воспоминания о праздничном вечере. Он углубляется в густой лес, нависающий с обеих сторон, и вдруг из-за деревьев на дорогу выбегает какое-то животное и застывает в свете приближающихся фар. Это соседский охотничий пес, никогда не отличавшийся дисциплинированностью.
Что делает робот-водитель? Нажмет ли он на тормоза, спасая собаку, но рискуя тем, что машина пойдет юзом? Или уберет виртуальную ногу с педали тормоза, пожертвовав собакой ради безопасности пассажира и автомобиля? Как будет компьютер разбираться в потоке переменных и вероятностей, чтобы за долю секунды принять решение? Если посчитано, что торможение будет означать для пса вероятность уцелеть, равную 53 %, и существует вероятность 18 %, что будет повреждена машина, а с вероятностью 4 % человек, сидящий в машине, получит травму, то сочтет ли компьютер спасение собаки правильным действием? Каким образом программа, работая самостоятельно, переведет набор чисел в решение, чреватое неприятными практическими и моральными последствиями?
Что, если это собака хозяина машины? Вместо собаки на дорогу мог выбежать ребенок… Вообразите, что утром тот же человек едет на работу, просматривая поступившую за ночь электронную почту, автомобиль идет по мосту со скоростью 40 миль в час. По тротуару мост переходит группа школьников. Дети послушно идут за взрослыми, ничто не предвещает неприятностей, однако машина сбрасывает скорость, предпочтя ошибку безопасности. Внезапно среди детей возникает короткая потасовка, и одного мальчишку выталкивают на дорогу. Человек в машине, деловито набирая очередное сообщение на клавиатуре смартфона, не замечает происходящего. Робот должен принять решение: либо увернуться от наезда, выйдя из ряда и выскочив на встречную полосу, чем он может убить хозяина, либо наехать на ребенка. Какую команду подаст компьютер на рулевую колонку? Учтет ли робот, что в машине едет еще и ребенок на детском сиденье, снабженном особыми датчиками? Что, если по встречной полосе идут машины и одна из них – школьный автобус? Когда-то Айзек Азимов составил кодекс поведения робота: «Робот не может причинять вред человеку или своим бездействием допускать ситуации, которые могут повредить человеку» [1]. Это вполне разумное требование, но оно было написано в те времена, когда мир был устроен проще.
«Появление самоуправляющегося автомобиля, – утверждает профессор психологии Нью-Йоркского университета Гэри Маркус, – лишит человека еще одной экологической ниши. Наступит новая эра, в которой машинам потребуются системы этических ценностей» [2]. Некоторые критики могут возразить, что она уже наступила. Медленно, но верно люди начали доверять компьютерам принятие морально значимых решений. Возьмем для примера широко разрекламированный пылесос-робот Roomba. Он не отличает комочки пыли от насекомых. Он сожрет и то и другое, не разбираясь в таких тонкостях. Если на пути Roomba окажется сверчок, то он засосет и его. Многие люди, пылесося квартиру, тоже едва ли обратят внимание на какую-то козявку, особенно если эта козявка – непрошеный гость в доме. Есть, однако, другие, которые остановятся, выключат пылесос, поднимут с пола сверчка и бережно вынесут за порог. (Последователи джайнизма, древней индийской религии, считают грехом причинение вреда любому живому существу.) Выпуская Roomba на ковер, мы предоставляем ему право принимать моральные решения от нашего имени. Газонокосилки-роботы, такие как LawnBott и Automower, несут смерть более совершенным проявлениям жизни – пресмыкающимся, земноводным и мелким млекопитающим. Большинство людей, увидев на лужайке жабу или полевую мышь, обычно щадят животных, а если случайно задевают их, то очень сожалеют о содеянном. Газонокосилки-роботы убивают, не испытывая угрызений совести.
До последнего времени дискуссии о нравственности роботов и других «разумных» машин носили чисто теоретический характер, становились сюжетами научно-фантастических романов или студенческих споров на философских факультетах. Этические моменты часто влияли на конструкции машин и механизмов. Оружие снабжали предохранителями, двигатели – регуляторами, поисковые системы – фильтрами, но от машин никогда не требовали совести. Им не нужно было приспосабливать работу к этическим капризам той или иной ситуации. Как только возникал вопрос об этической стороне применения машины, его решали люди. По мере того как роботы становятся все более умелыми и самостоятельными, они чаще неизбежно сталкиваются с ситуациями, в которых ни один выбор не может считаться правильным. Машинам придется, полагаясь только на себя, принимать решения. Невозможно механизировать сложную человеческую деятельность без автоматизации морального выбора.
