конкурировать с высококвалифицированным наблюдателем, способным произвести сортировку гораздо точнее (и воспроизводимее), чем любая процедура, основанная на жестких правилах. К концу 1940-х годов врачи начали обучаться чтению электроэнцефалограмм. Требовалось экспертное суждение, чтобы разобраться в различных показателях, а никакие ранние методы применения частотного анализа не удовлетворяли поставленной задаче. Солнечные магнитограммы, отображающие магнитные поля на Солнце, требовали привлечения экспертов для выявления реальных сигналов из артефактов, порожденных измерительными приборами. Даже в физике элементарных частиц сложилось понимание того, что невозможно запрограммировать компьютер для правильной сортировки определенных видов треков; было необходимо человеческое суждение.
Постараемся не запутаться: это отнюдь не возвращение в прошлое, не воскрешение гения идеализаторства XVIII столетия. Никто не собирался становиться новым Гете, который, единственный среди всех ученых, описал бы универсальную, идеальную форму растения, насекомого или облака. Экспертное знание можно изучить: человек проходит курс обучения, чтобы приобрести нужные сведения по электроэнцефалограммам, звездным спектрам или трекам в пузырьковой камере; увы, никто и никогда даже не порывался разработать курс мастерства по исключительной наблюдательности. Не существует никакого «королевского пути» к превращению в нового Гете. В череде научных атласов ясно прослеживалось желание включить «субъективные» факторы в «репертуар» труда ученого, необходимый для создания, классификации и интерпретации научных образов.
Во многих утверждениях алгористов зримо проявляется упорное стремление прийти к научной объективности через отказ от человеческих суждений и применение сугубо механических процедур – во имя научной строгости. Во многих американских штатах алгоритмы вынесения приговоров и условно-досрочного освобождения закреплены законодательно. Считается, что машина судит лучше, ибо не подвержена капризам.
Что ж, вот предупреждение от науки. Алгоритмический «процессизм» пережил расцвет в XIX столетии и по-прежнему важен для многих успешных технических и научных начинаний. Но сама мысль о том, что механическая объективность, понимаемая как обязательное самоограничение, будто бы следует некой простой, монотонной кривой (от плохого «импрессиониста-клинициста» к хорошему «актуаристу», полагающемуся на машины), совершенно не соответствует истории науки, если присмотреться к той повнимательнее.
Имеется и более важный урок. Механическая объективность считается одной из научных добродетелей, и естественные науки часто об этом вспоминают. Попробуем перенести этот опыт на области права и социальных наук. Что происходит, например, когда некий патентованный алгоритм отправляет одного человека в тюрьму на десять лет, а другого – на пять, причем за одно и то же преступление? Ребекка Векслер, приглашенная научная сотрудница Проекта информационного общества при юридическом факультете Йельского университета, изучила этот вопрос и подсчитала грандиозные затраты, связанные с применением коммерческих алгоритмов для вынесения судебных решений[184]. Действительно, по разным причинам правоохранительные органы могут не раскрывать алгоритмы идентификации ДНК, определения химических веществ или опознания отпечатков пальцев, и это обстоятельство изрядно ослабляет позицию защиты. В зале суда объективность, коммерческая тайна и судебная прозрачность могут вести к принципиально разным исходам заседания. Поневоле вспоминается история физики. Сразу после Второй мировой войны пленочные гиганты «Кодак» и «Илфорд»[185] усовершенствовали пленку, которая годилась для выявления взаимодействий и распада элементарных частиц. Конечно, физики обрадовались, но потом их уведомили, что состав пленки является коммерческой тайной; отсюда следовало, что ученым никогда не обрести полной уверенности в постижении наблюдаемых процессов. Доказательства с помощью «черных ящиков» – это опасная игра для ученых, уж тем более – для уголовного правосудия.
Другие критики подчеркивают, сколь опасно полагаться на адрес обвиняемого (или осужденного) человека и другие переменные, которые запросто способны оказаться в «черном ящике» алгоритмического приговора своего рода ярлыком. На основе повседневного опыта мы привыкли к тому, что требования службы безопасности в аэропортах слегка ослабляются для детей в возрасте до 12 лет и для взрослых старше 75 лет. Какие факторы алгористы должны, как нам кажется, маскировать в своих тайных процедурах? Образование? Доход? Трудовую историю? Что мы читали, смотрели, посещали или покупали? Предыдущие контакты с правоохранительными органами? И как, по-нашему, алгоритмы должны расценивать эти факторы? Прогностическая аналитика на основе механической объективности имеет свою цену. Иногда эту цену стоит заплатить; но иногда эта цена непомерна для справедливого общества, о котором все мы мечтаем.
В целом, поскольку конвергенция алгоритмов и больших данных все больше и больше сказывается на нашей жизни, неплохо было бы запомнить и вызубрить эти два описанных выше урока истории наук. Человеческое суждение – вовсе не бесполезная шелуха торжествующей чистой объективности самоограничений. А механическая объективность есть добродетель, конкурирующая с другими, а не определяющая сущность научных изысканий. Вот уроки, которые следует усвоить, – и пусть алгористы продолжают грезить о предельной объективности.
Глава 23
Права машин
Джордж М. Черч
профессор-стипендиат генетики в Гарвардской медицинской школе, профессор медицинских наук и технологий в Гарварде и МТИ, автор (с Эдом Реджисом) книги «Регенезис: как синтетическая биология заново изобретает природу и нас самих».
В последнее десятилетие генная инженерия догнала в развитии компьютерные науки и вошла в число новых научных инициатив, определяющих нашу повседневную жизнь. Генетик Джордж Черч, лидер революции в изучении и описании биологии, является ключевой фигурой этого нового ландшафта идей. Он рассматривает человеческое тело как операционную систему, а инженеры, по его мнению, должны потеснить традиционных биологов в процедурах «переоснащения» компонентов организмов (от атомов до органов), как произошло в другой отрасли знаний в конце 1970-х годов, когда инженеры-электрики прокладывали путь к первым персональным компьютерам, компонуя печатные платы, жесткие диски, мониторы и т. д. Джордж затеял и возглавил проект «Персональный геном», который, единственный в мире, предоставляет открытую информацию о генетических, экологических и поведенческих данных (GET) и может считаться «первой ласточкой» растущей индустрии исследований ДНК.
Также Джордж в немалой степени причастен к разработке основ программы BRAIN (Brain Research through Advancing Innovative Neurotechnologies – исследование мозга посредством инновационных нейротехнологий) президента Обамы (2013), ориентированной на стимулирование человеческого мышления до степени, когда для выполнения большей части повседневных задач нам не понадобится (чреватая рисками) помощь ИИ. «Возможно, некоторые проекты инициативы BRAIN позволят нам обрести сознание, лучше соответствующее нашей этике и способное к решению сложных задач, обычно относимых к области искусственного интеллекта, – говорит Джордж. – На сегодняшний день надежнее всего побудить людей к выполнению все тех задач, которые они хотели бы поручить машинам, но мы пока не спешим встать на эту дорогу к безопасному будущему».
Средства массовой информации, писавшие о прорывах в генной инженерии, почему-то в целом проигнорировали недавнее, крайне важное и новаторское достижение Джорджа: он использовал локус CRISPR[186] (а также методики, более совершенные, чем локусы CRISPR) для редактирования геномов человеческих клеток.
Отношение Джорджа к будущим формам общего искусственного интеллекта в целом позитивно, о чем свидетельствует и очерк ниже. При этом он
