Недопустимое подчинение автомату было документально зафиксировано во многих сопряженных с высоким риском ситуациях – будь то на полях сражений, в заводских цехах, на капитанских мостиках и в рубках надводных и подводных кораблей. Классический пример – авария океанского лайнера Royal Majesty с 1500 пассажирами на борту. Весной 1995 года судно шло от Бермудских островов в Бостон, завершая недельный круиз. Оно было оснащено суперсовременным навигационным оборудованием, в котором для прокладки курса использовали систему GPS. Через час после выхода из Бермудского порта был поврежден кабель антенны GPS и, как следствие, отказала навигационная система. На компьютерных экранах продолжала появляться какая-то абсолютно недостоверная информация. В течение 30 часов, пока корабль медленно, но верно отклонялся от заданного курса, ни капитан, ни экипаж не замечали возникшей проблемы, несмотря на то что были явные признаки выхода из строя системы навигации. В определенный момент вахтенный офицер не увидел сигнальный буй, мимо которого должно было в тот момент проследовать судно. Но вахтенный не доложил капитану об этом факте, решив, что просто пропустил буй, не заметив его. Пройдя еще 20 миль, корабль сел на мель у берега Нантакета. По счастью, никто из пассажиров не пострадал, но круизная компания понесла миллионные убытки. Правительственная комиссия пришла к выводу, что причиной несчастного случая стало подчинение автоматам. Команда судна «слепо положилась» на автоматизированную систему, причем до такой степени, что проигнорировала показания других навигационных средств и «визуальную информацию», которая четко говорила о том, что судно сбилось с курса. Члены комиссии пришли к выводу, что автоматические системы лишили моряков возможности осмысленного и активного участия в управлении судном [5].
Покорность автоматам может поразить не только людей, бороздящих морские и воздушные просторы, но и офисных работников. В исследовании, посвященном влиянию проектных программ на качество строительства, социолог из Массачусетского технологического института Шерри Теркл документально показала связанное с компьютеризацией изменение внимания архитекторов к деталям проектов. Если план здания выполнен от руки, то архитекторы проверяют и перепроверяют его, прежде чем передать строителям. Все прекрасно понимают, что человеку свойственно ошибаться, и поэтому следуют старому, мудрому принципу – семь раз отмерь, один раз отрежь. Если же план выполнен компьютером по заданной программе, то специалисты проверяют его не так придирчиво. Очевидная точность работы программ при расчетах приводит к тому, что эти данные заранее считают верными. «Я хочу сказать, что с моей стороны было бы большой самонадеянностью проверять работу компьютера, – сказала Шерри Теркл. – Он в тысячу раз превосходит меня в точности, выполняя расчеты с погрешностью до сотых долей дюйма». Такая слепая уверенность, характерная для многих инженеров и строителей, не раз приводила к дорогостоящим ошибкам в проектировании и строительстве. Компьютеры не делают глупостей, убаюкиваем мы себя, хотя прекрасно знаем, что качество их работы зависит от качества введенных человеком данных. «Чем совершеннее компьютерная система, – отмечает один из сотрудников Теркл, – тем больше уверенность в том, что она исправит ваши ошибки, и вы начинаете доверять всему, что появляется на экранах и в распечатках. Это какое-то животное чувство» [6].
Пристрастность к компьютерным данным – это оборотная сторона подчинения. Она возникает, когда люди придают неоправданное значение высвечивающейся на экране монитора информации. Даже если она неверна или вводит в заблуждение, люди все равно склонны ей верить. Уверенность в программном обеспечении оказывается настолько сильной, что мы игнорируем или отбрасываем другие источники информации, включая собственные суждения. Если вам когда-нибудь приходилось блуждать по незнакомому району, следуя указаниям неисправного или устаревшего GPS, то, значит, вы тоже пали жертвой пристрастия к данным автоматики. Даже люди, зарабатывающие на жизнь вождением автомобиля, часто проявляют поразительное отсутствие здравого смысла, полагаясь на спутниковые навигационные системы. Игнорируя дорожные знаки и другие значимые признаки, они выбирают опасные маршруты и порой врезаются в низкие эстакады или запутываются в узких улочках маленьких городков. В 2008 году в Сиэтле водитель автобуса высотой в 12 футов (около 4 метров), перевозившего школьную спортивную команду, врезался в пролет моста высотой в 9 футов. Крышу автобуса снесло от удара, в больницу с травмами попал 21 человек. В полиции водитель сказал, что следовал инструкциям навигатора и «не видел» знаки и предупреждающие сигналы о низком мосте [7].
Пристрастное отношение к компьютерным данным особенно рискованно для людей, принимающих решения на основании аналитических и диагностических компьютерных рекомендаций. С конца девяностых рентгенологи стали использовать программное обеспечение для выявления подозрительных очагов, обнаруженных при маммографии и других рентгенологических исследованиях. Цифровая версия изображения передается в компьютер, программа анализирует его и стрелками указывает врачу области рентгенограммы, на которые следует обратить особенно пристальное внимание. В некоторых случаях такие подсказки действительно способствуют верной диагностике, помогая врачу идентифицировать потенциальный рак в случаях, когда иначе он мог бы пропустить опасное заболевание. Проведенные на эту тему исследования показали, однако, что иногда такие подсказки производили абсолютно противоположный эффект. Идя на поводу у машины, врач лишь бегло осматривает другие области снимка и иногда пропускает угрожающую жизни больного опухоль или иную патологию. Подсказки увеличивают частоту ложноположительных результатов интерпретации снимков, приводящей к ненужным биопсиям.
Проведенный недавно группой специалистов Лондонского университета (University of London) анализ данных маммографий указывает на то, что пристрастное отношение рентгенологов и других специалистов по методам визуализации к компьютерным данным оказывает большее влияние на качество диагностики, чем думали раньше. Ученые обнаружили, что, в то время как компьютерная диагностика повышает надежность работы недостаточно опытных специалистов в выявлении сравнительно простых случаев, она же может подвести опытного рентгенолога при оценке сложных случаев. Полагаясь на программу, специалисты с довольно большой вероятностью пропускают некоторые типы рака [8]. Скрытое пристрастие к автоматизации принятия решений может быть обусловлено врожденным свойством когнитивных систем человеческого мозга реагировать на необычные и тревожные стимулы [9]. Направляя наше внимание в определенное русло, компьютерные подсказки искажают зрительное восприятие снимка.
Подчинение и пристрастие в отношении компьютерных данных и автоматизации вообще порождаются ограниченностью нашей способности концентрировать внимание. Тенденция к подчинению говорит о том, насколько легко исчезает наша сосредоточенность и осознание происходящего, когда отпадает необходимость непосредственного взаимодействия с окружающей реальностью. Склонность к пристрастному отношению в оценке компьютерной информации показывает, что внимание сосредоточивается выборочно и его объект может легко смещаться под влиянием достойных доверия подсказок, даже если они оказались ложными. Пристрастие становится все больше по мере того, как повышается надежность и качество автоматизированных систем [10]. Эксперименты показывают, что если система регулярно совершает ошибки, то мы сохраняем бдительность, следя за ее работой, проверяя ее сравнением данных с информацией, полученной из других источников. Но, если система надежна и редко отказывает, мы становимся ленивыми и нелюбопытными, убеждаясь в ее непогрешимости.
Так как автоматика в подавляющем большинстве случаев работает нормально даже тогда, когда мы перестаем за ней следить, мы редко расплачиваемся за подчинение и пристрастие. Это усложняет проблему, как отметил Парасураман в написанной в 2010 году совместно со своим немецким коллегой Дитрихом Манцем статье: «Учитывая высокую надежность автоматизированных систем, даже подчиненное и крайне пристрастное поведение редко приводит к неблагоприятным последствиям, – пишут ученые. – Отсутствие отрицательной обратной связи ведет к когнитивному процессу, который напоминает “приобретенную беззаботность”» [11]. Представьте себе, что вы ведете машину, испытывая сильную сонливость. Если вы начнете клевать носом и выпадете из своего ряда, то либо вы налетите на бордюр, либо въедете на разграничительную полосу, либо услышите сигнал рассерженного водителя следующей сзади машины. В любом случае вы немедленно проснетесь. Если же ваш автомобиль снабжен автоматическим устройством, следящим за разметкой на дороге, то вы проигнорируете эти предупреждающие сигналы и погрузитесь в еще более глубокий сон. Если произойдет что-то неожиданное – на дорогу выбежит какое-нибудь животное или перед вами внезапно резко остановится едущий впереди автомобиль – то вы, скорее всего, попадете в серьезное ДТП. Избавляя нас от отрицательной обратной связи, автоматизация притупляет бдительность, и мы все больше и больше отключаемся от реальности.
