Джо подбирает игроков в футбольную команду университета Б. Он всегда ездит на тренировки школьных команд, если тренеры сообщают ему, что появился кандидат в университетскую сборную. Однажды он отправляется в школу, чтобы понаблюдать за нападающим, которого расхваливают его тренеры. Но на тренировке юноша промахивается, не может прорваться сквозь защитников и в целом не слишком результативен. В своем отчете начальству Джо пишет, что игрока переоценили, и рекомендует университету больше не рассматривать его в качестве кандидата в команду. Верное это решение или нет?
Если вы ответили, что Джейн приняла верное решение, а Джо нет, готов поспорить, что вы разбираетесь в спорте, но не в актерском мастерстве. Если же вы сказали, что Джо прав, а Джейн нет, вы, вероятно, разбираетесь в актерском мастерстве, но не в спорте.
Я обнаружил, что люди, которые мало понимают в спорте, чаще говорят, что Джо прав, заключив, что футболист не так уж талантлив, а люди, которые разбираются в спорте, считают, что Джон поторопился с выводом. Они допускают возможность, что выборка, представляющая собой единственную игру нападающего, была слишком мала и, возможно, это была худшая тренировка этого игрока. Таким образом, остается возможность, что способности этого спортсмена на самом деле гораздо больше соответствуют отзывам о нем, чем тому, что увидел Джо.
Люди, которые мало понимают в актерском мастерстве, скорее всего согласятся, что юная актриса не очень талантлива, но те, кто в этом разбирается, скажут, что Джейн пренебрежительно относится к суждениям своих друзей, преподающих в школе. При прочих равных условиях чем больше вы понимаете в каком-то вопросе, тем чаще можете применять статистические закономерности в своей работе. В данном случае важно помнить о законе больших чисел.
И вот почему здесь этот закон здесь необходим. Надежным показателем качества игры и уровня способностей футболиста можно считать то, как он играл на протяжении всего сезона или даже нескольких сезонов. Если его тренеры подтверждают эту информацию, настаивая на том, что он отличный игрок, это уже база доказательств — множество исходных данных, указывающих на то, что игрок, за которым наблюдал Джо, действительно талантлив. Результаты наблюдений Джо ничтожны по сравнению с наблюдениями тренеров, которые каждый день видят игрока на тренировках и в играх.
Конечно, уровень игры футболиста и даже целой команды может меняться от матча к матчу. Как гласит популярная присказка, в любое воскресенье любая команда Национальной футбольной лиги может победить любую другую команду Национальной футбольной лиги. Это не означает, что все команды одинаково сильны, просто нужно помнить: для того, чтобы с уверенностью судить об уровне команды, нужно увидеть много примеров ее игры.
Та же логика определяет мнение директора театральной программы о юной актрисе, выступление которой она смотрит. Если несколько человек, хорошо знающих эту девушку, говорят, что она талантлива, имеет смысл больше довериться их мнению, чем своему, основанному на недостаточном числе примеров. Однако мало кто признает это, за исключением тех, кто сам имеет за плечами сценический опыт и понимает, насколько разными могут быть выступления. Известный актер Стив Мартин писал в автобиографии, что почти любой комедийный актер может иногда сыграть великолепно. Но успех приходит к тем, кто умеет играть по меньшей мере неплохо — раз за разом.
Говоря языком статистики, тренер и директор театральной программы пытаются определить истинное значение кандидата, которого они наблюдают. Наблюдение = истинное значение + ошибка. Это верно для любых расчетов и исследований, даже если речь идет о росте людей или температуре воздуха. Повысить точность полученного значения можно двумя способами. Первый — усовершенствовать средства наблюдения, то есть найти линейки и термометры поточнее. Второй способ — «исключить» ошибки наблюдений, сколько бы их ни было, расширив выборку. Увеличьте количество наблюдений и найдите среднее значение на основе всех наблюдений в сумме. И не забывайте о законе больших чисел: чем больше сделано наблюдений, тем вы ближе к истине.
Иллюзия собеседования
Даже когда мы высококомпетентны в какой-либо сфере и отлично разбираемся в статистике, мы можем забыть о концепции изменчивости и применении закона больших чисел. На факультете психологии Мичиганского университета для того, чтобы принять решение о приеме выпускника в аспирантуру, с ним проводят собеседование. Мои коллеги обычно придавали огромное значение итогам этой 20-30-минутной беседы с выпускником. «Не думаю, что она подойдет нам. По-моему, она не очень разбирается в вопросах, которое мы обсуждали». «Он выглядит очень уверенным в себе. Он рассказал о своей блестящей дипломной работе и сумел показать, что понимает, как проводятся исследования».
Проблема здесь в том, что суждения о человеке, основанные на малой выборке примеров поведения, могут «перевешивать» куда большее количество куда более важных свидетельств, включая средний балл аттестата колледжа, который отражает, как человек учился в течение четырех лет по тридцати с лишним академическим предметам; баллы за выпускной тест (GRE), который отражает знания, полученные за 12 лет обучения, и общие интеллектуальные способности; а также рекомендательные письма, которые обычно составляются на основе многих часов работы со студентом. На самом деле средний балл аттестата колледжа дает весьма приблизительное представление о том, как покажет себя этот студент в ходе последипломного обучения[104] (корреляция здесь обычно будет примерно 0,3, что, как вы увидите из следующей главы, очень мало). Примерно такой же точности прогноз дают баллы, полученные за тест GRE. Два этих показателя в общем-то не зависят друг от друга, поэтому уровень точности совокупного прогноза по ним будет выше, чем по каждому из них по отдельности. Рекомендательные письма также повышают точность прогнозирования.
Для сравнения: совпадение прогнозов на основе получасового собеседования и последующей успеваемости кандидата на постдипломное обучение (и точно так же обстоит дело с офицерами, бизнесменами, будущими врачами, волонтерами Корпуса мира и другими людьми, проходящими подобное собеседование) обычно не достигает 0,1. Примерно с таким же успехом можно подбрасывать монетку. Все было бы не так плохо, если бы собеседование воспринимали так, как оно того заслуживает, — всего лишь как еще одну, завершающую попытку предвидеть результат. К сожалению, точность окончательного решения практически всегда снижается, поскольку значение собеседования преувеличивается по отношению к другой, более важной информации.
Значение собеседования настолько переоценивается, что этот короткий разговор может изменить мнение о человеке на прямо противоположное. Считается, что беседа с абитуриентом лучше расскажет о его успеваемости в университете, чем средние оценки в школе, а о готовности к работе в Корпусе мира — лучше, чем рекомендательные письма, основанные на многочасовом наблюдении за кандидатом[105].
Давайте расставим все точки над i по поводу информации, которую дает собеседование. В том случае, если у вас есть значимая, безусловно ценная информация о претенденте на место, которую можно узнать, просто просмотрев его бумаги, тогда лучше не проводить собеседование вообще. Если бы мы умели придавать собеседованию ровно столько значения, сколько оно заслуживает, это было бы не так, но не переоценивать его значение практически невозможно, потому что мы склонны с неоправданной самоуверенностью относиться к собственным наблюдениям, которые якобы дают нам верное представление о способностях и качествах человека.
Результаты собеседования надо воспринимать как голографический снимок человека — изображение меньше, оно расплывчатое, но все же это изображение этого человека. Собеседование — это крохотный, фрагментарный и, возможно, искаженный пример, вырванный из контекста всей информации, которая имеется об этом человеке. Вспомните буддистскую притчу про слона и слепых и заставьте себя поверить, что вы и есть один из этих слепых.
Помните, что иллюзия важности собеседования и фундаментальная ошибка атрибуции (ФОА) —явления одной природы. То и другое усугубляется тем, что нам никогда не удается уделить нужное количество внимания той информации, которая имеется о человеке. Если бы мы лучше понимали смысл ФОА, мы бы гораздо больше сомневались в той информации, которую дает собеседование. Точное применение закона больших чисел также делает нас менее подверженными ФОА и иллюзии собеседования.
Я бы хотел с гордостью заявить, что мои знания об истинной пользе собеседований всегда позволяют мне критически относиться к собственным умозаключениям, сделанным на основе собеседования. Однако сдерживающий эффект здесь весьма и весьма ограничен. Слишком сильна иллюзия, что я обладаю ценными знаниями, имеющими под собой серьезную основу. Все равно приходится напоминать себе, что я не должен придавать слишком большое значение собеседованию или любому другому поверхностному впечатлению о человеке. Это особенно важно, когда я обладаю заведомо надежной информацией о нем, основанной на мнении других людей, давно знающих кандидата, а также подробным перечнем достижений этого человека в научной или другой области.
