Говоря в более общем смысле, помните, что вы можете закодировать, а что нет. Если вы не можете навскидку закодировать или перевести в численный эквивалент значения данного события или поведения, попытайтесь придумать способ кодировки данного значения. Даже попытка сделать это, вероятно, станет для вас предупреждением, что вы рискуете переоценить систематичность события или поведения.
Есть и хорошая новость по поводу всего сказанного в этой и предыдущей главах. Мы говорили о методах статистики применительно к немногим и весьма узким сферам деятельности. Однако мой опыт показывает: даже нескольких примеров бывает достаточно, чтобы научить людей делать логические выводы из огромного количества событий, ничуть не напоминающих примеры из этой книги.
Когда я объясняю действие закона больших чисел на примере лотерей или подбрасывания монетки, то есть того, что в нашем представлении связывается со статистикой, мои слушатели начинают делать успешные умозаключения по поводу событий, о которых они не думают в вероятностном смысле, например об объективном измерении способностей[120]. Как и о других явлениях, которые мы редко оцениваем в статистическом смысле, например о чертах личности. То же самое происходит, когда я призываю использовать только объективно измеряемые показатели способностей либо, наоборот, приводить субъективные, трудно поддающиеся измерению величины в качестве примеров. Когда человек учится решать задачи одного типа, он начинает лучше справляться с задачами совершенно иного типа.
Выводы
Точная оценка взаимосвязей может быть в вышей степени затруднительной. Даже если данные собраны и суммированы за нас, мы можем неверно оценить степень ковариации. Необъективность подтверждения — наиболее распространенная ошибка: если какие-то значения А равны значениям Б, этого может быть достаточно, чтобы мы посчитали, что А связано с Б. Но на самом деле, чтобы оценить, связано ли значение А со значением Б, необходимо сравнить две пропорции, составленные на основе четырехпольной таблицы.
Когда мы пытаемся оценить корреляции, которые никак не можем предсказать, например, когда мы пытаемся рассчитать корреляцию между бессмысленными или принужденно связанными событиями, корреляция должна быть очень высокой, чтобы мы смогли обнаружить ее. Наши способности к обнаружению ковариации оказываются очень слабыми, если события отделяет друг от друга больше, чем несколько минут.
Мы склонны к иллюзорным корреляциям. Когда мы пытаемся оценить корреляцию между двумя событиями, связь между которыми кажется правдоподобной, — то есть когда мы готовы найти положительную корреляцию между ними — мы решим, что такая корреляция присутствует, даже когда ее нет. Когда связь между событиями не кажется настолько правдоподобной, мы можем не заметить положительную корреляцию даже тогда, когда она есть и относительно высока. Еще хуже, если мы делаем вывод о наличии положительной корреляции, когда на самом деле она отрицательная, или о наличии отрицательной, когда на самом деле она положительная.
В основе многих наших изначальных предположений о корреляции лежит эвристика репрезентативности. Если величина А в чем-то похожа на величину Б, мы, вероятно, увидим взаимосвязь между ними. Эвристика доступности также может играть большую роль. Если первыми на ум приходят именно те случаи, где А связана с Б, а не те, где эта связь отсутствует, то нам свойственно сильно переоценивать степень этой взаимосвязи.
Корреляция не означает причинно-следственную связь, но когда существует правдоподобная причина, по которой А может являться причиной Б, мы склонны допустить, что корреляция означает причинноследственную связь. Корреляция между А и Б может возникнуть потому, что А является причиной Б, Б является причиной А либо что-то еще является причиной и того и другого. Мы постоянно упускаем из виду эти возможные варианты. Отчасти потому, что мы не осознаем, насколько легко «объяснить» корреляцию с точки зрения причинно-следственной связи.
Надежность измерения переменной величины означает степень воспроизводимости того же результата от измерения к измерению или при переходе от одного метода измерения к другому. Валидность (обоснованность) способа измерения показывает, насколько он прогнозирует то, что должен прогнозировать. Способ измерения величины может быть идеально надежным, но совершенно не валидным. Два астролога могут одинаково (надежно) оценивать, насколько люди, рожденные под знаком Рыб, более экстравертны, чем Близнецы, но их оценки никак не обоснованы.
Чем более кодируемы события, тем более вероятно, что наша оценка корреляций будет верна. Когда речь идет о легко кодируемых событиях, например о тех, которые обусловлены способностями человека, наша оценка корреляции между двумя фактами может быть довольно точной. Понятно и то, что среднее значение множества однотипных событий лучше прогнозирует среднее значение множества других событий того же типа, чем значение единичного события прогнозирует значение другого единичного события, когда эти события обусловлены способностями человека. И даже что касается способностей, мы и представить не можем, насколько прогнозирование, основанное на множестве наблюдений, точнее и качественнее прогноза, основанного на единичном наблюдении. Пытаясь оценить взаимосвязь трудно кодируемых событий, например поведения, которые определяются свойствами личности человека, мы можем далеко отклониться от истины, не понимая, насколько лучше наблюдение множества таких событий прогнозирует поведение человека, чем наблюдение отдельных случаев.
Если, исходя из прошлых поступков человека, мы пытаемся предсказать его поведение, основанное на его личностных свойствах, мы должны быть предельно осторожны и сдержанны, за исключением тех случаев, когда выборка случаев его поведения достаточно велика и наблюдалась в различных ситуациях с разнообразным контекстом. Сложность кодирования конкретных поступков говорит о том, что наши попытки прогнозировать поведение другого человека вполне могут быть ошибочными. Нужно постоянно напоминать себе, что концепция фундаментальной ошибки атрибуции помогает нам понять, когда и где мы делаем слишком далеко идущие выводы.
Часть IV. Эксперименты
Опросы общественного мнения убивают истину.
Уилл Дюрант
Общество все больше полагается на опросы и эксперименты, которые могут обеспечить нас необходимой информацией. Это хорошо, потому что, если есть возможность провести эксперимент и найти ответ на вопрос, это почти всегда лучше, чем расчет корреляции с помощью специальных методов. Один из таких методов, который называют множественной регрессией, часто используется в медицинских и социальных исследованиях. Этот метод устанавливает зависимость между множеством независимых переменных прогноза (предикторов] одновременно и зависимой переменной результата. Метод множественной регрессии ставит вопрос: «За вычетом суммарного влияния всех прочих независимых переменных как влияет независимая переменная А на результирующую переменную?»
Несмотря на свою популярность, метод множественной регрессии по сути очень слаб и часто приводит к ошибочным результатам. Проблема возникает из-за ошибки самоотбора. Если мы не распределяем в случайном порядке случаи по группам с различными условиями эксперимента, они по самым разным причинам могут отличаться друг от друга по параметру, связанному с зависимой переменной величиной. Если результаты, полученные методом множественной регрессии, значительно расходятся с результатами контрольных рандомизированных экспериментов, значит, они не верны.
Но даже если разделение на группы с различными условиями эксперимента не вполне случайно, мы можем иногда получить «естественный эксперимент». Это возможно, когда имеются целые группы случаев (людей, земельных участков, городов), которые отличаются друг от друга относительно независимой переменной величины, и когда нет оснований считать, что какие-то конкретные случаи попали в эту группу неслучайно, что сделало бы выборку нерепрезентативной и не позволило бы нам сравнить результаты, показанные в разных группах.
Общество дорого платит за эксперименты, которые не были проведены, хотя сделать это было можно. Умерли сотни тысяч человек, совершены миллионы преступлений, миллиарды долларов потрачены впустую, потому что люди торопятся с выводами и начинают действовать, не проверив сначала, насколько это целесообразно.
Когда мы изучаем поведение людей, мы сталкиваемся с соблазном положиться на их свидетельства, хотя именно они зачастую бывают ошибочными. Если есть возможность каким-либо образом измерить параметры поведения, а не ограничиваться отчетами участников, вероятность решить проблему возрастает.
