Второй причиной мнимой валидности является то, что мы не ищем и не учитываем противоположную информацию. (Дополнительное обсуждение этого явления будет проведено в главе 8.) Это основная причина, по которой люди склонны верить, что между переменными существует корреляция, когда на самом деле ее нет. Допустим, вы работаете в отделе кадров большой корпорации. В течение года вы приняли на работу в корпорацию 100 новых сотрудников. Как проверить, насколько правильные (валидные) решения вы приняли, наняв их? Большинство людей для этого проверили бы, как работают эти новые сотрудники. Предположим, что вы провели такую проверку и обнаружили, что 92% из них выполняют свою работу компетентно и профессионально. Усиливают ли эти выводы вашу уверенность в своих суждениях? Если на этот вопрос вы ответили «да», то вы забыли рассмотреть противоположные данные. Вы не учли тех людей, которых вы не приняли на работу. Может быть, большинство из них стали вице-президентами в компании «Дженерал Моторс»? Если вы обнаружите, что 100%из тех, кого вы не взяли на работу, занимают высокие посты в компании ваших конкурентов, то вам необходимо пересмотреть свою уверенность в умении судить о людях.
Мы не учитываем противоположную информацию частично из-за того, что во многих случаях ее невозможно получить. У работников отделов кадров нет информации о тех сотрудниках, которых они не взяли на работу. Аналогичным образом мы не располагаем большим количеством данных о человеке, с которым решили не встречаться, или о предмете, лекции по которому решили не посещать, или о доме, который не купили. Таким образом, имея лишь часть информации, мы можем заключить, что наши суждения лучше, чем они есть на самом деле.
Проведя критический обзор теста Роршаха (обычно этот тест называют «тестом чернильных пятен», потому что испытуемых просят сказать, что они видят в бесформенных симметричных чернильных пятнах), Доус (Dawes, 1994) пришел к выводу, что этот тест не является валидной оценкой умственного функционирования. Он не нашел подтверждений его полезности при диагностике или лечении умственных расстройств (хотя с помощью этого теста можно выявить людей, которые дают необычные ответы). Это означает, что тест Роршаха не валиден. Однако Доус сообщает, что некоторые психотерапевты так прореагировали на эти эмпирические результаты: «Да, я знаю, что тест не валиден, но я нахожу его полезным». Вам не кажется смешным такое утверждение? Если тест не валиден, то он не может быть полезным. Если психотерапевты считают его полезным, они обманывают себя и демонстрируют пример мнимой валидности. Тест может казаться им полезным, поскольку они интерпретируют ответы пациентов способами, которые, по их мнению, имеют смысл, но его реальная ценность заключается лишь в наглядной демонстрации нашей приверженности к стереотипным мнениям.
Надежность
Надежность оценки - это постоянство, с которым она оценивает именно то, что нужно оценить. Если бы вы для измерения длины своего стола пользовались резиновой линейкой, которая может растягиваться или сжиматься, то при каждом измерении вы, вероятно, получали бы разные результаты. Конечно же, мы хотим, чтобы наши измерения были надежными.
Ученые, занимающиеся общественными и естественными науками, уделяют большое внимание проблеме надежности измерений. Например, тест интеллекта считается надежным тогда, когда один и тот же человек получает результаты, которые лежат в одном и том же диапазоне при каждом тестировании. Когда мы выступаем в роли «интуитивного ученого», мы редко учитываем надежность. Приходя к выводу о необъективности преподавателя или студента, мы часто полагаемся на один или два примера поведения без учета надежности нашей оценки этого человека.
Предположим, вы узнали, что ваш друг Рикардо провалился на экзамене, который все остальные легко сдали. Можете ли вы заключить, что его преподаватель с предубеждением относится к латиноамериканцам? Для этого необходимо собрать много других наблюдений за преподавателем и выяснить, насколько часто латиноамериканцы проваливаются у него на экзаменах. Если процент таких провалов в его классе необычно высок по сравнению с другими классами, то у вас есть веские основания заключить, что преподаватель с предубеждением относится к латиноамериканцам. Без тщательных измерений и, в данном случае, без выборки большего размера вы не можете сделать вывода о необъективности преподавателя.
Обдумывание ошибок
Для ученого теория - это нечто, требующее проверки. Он стремится не к защите своих убеждений, а к их усовершенствованию. Кроме всего прочего, он еще и специалист по «изменению своих мнений».
Уэнделл Джонсон
Когда мы пытаемся понять взаимосвязи путем выдвижения и проверки гипотез, мы иногда ошибаемся. Эта мысль обсуждается подробнее в главе 7, которая касается понятия вероятности. Пока давайте рассмотрим такую ситуацию: предположим, что вы каждый день ездите на работу с приятелем. Каждое утро вы останавливаетесь у окна кафе для автомобилистов и покупаете кофе. Вы решили, что, вместо того чтобы каждое утро спорить, кто будет платить («Я заплачу» - «Нет, нет позволь мне»), друг будет бросать монету. Если выпадет орел, заплатит он; если выпадет решка - заплатите вы. Звучит довольно странно, но за последние 10 дней монета 9 раз выпала решкой вверх. Как вы думаете, не жульничает ли ваш приятель?
Истина заключается в том, что он либо жульничает, либо нет. К сожалению, вы не знаете, какой из двух вариантов ответа - правда. Тем не менее вам надо принять решение. Вы либо решите, что ваш приятель жульничает, либо решите, что он не жульничает. Таким образом, существуют четыре возможности: а) он жульничает, и вы правильно решите, что он жульничает; б) он не жульничает, и вы правильно решите, что он не жульничает; в) он жульничает, и вы неправильно решите, что он не жульничает; г) он не жульничает, и вы неправильно решите, что он жульничает. Из этих четырех возможностей в двух случаях вы можете оказаться правы и в двух случаях вы можете ошибиться. Эти четыре комбинации представлены в табл. 6.1. Как видно из табл. 6.1, в любой ситуации при проверке гипотезы мы можем совершать ошибки двух типов. Эти два типа не являются одинаково «плохими». Гораздо хуже решить, что ваш друг жульничает, если на самом деле он этого не делает (особенно если вы обвините его в мошенничестве), чем решить, что он не жульничает, когда он именно этим и занимается. По этой причине вам необходимы более веские свидетельства для подтверждения факта его жульничества, чем для подтверждения его честности. Другими словами, при проверке гипотезы вам необходимо учитывать степень «вредности» различных ошибок.
Если вы будете изучать статистику или экспериментальное проектирование, то обнаружите, что эти науки справляются с проблемой различной «вредности» ошибок, требуя для различных решений различные уровни уверенности. Необходимость рассмотрения ошибок различных типов возникает во многих контекстах. Согласно основному принципу нашего законодательства, для того чтобы можно было обвинить человека в совершении преступления, необходима сильная уверенность в этом (отсутствие обоснованных сомнений). И наоборот, нам не нужно отсутствия обоснованных сомнений в невиновности подозреваемого, поскольку ошибочное решение о невиновности считается менее серьезной ошибкой, чем ошибочное решение о виновности. Точно также при неформальной проверке гипотез вам необходимо помнить о степени серьезности ошибок различных типов. Перед тем как решить, например, что, сколько ни старайся, вы все равно не осилите какой-либо предмет или что лекарство, которое вы принимаете, вам помогает или не помогает, необходимо рассмотреть последствия правильного и неправильного решений. Для некоторых решений необходима большая степень уверенности в своей правоте, чем для других.
Таблица 6.1. Четыре возможных исхода в примере «Кто покупает кофе»
Примечание. Ошибочное решение, что он жульничает, гораздо более серьезная ошибка, чем ошибочное решение, что он не жульничает. В связи с этой неравноценностью степени серьезности ошибок вам нужно иметь большую уверенность, когда вы решаете, что он жульничает, чем когда вы решаете, что он не жульничает.
Опыт - слишком дорогой учитель
Предположим, что ваша подруга поделилась с вами своим «секретом» похудения - она натирает живот и другие «проблемные зоны» чесноком, и жир как будто' тает. Вы сомневаетесь, но она настаивает: «Я знаю, что это действует. Я пробовала и собственными глазами видела результаты». Я уверена, что многие люди прореагируют на такие рекомендации, натерев чесноком участки своего тела, на которых имеется лишний жир. Точно так же многие с энтузиазмом глотают пилюли из молотого пениса носорога, чтобы повысить свою сексуальную потенцию, поливитамины, чтобы меньше утомляться, и корень женьшеня от всех остальных болезней. Вы можете даже пополнить ряды тех, кто расхваливает подобные средства, потому что иногда можно похудеть, натеревшись чесноком - иногда желательный эффект наступает после некоторых действий (таких как прием капсул с молотым пенисом носорога). Но был ли этот эффект вызван данными действиями? На такой вопрос можно ответить, только пользуясь принципами проверки гипотез. Личный опыт не дает ответа.
