Одновременно действуют программы, которые губительно воздействуют на молодежь, а имеющиеся хорошие программы применяются весьма ограниченно либо не применяются вообще. Общество платит высокую цену — в буквальном и переносном смысле — за собственные неверные предположения.
Выводы
Иногда мы наблюдаем взаимосвязи, убедительные почти как строгий эксперимент. Люди, которые провели детство в условиях, когда они постоянно подвергались воздействию бактерий, во взрослом возрасте менее подвержены аутоиммунным заболеваниям. Когда это подтверждается на большом количестве примеров в разных условиях — страны с высокими или низкими стандартами гигиены, сельская местность или город, наличие или отсутствие домашних животных, естественные роды или кесарево сечение и т.д., — наблюдения начинают наводить на определенные размышления. Такие наблюдения подтолкнули ученых к проведению новых экспериментов, которые подтвердили, что ранний контакт организма ребенка с бактериями снижает вероятность заболевания аутоиммунными болезнями в будущем.
Рандомизированный контрольный эксперимент называют золотым стандартом научных и медицинских исследований — и не зря. Полученные таким образом результаты имеют преимущество перед результатами любых других видов исследований. Случайный характер распределения по группам гарантирует, что между результатами экспериментальной и контрольной групп не имеется никаких различий, которые могли бы возникнуть вследствие манипуляций экспериментатора с независимой переменной. Любое найденное между ними различие может быть приписано исключительно научному вмешательству. Рандомизированный контрольный эксперимент, проводимый по методу двойного слепого исследования, означает, что ни исследователь, ни участник эксперимента не знают, какие именно условия достались конкретному участнику. Этот тип эксперимента гарантирует, что только само по себе экспериментальное действие, а не осведомленность о нем экспериментатора или участника, может повлиять на результат.
Общество дорого платит за непроведенные эксперименты. Из-за того, что мы не поставили соответствующий рандомизированный эксперимент, мы не знаем, напрасно или нет были потрачены $200 млрд на программу Head Start, направленную на улучшение когнитивных способностей детей.
Благодаря рандомизированным экспериментам мы знаем, что некоторые качественные программы дошкольного образования действительно производят значительный эффект, приводя к тому, что дети вырастают более здоровыми и живут более качественной жизнью. Подлинные экспериментальные исследования программ дошкольного образования могут сэкономить огромные средства и принести неоценимую пользу как обществу, так и отдельным людям. Программы просвещения против наркотиков D.A.R.E. не снижают уровень употребления наркотиков и алкоголя среди подростков; телепередача «Напуганы, точно!» повысила, а не снизила уровень преступности, а специалисты по психологической поддержке могут усугублять чужое горе, а не облегчать его. К сожалению, во многих сферах общество просто не способно контролировать все используемые людьми методы с помощью научных экспериментов. И тем более нельзя гарантировать, что общество будет принимать во внимание результаты всех проводимых учеными экспериментов.
11. Эх!кономика
Запрашивают ли продавцы автосалонов большую цену с покупательниц-женщин, чем с мужчин?
Влияет ли размер аудитории на качество обучения?
Полезны ли мультивитамины?
Объективен ли работодатель к кандидатам, которые долгое время были безработными, или предубежден потому, что они длительное время не были ничем заняты?
Надо ли женщинам постклимактерического возраста принимать гормональные препараты, чтобы снизить риск заболеваний сердечно-сосудистой системы?
На эти вопросы давали множество ответов. Некоторые из них опирались на исследования, результаты которых были неверны из-за ошибочной методики. Некоторые были в общем-то правильными, потому что использованные научные методы были верны.
Эта глава объясняет три главных пункта, которые исключительно важны для понимания научных открытий и ответа на вопрос, стоит ли им доверять.
1. Исследования, которые для доказательства научного факта опираются на корреляции, могут оказаться безнадежно ошибочными — даже когда эти корреляции предстают в упаковке «анализа множественной регрессии», который «контролирует» множество переменных.
2. Эксперименты, в которых людей (или любые другие объекты) в случайном порядке распределяют по группам, на которых сравнивают разные способы воздействия (или воздействие и его отсутствие), в целом намного точнее исследований, основанные на анализе множественной регрессии.
3. Наши предположения, касающиеся человеческого поведения, так часто ошибочны, что если вообще возможно проверить какую-нибудь важную гипотезу о поведении, то нужно в обязательном порядке проводить эксперимент.
Анализ множественной регрессии
Все вопросы, которые прозвучали в начале этой главы, спрашивали об одном: может ли некая независимая переменная (она же предиктор — представляющая собой исходные данные или предполагаемую причину) влиять на зависимую или результирующую переменную — то есть на конечный результат или достигнутый эффект. Эксперименты задают разные значения независимым переменным; корреляционный анализ же просто измеряет их.
Один из методов, использующий корреляционный анализ, это анализ множественной регрессии (АМР), в котором некоторое количество независимых переменных коррелирует одновременно (иногда последовательно, но мы не будем обсуждать этот вариант АМР) с некоторым количеством зависимых переменных[147]. Интересующая нас независимая переменная (предиктор) изучается наряду с другими независимыми переменными, которые называются контрольными переменными. Цель — показать, что переменная А влияет на переменную Б, за вычетом суммарного влияния других переменных. Другими словами, взаимосвязь остается, даже когда принимается во внимание влияние контрольных переменных на зависимые переменные.
Рассмотрим следующий пример. Курение коррелирует с повышенной вероятностью заболеваний сердечно-сосудистой системы. Хочется сказать, что курение является причиной заболеваний сердечно-сосудистой системы. Но проблема в том, что и с курением, и с этими заболеваниями коррелирует множество других переменных, таких как возраст, социальное положение и избыточный вес. Курильщики в возрасте курят дольше, чем курильщики молодые, поэтому из корреляции «курение — болезнь» нужно исключить влияние возраста, иначе результат будет говорить о том, что с заболеваниями сердечно-сосудистой системы связано объединение двух переменных — возраста и курения. А мы хотим знать, есть ли связь между курением и сердечно-сосудистыми заболеваниями, независимо от того, сколько человеку лет. Для этого мы «контролируем» влияние возраста на вероятность заболевания, исключая корреляцию «возраст — болезнь» из корреляции «курение — болезнь». В результате мы сможем сказать, что связь между курением и сердечно-сосудистыми заболеваниями установлена для каждой возрастной группы.
ТУ же самую логику можно применить и к социальному статусу. При прочих равных составляющих, чем ниже ступенька социальной лестницы, тем выше вероятность, что занимающий ее человек будет курить и чем ниже социальный статус, тем выше риск сердечных заболеваний, независимо от других факторов риска, таких как курение. Так же обстоит дело с избыточным весом. И так далее. Корреляции этих переменных как с курением, так и с риском заболеваний нужно исключать из корреляции между курением и сердечно-сосудистыми заболеваниями.
Теоретический аспект анализа множественной регрессии состоит в том, что если вы контролируете всё, что связано с независимой переменной и зависимой переменной, выделив из общего сочетания именно эти корреляции, то вы можете обнаружить истинную причинно-следственную связь между предсказывающей и результирующей переменными. Это в теории. На практике множество факторов мешают устойчиво получать этот результат.
Во-первых, как определить, что мы установили все возможные искажающие факторы — переменные, связанные и с предсказывающей, и с результирующей переменной? Почти никогда нельзя утверждать это наверняка. Мы можем только измерить то, что кажется нам важным, и проигнорировать бесконечное число переменных, которые кажутся нам неважными. Но ПООН: Предположения Обычно Оказываются Неверными. Поэтому, как правило, мы терпим поражение в этой игре.
Во-вторых, насколько точно мы измеряем каждую возможную искажающую переменную? Если мы измерили ее неточно, это значит, что мы недостаточно проконтролировали ее действие. Если мы измерили ее настолько неточно, что она не валидна, значит, мы не проконтролировали вообще ничего.
