Во-вторых, насколько точно мы измеряем каждую возможную искажающую переменную? Если мы измерили ее неточно, это значит, что мы недостаточно проконтролировали ее действие. Если мы измерили ее настолько неточно, что она не валидна, значит, мы не проконтролировали вообще ничего.
Иногда анализ множественной регрессии — единственный доступный способ исследовать важные и интересные вопросы. Например, вопрос о том, связана ли религиозность и соблюдение обрядов с уровнем воспроизведения потомства. Мы не можем провести эксперимент для изучения этого вопроса, случайным образом назначив, кому из участников эксперимента быть религиозным, а кому нет. Мы можем использовать только корреляционные методы, такие как АМР. Между прочим, религиозность коррелирует с уровнем воспроизведения потомства как на индивидуальном, так и на государственном и культурном уровне. При условии контролирования факторов дохода, возраста, состояния здоровья и других факторов на индивидуальном уровне, на уровне этнических групп и на уровне государств корреляция такова, что чем выше религиозность, тем выше уровень воспроизведения потомства. Мы не знаем, почему именно это так, и корреляция между религиозностью и плодовитостью может быть не причинно-следственной связью, а, скорее, следствием какой-либо иной, третьей, неизвестной переменной, которая влияет как на религиозность, так и на уровень воспроизведения потомства. Может быть, причинно-следственная связь здесь вообще работает в обратном направлении: люди, у которых много детей, начинают искать поддержку в религии! Тем не менее данное корреляционное открытие интересно само по себе и может привести к реальным практическим последствиям.
Я хотел бы окончательно прояснить суть дела: корреляционные исследования и исследования множественной регрессии далеко не всегда бесполезны. Я сам часто использую принцип множественной регрессии, когда провожу эксперименты по установлению причинно-следственной связи. Я чувствую себя более уверенно, когда знаю, что данная взаимосвязь существует в естественных условиях, а не только в лаборатории или совершенно нетипичной окружающей среде.
Более того, всегда можно придумать уловки, которые убедят нас, что мы что-то узнали о причинно-следственной связи. Возьмем корреляцию между благосостоянием государств и уровнем IQ населения. Что здесь причина, а что следствие? Сама по себе данная корреляция весьма проблематична. Как благосостояние, так и IQ связаны с множеством других факторов — например, с физическим здоровьем. «Здоров, богат и умен» — это не просто бытовое представление о завидном женихе; эти три фактора тесно связаны между собой целым набором корреляций, включающих в себя множество переменных, которые потенциально могут быть причинами или следствиями того или иного фактора. Кроме того, причинно-следственная связь здесь весьма правдоподобно работает в обоих направлениях. По мере того как население страны развивается умственно, оно становится богаче вследствие того, что людям становится доступны более прогрессивные и высокоорганизованные способы достижения благосостояния. А по мере того, как население становится богаче, оно развивается умственно, потому что благосостояние в целом способствует повышению качества образования.
Но иногда мы можем придумать неплохую историю о причинно-следственной связи, наблюдая так называемую запаздывающую корреляцию, что означает проявляющуюся позже корреляцию независимой перемен-нои (предполагаемой причиной) с другой переменной (предполагаемым результатом). Если население страны становится умнее — например, из-за повышения качества образования — будет ли оно в дальнейшем также и богатеть? Конечно, будет. Например, несколько десятилетий назад в Ирландии была предпринята хорошо организованная и очень успешная попытка по улучшению образовательной системы, особенно в старших классах средней школы, профессиональных училищах и колледжах[148]. За короткое время в стране на 50% выросло число поступающих в колледжи[149]. Примерно за 30 лет уровень ВВП на душу населения в Ирландии, где результаты замера уровня IQ были намного ниже, чем в Англии (некоторые английские психологи объясняли это генетическими факторами!), превысил уровень ВВП на душу населения в Англии. В Финляндии тоже произошли серьезные положительные сдвиги в сфере образования, начатые несколько десятилетий назад и направленные в основном на то, чтобы студенты из бедных семей получали такое же качественное образование, как и студены из богатых семей. К 2010 г. Финляндия вышла на первое место в мире по результатам международных академических тестирований, при этом по доходу на душу населения финны обошли японцев и англичан, немного уступив американцам. В тех странах, которые, как и США, в последние десятилетия не предпринимали столь героических усилий по улучшению образования, уровень дохода на душу населения снизился относительно других развитых стран. Эти данные являются чисто корреляционными, но они показывают, что, когда государство начинает серьезно заботиться об улучшении уровня образования, это приводит и к улучшению благосостояния. Когда же уровень образования стагнирует, государство начинает отставать от других стран по уровню благосостояния. Звучит вполне убедительно.
Бывают и другие обстоятельства, которые могут придать корреляционному исследованию такой уровень убедительности, что его можно поставить в один ряд с естественными экспериментами и даже с рандомизированными контрольными экспериментами. Например, широкая распространенность эффекта иногда может заставить нас предположить, что это не просто следствие корреляции переменных. Мы также можем быть более уверены, что данный метод приносит результат, если его эффект «зависит от дозировки». То есть чем интенсивнее и чаще применяется данный метод, тем выше уровень отдачи. Например, вероятность сердечно-сосудистых заболеваний у людей, которые выкуривают две пачки сигарет в день, выше, чем у выкуривающих несколько сигарет. Таким образом, это скорее показывает, что курение действительно ухудшает состояние сердечно-сосудистой системы, чем то, что употребление сигарет никак не связано с заболеваемостью.
Проблемы анализа множественной регрессии связаны с тем, что его проводят слишком часто. Я собираюсь рассказать об этой проблеме максимально честно, потому что СМИ постоянно сообщают об открытиях, сделанных с помощью этого весьма ненадежного метода, а на основе этих открытий принимаются важные решения, касающиеся всего общества. Все эпидемиологи, ученые-медики, социологи, психологи и экономисты используют этот метод. А он может привести к серьезнейшим ошибкам, и утверждения приверженцев, что он может раскрыть причинно-следственную связь, обычно притянуты за уши.
Известно много примеров, когда АМР говорил о наличии причинно-следственной связи одно, а рандомизированный контрольный эксперимент — совершенно другое. В таких случаях следует верить результатам экспериментов.
Влияет ли, на ваш взгляд, количество учеников в классе на их успеваемость? Кажется весьма резонным предположить, что да, хотя десятки исследований, основанных на АМР и проведенных уважаемыми учеными, утверждают, что (за вычетом влияния среднего дохода семей в том районе, где находится школа, размера школы, результатов прохождения IQ-тестов, размера города и его географического положения) среднее количество учеников в классе никак не коррелирует с успеваемостью ученика[150]. Отсюда вывод: теперь мы знаем, что не нужно тратить деньги на уменьшение количества учеников в классе.
Однако исследователи из Теннесси провели рандомизированный эксперимент, в который они включили классы разной величины. Подбросив монетку, ученые распределили детей из детского сада по маленьким (от 13 до 17 детей) либо большим (от 20 до 25 детей) группам. Исследование показало улучшение результата стандартного тестирования примерно на 0,22 СО; при этом более явное улучшение результатов было заметно у чернокожих детей[151].
В настоящее время у ученых есть результаты еще трех экспериментальных исследований эффекта уменьшения количества учеников в классе, и все они показали почти тот же самый результат, что исследование в Теннесси[152]. Эти четыре эксперимента не дополняют исследования влияния количества учеников на успеваемость. Они замещают все проведенные ранее исследования, основанные на анализе множественной регрессии. Потому что экспериментальные результаты заслуживают гораздо больше доверия.
Почему же анализ множественной регрессии показал, что количество учеников в классе практически не имеет значения? Я не знаю, но нам необязательно знать это, чтобы составить твердое мнение о том, имеет ли значение размер класса.
