Почему же анализ множественной регрессии показал, что количество учеников в классе практически не имеет значения? Я не знаю, но нам необязательно знать это, чтобы составить твердое мнение о том, имеет ли значение размер класса.
Конечно, все эти четыре эксперимента оставляют открытыми множество вопросов. Мы не знаем, одинаково ли значимо количество учеников в классе для разных регионов, городов и сел, социальных слоев и т.д. Мы не знаем, что именно из всего, что происходит в классе, оказывает разный результат на учебу. Дальнейшие эксперименты, возможно, помогут нам ответить на эти вопросы и укрепят нашу уверенность в том, что количество учеников в классе имеет значение для успеваемости.
Насколько целесообразно тратить дополнительные деньги на уменьшение количества учеников в классах — это уже другой вопрос, и не мне отвечать на него. В Финляндии, где не такие уж маленькие классы в школах, улучшение качества образования стало в основном результатом того, что учителям повысили зарплату и предлагать учительские вакансии стали в основном лучшим студентам, а не самым слабым, как это практикуется в США. В любом случае это нельзя определить, просто вычислив благоприятный эффект воздействия переменной X на переменную Y; здесь требуется полный анализ эффективности затрат.
Еще одна проблема корреляционных исследований, подобных АМР, состоит в том, что им по определению свойственны ошибки, связанные с самоотбором. Случаи — люди, классы, сельскохозяйственные участки — отличаются друг от друга в ряде аспектов. Те, кто курит много лет, не просто курят много лет. Длительное курение означает массу других аспектов, связанных с этим фактом: более старший возраст, более низкое социальное положение, избыточный вес. Класс А больше, чем класс Б, но они еще отличаются и в некоторых других аспектах, которые исследователь никак не может контролировать. В классе А учитель лучше, чем в классе Б, потому что директор посчитал, что именно этот учитель лучше других справится с большим классом. В классе А выше успеваемость, несмотря на большое количество учеников, потому что, по мнению директора, более способные ученики меньше пострадают от относительного недостатка внимания учителя, чем менее способные ученики. И так далее. Эту задачу не удастся решить, просто добавив в эксперимент больше классов или больше контрольных переменных величин.
В тех исследованиях, где случаи распределяются по условиям эксперимента в случайном порядке, разнообразие классов в различных аспектах все равно сохранится. Но что немаловажно, именно экспериментатор выбирает условия. Это означает, что в экспериментальных и контрольных классах должны преподавать примерно одинаково квалифицированные учителя, учиться должны примерно одинаково способные и одинаково мотивированные ученики, учебные ресурсы должны быть примерно одинаковыми. Классы не выбирают себе значения каждой из этих переменных, это делает экспериментатор. Таким образом, единственное, чем должны отличаться экспериментальный и контрольный класс, это исследуемая переменная, то есть размер класса. Такие эксперименты, как эксперимент по определению связи успеваемости с количеством учеников в классе, обычно неубедительны. Учителя и администрация школы всегда прекрасно осведомлены об условиях, в которые поставлены их ученики. Они знают, какие классы маленькие, а какие большие, знают, что это может влиять на качество преподавания, а также сколько сил учитель вкладывает в свою работу. Однако эти проблемы меркнут при сравнении с проблемой самоотбора.
Путаница в медицинских исследованиях
Вы знали, что потребление оливкового масла в больших количествах снижает риск инсульта на 41%?[153] Вы знали, что если вам сделали операцию по удалению катаракты, то в следующие 15 лет риск того, что вы умрете, на 40% ниже, чем у людей, страдающих от катаракты и не прооперированных?[154] Вы знали, что глухота вызывает слабоумие? Вы знали, что подозрительность также вызывает слабоумие?
Эти утверждения не зря могут показаться вам сомнительными. Но так называемые научные открытия, похожие на те, что я привел выше, то и дело появляются в СМИ. Обычно они основаны на эпидемиологических исследованиях. (Эпидемиология — это наука о закономерностях возникновения и распространения заболеваний и их причинах.) Большая часть научных исследований в области эпидемиологии основаны на АМР. В исследованиях, использующих АМР, предпринимаются попытки контролировать такие факторы, как социальное положение, возраст и предшествующее болезни состояние здоровья. Но они не могут обойти проблему самоотбора. Те люди, которые проходят определенный вид лечения, или те, кто употребляет много какого-то продукта, или те, кто принимает или не принимает определенные витамины, — таких отличий невероятно много.
Давайте рассмотрим исследование, утверждающее, что за вычетом контрольных факторов, таких как «социально-демографические показатели, физическая активность, индекс массы тела и факторы риска, влияющие на инсульт», у людей, которые потребляют в пищу больше оливкового масла, реже случается инсульт[155]. В одном исследовании говорилось, что риск инсульта у тех, кто употребляет много оливкового масла, на 41% ниже, чем у тех, кто не употребляет его никогда. Но, может быть, вовсе не само по себе потребление оливкового масла снижает смертность, а что-то, что коррелирует с его потреблением. Во-первых, давайте посмотрим на национальность. Американцы итальянского происхождения очень любят оливковое масло, а афроамериканцы его практически не употребляют. А продолжительность жизни американцев итальянского происхождения значительно больше, чем продолжительность жизни афроамериканцев, у которых, кстати говоря, особенно часто случаются инсульты.
Обычно в эпидемиологических исследованиях больше всего сбивает с толку социальное положение исследуемого населения. Социальное положение неизбежно и очевидно влияет на различия, связанные с риском инсульта, а также на состояние здоровья в целом. Богатые люди отличаются от обычных людей. У них больше денег. Люди, у которых больше денег, могут позволить себе постоянно использовать оливковое масло вместо кукурузного. Люди, у которых больше денег, также чаще бывают начитаны, чаще общаются с другими начитанными людьми, а значит, они в курсе того, что оливковое масло полезнее для здоровья, чем его более дешевые заменители. Люди, у которых больше денег, получают более качественное медицинское обслуживание. Уровень жизни людей, у которых больше денег, а также выше социальное положение, качество образования, доход и профессиональный статус, — в целом выше.
Неспособность проконтролировать принадлежность к определенному социальному классу в эпидемиологическом исследовании приводит тому, что любая попытка установить причину данного состояния по медицинским показателям будет провальной. Но предположим, что исследователь действительно пытается учесть социальную принадлежность. Как это сделать? Кто-то возьмет за основу доход, кто-то — образование, кто-то — профессию. Что лучше? Или нужно как-то скомбинировать все три фактора? На самом деле различные эпидемиологические исследования пытаются определять социальную принадлежность и по одному, и по всем, и ни по одному из этих аспектов. Это и приводит к разнобою «медицинских открытий», который мы видим в СМИ[156]. (Жир вреден для вас. Нет, жир полезен. Красное мясо полезно. Нет, красное мясо вредно. Антигистаминные препараты облегчают симптомы простуды. Нет, антигистаминные препараты не помогают при простуде.) Разнобой данных часто является следствием либо различных подходов исследователей к социальному статусу испытуемых, либо игнорирования влияния социального статуса вообще.
Но социальное положение — лишь один из огромного числа потенциально осложняющих дело факторов, присутствующих в исследованиях АМР. Практически все, что коррелирует и с предсказывающей, и с результирующей переменной, в таких исследованиях претендует на то, чтобы стать объяснением корреляции между ними.
Сейчас на рынок выпущены тысячи пищевых добавок. На основании АМР иногда объявляют о пользе той или иной пищевой добавки. СМИ тут же рассказывают об этом открытии. К сожалению, читателю обычно не сообщают, сделано ли данное открытие на основе АМР, что означает, что на него не нужно обращать никакого внимания, или же на основе подлинного эксперимента, что означает, что это открытие может быть важным. Даже те журналисты, которые специализируются на теме здоровья, обычно не до конца понимают, насколько критична разница между этими двумя методами исследованиями.
Можно бесконечно приводить примеры того, как исследования на основе АМР показали один результат, а эксперименты — другой. Например, АМР показал, что добавка витамина Е в пищу снижает вероятность рака простаты. В разных штатах были проведены эксперименты, в ходе которых мужчины-участники были случайно распределены по двум группам: экспериментальная группа принимала витамин Е, контрольная группа принимала плацебо. Этот эксперимент выявил небольшое повышение вероятности заболевания раком из-за употребления витамина Е[157].
