впервые применено в начале 1960-х годов польско-франко-американским математиком Бенуа Мандельбротом. Он установил, что движение цен на хлопок может быть описано степенным законом. Силовые законы обладают свойством "масштабной инвариантности". Если вы посмотрите на снежинку под мощным микроскопом, то форма каждой маленькой детали, которую вы увидите, будет такой же, как и форма, которую вы видите невооруженным глазом. Свойство, создающее эту прекрасную структуру, называется фрактальной геометрией. График движения цен на ценные бумаги за каждую минуту очень похож на график движения цен на ценные бумаги за каждый день. Силовые законы лучше, чем нормальные и логнормальные распределения, улавливают крайние точки рыночных колебаний, что важно для контроля риска и понимания долгосрочных моделей доходности. Законы мощности могут быть даже полезны для понимания частоты использования буквы K.
Несмотря на очевидную широкую сферу применения степенных законов и эстетическую привлекательность лежащей в их основе математики, этот вид анализа получил гораздо меньше внимания со стороны экономистов и статистиков, чем традиционные распределения повседневной статистики, такие как нормальное. Слишком много интеллектуального капитала было вложено в предположения, которые, хотя и адекватны в большинстве случаев, не работают в ситуациях, приводящих к финансовым кризисам и другим экстремальным, а значит, важным результатам. Растущая способность получать и обрабатывать очень большие объемы данных может послужить стимулом для применения фрактальной математики и силовых законов для обеспечения общего описания как нормальных, так и экстремальных результатов.
Но хотя законы мощности хорошо описывают частоту и силу землетрясений, они почти ничего не дают для того, чтобы рассказать людям о том, что они действительно хотят знать - когда и где произойдет землетрясение, и насколько сильным оно будет? На эти вопросы можно ответить только при условии знания науки и химии подповерхностной геологии, а также способности наблюдать за тем, что происходит под земной корой, что находится за пределами нынешних возможностей соответствующей науки. И то же самое в еще большей степени относится к землетрясениям в сфере технологий, бизнеса и финансов. Наблюдения имеют мало ценности без понимания процессов, которые порождают эти наблюдения, а знание этих процессов столь же ограничено без теоретически обоснованного наблюдения.
Почему опросники общественного мнения спотыкаются
Вероятностная математика оказалась мощным инструментом для описания многих экономических и социальных явлений. Такие опросы, как NHANES о здоровье и питании небольшой группы людей, дают нам ценную информацию о характеристиках 300 миллионов американцев. Мы знаем, что данные хорошего качества, потому что результаты не сильно варьируются от года к году, и характер вариаций имеет смысл - средний рост увеличивается со временем, но не намного. Кроме того, данные согласуются с информацией, полученной из других источников.
Бюро переписи населения прилагает все усилия для того, чтобы респонденты NHANES представляли собой случайную выборку американцев. Но что именно подразумевается под "американцами"? Граждане? Жители? Люди, которые находятся в Америке в определенный день? Не существует единого всеобъемлющего реестра всех этих вещей. И поскольку никто не может быть обязан ответить на приглашение пройти медицинское обследование, даже если население будет выбрано случайным образом, Бюро не может ожидать, что обследуемое население будет таким, в котором каждый американец будет представлен с равной вероятностью. Процедуры NHANES, похоже, подтверждаются результатами. Но оценки населения, полученные на основе выборок, хороши лишь настолько, насколько хороши методы, использованные для построения этих выборок. Случайная выборка из большой совокупности людей используется для многих других целей, из которых наиболее спорным примером в последнее время является опрос общественного мнения для предсказания результатов выборов.
Когда опросы только начинались, масштаб этих трудностей с выборкой не был хорошо понят. Одним из крупнейших фиаско в истории опросов стало предсказание журнала Literary Digest результатов президентских выборов в США в 1936 году. Журнал ожидал победы кандидата от республиканцев Альфа Лэндона; его прогноз был основан на опросе 2,3 миллиона выборщиков. Результат действительно был ошеломительным: действующий президент Франклин Рузвельт победил во всех штатах Союза, кроме Мэна и Вермонта. Журнал разослал анкеты примерно десяти миллионам человек, используя свой собственный список подписчиков и записи телефонных абонентов и владельцев автомобилей. Но, особенно после Великой депрессии, эти группы не были репрезентативны для американского населения. А Рузвельт был поляризующей фигурой. Среди 2,3 миллиона человек, ответивших на запрос "Литерари Дайджест", было гораздо больше тех, кто возмущался его политикой Нового курса, чем тех, кто ее поддерживал - как правило, из более бедных семей.
Обвал похоронил журнал Literary Digest , который вскоре после этого закрылся. Но в то же время он создал репутацию малоизвестному тогда Джорджу Гэллапу, который правильно предсказал результат, используя методы "квотной выборки", и в течение нескольких десятилетий имя Гэллапа стало почти синонимом политических опросов. Квотная выборка стремится сопоставить характеристики респондентов с известными характеристиками американского населения в целом. Начиная с ответов людей, с которыми успешно контактируют опросчики, квотная выборка использует модель для оценки по полученным ответам, какими были бы ответы, если бы люди, дающие ответы, были случайной выборкой из населения. Современные опросчики, которые часто сталкиваются с низким уровнем ответов, знают, что их выборка ни в коем случае не является случайной, и теперь используют сложные и комплексные модели, чтобы скорректировать свою неспособность достичь случайности. Но это ставит опросчиков и тех, кто хочет использовать их результаты, перед проблемой Виниара: вероятность, полученная из модели, должна быть дополнена вероятностью того, что сама модель верна. Мы можем с пользой сказать что-то вроде "опросчики очень опытны" или "модель хорошо работала в прошлом" - как мы могли сказать о Нейте Сильвере до 2016 года. Но это суждения, а не заявления о вероятности. Поэтому очень трудно обосновать прикрепление статистического доверительного интервала к результатам опроса общественного мнения.
Это не последняя из проблем. Ответ на вопрос о намерениях голосовать должен быть переведен в прогноз поведения избирателей. Люди дают более честные ответы на одни вопросы, чем на другие; совокупная статистика продаж показывает, что они гораздо надежнее сообщают о потреблении молока, чем о потреблении алкоголя. Кроме того, необходимо преобразовать прогнозируемые доли голосов избирателей в ожидаемый результат выборов. Для референдума - такого, как голосование в Великобритании по Brexit в июне 2016 года, в котором все, что имело значение, это количество голосов с каждой стороны - этот перевод от голосов к результатам прост (хотя многие опросчики ошиблись в своих оценках голосов). Но когда президент выбирается коллегией выборщиков или состав правительства зависит от результатов в отдельных избирательных округах, требуется дополнительное моделирование. На двух крупных выборах 2016 года - президентских выборах в США и референдуме Brexit -
