Существует множество возможных способов сочетания аналитических дисциплин. Хотя вышеприведенные примеры касались только парных комбинаций, но их вполне можно развить и дальше, когда в один процесс включаются несколько различных дисциплин.
Сосредоточение аналитических действий
Когда организация готова приступить к превращению традиционной аналитики в операционную, она должна научиться сосредоточивать свои действия на нужных направлениях. Соблюдение нескольких ключевых правил поможет обеспечить распределение ресурсов в нужном направлении, чтобы не тратить время и деньги на реализацию ошибочных идей, основанных на ложных предположениях.
Задавайте правильные вопросы и делайте обоснованные предположения
Создаваемая аналитикой ценность зависит от того, как определена задача, какие вопросы заданы, как аналитическое решение разработано и как это решение реализуется. При этом выбор вопросов способен оказывать большее влияние на ценность, создаваемую результативным аналитическим процессом, чем детали этого процесса, разработанного для ответа на заданные вопросы.
Это имеет смысл. В конце концов, способен ли оказаться точным и полезным анализ, если решаемая им задача плохо определена или нужные вопросы не заданы? Ведь запросто можно идеально выполнить абсолютно неподходящий и ненужный анализ для решения неправильно поставленного вопроса. Хуже того, задав не тот вопрос, можно не выявить и ошибку. Если же вопрос кажется разумным и анализ ему соответствует, то в адекватности этого вопроса можно больше не сомневаться.
Когда потенциальные миллионы решений будут приниматься автоматически, даже небольшая ошибка при разработке аналитического процесса может привести к серьезным последствиям. Операционная аналитика требует как никогда внимательного подхода к определению анализа и разработке процесса. И по-прежнему необходимо учитывать разнообразные технические и практические факторы. Невозможно позволить себе внедрить полностью автоматизированный операционно-аналитический процесс в требуемом масштабе, если не доверяешь его надежности.
Не обрекайте анализ на неудачу с самого началаСпособ определения задачи, постановки вопросов и разработки анализа может оказать большее влияние на полученные результаты, чем вся нелегкая работа, которая за этим последует. Ничего не стоит разработать анализ, отвечающий на неправильно поставленный вопрос для решения неправильно определенной задачи.
Это подводит нас к необходимости внедрения подхода, который пока еще не стал, но должен стать привычным. В процесс разработки анализа должно входить тестирование сделанных предположений. Для этого можно использовать дисциплину, обычно используемую в инжиниринге, под названием «анализ чувствительности»{66}.
Любой аналитический процесс опирается на конкретные предположения. Это могут быть предположения о темпах роста продаж, увеличении на рынке доли конкурента или будущих затратах на сырье. Результат аналитического процесса окажется неправильным, если неточны исходные предположения. Однако по мере того как становятся известны фактические значения, оказывается, что они отличаются от предполагаемых (в лучшем случае ненамного). Важнейший вопрос: если истинные значения в той или иной степени отклоняются от наших предположений, как это влияет на результаты анализа?
Например, сотрудники могут расходиться во мнениях о том, каким будет уровень инфляции – 3, 4 или 5 %. Здесь им на помощь придет анализ чувствительности, который позволяет показать, как изменение темпов инфляции повлияет на результаты анализа. Если независимо от того, чей прогноз окажется точнее, результаты анализа приведут к одному и тому же ответу, тогда сотрудникам не придется приводить свои прогнозы к единому показателю. Достаточно определить вероятный диапазон, скажем от 3 до 5 %, поскольку при любом из этих значений анализ приведет к одинаковому решению.
Впервые я столкнулся с такой необходимостью при разработке моделей комплексного маркетинга, которые включали данные телерекламы. Мало того, что последние были предельно обобщены, так нам к тому же нужно было сделать множество предположений в отношении этих данных, чтобы подготовить их для включения в наши модели. Например, каким будет темп затухания впечатлений от рекламы? Темп затухания – очень простая концепция. Телереклама способна повысить продажи. Однако люди действуют под влиянием рекламы, т. е. активно покупают рекламируемый товар в магазине или онлайн, всего в течение нескольких дней. При первых показах телерекламы ее влияние на покупательское поведение максимально, а затем это влияние постепенно снижается. Такое сокращение и называется темпом затухания, оказывающим заметное влияние на результаты. На рис. 7.3 показаны примеры темпа затухания.
В свое время я получил рекомендацию, которой до сих пор следуют многие специалисты-аналитики: если выдаваемые моделью оценки параметров являются статистически значимыми и модель обладает мощной объяснительной силой, значит, предположения насчет темпа затухания верны и модель является работоспособной. Но, следуя такому подходу, я столкнулся с серьезной проблемой.
Однажды я создал хорошую модель с использованием стандартного темпа затухания. Однако мне пришло в голову посмотреть, что будет, если я изменю свои предположения насчет темпа затухания и запущу модель заново. Я был поражен, когда получил по-прежнему статистически значимые оценки параметров, а у модели по-прежнему доставало объяснительной силы. Но при этом новые оценки параметров расходились с предыдущими оценками больше, чем допускали пределы ошибки. Стало понятно, что наличия хорошей модели и статистически значимых параметров было недостаточно для доказательства правильности исходных предположений. И, мало того, мои предположения о темпе затухания влияли на результаты больше, чем сама модель. Мы с моей командой приложили массу усилий, чтобы окончательно определить максимально точные, на наш взгляд, предположения. Тем не менее мне и по сию пору становится не по себе от мысли о том, что предположения способны настолько радикально повлиять на результаты анализа.
Предположения увеличивают риски; оцените рискиПри создании аналитического процесса делается много предположений, причем вероятность того, что все они будут абсолютно точными, крайне низка. Полезно оценивать, как изменяются результаты, по мере того как варьируются фактические значения под влиянием предположений в правдоподобном диапазоне. Это позволяет лучше понять сопряженные с анализом риски.
Далеко не всегда все разумные предположения будут приводить к одинаковому ответу. В некоторых ситуациях один набор разумных предположений даст положительный результат, тогда как другой набор – отрицательный. В таких случаях необходимо прийти к согласию относительно заключительного предположения и оценить риски, связанные с возможной ошибкой. Когда разные предположения ведут к разным ответам, разумно использовать для подстраховки наиболее консервативные предположения. Анализ чувствительности для оценки влияния предположений не устраняет риски, а просто позволяет измерить их количественно и лучше их осознать. Хорошим инструментом для такой оценки предположений служит моделирование по методу Монте-Карло.
Делайте ваши ставки!
Как мы увидели во второй главе, хотя затраты на сбор и хранение данных снизились, но по крайней мере столь же быстро растут объемы данных и аналитические потребности организаций. Сегодня существует такое широчайшее разнообразие аналитических возможностей, что порой это приводит в замешательство. Все решения о том, где следует сделать ставки, должны быть основаны на надежном суждении. Причем в отношении больших данных и операционной аналитики оно должно быть не менее надежным, чем в прошлом. Ведь чем больше появляется данных и во все более разнообразных сочетаниях, тем проще пойти по ложному пути. Или же можно наткнуться на ложные корреляции, которые не имеют никакого отношения к реальности.
Например, при построении статистических моделей можно угодить в стандартную ловушку ввиду того, что многие модели устанавливают меру доверия к своим оценкам значений параметров. Общепринятый стандарт требует по крайней мере 99 %-ного уровня доверия к тому, что эффект действительно существует, а не является чисто случайным совпадением. Когда тестируется всего несколько факторов, шансы на успех невелики и, вполне вероятно, что некая абсолютная фальшивка будет признана статистически значимой. Но подумайте о петабайтах сенсорных данных, генерируемых современным самолетом. Возможно, появятся тысячи или даже десятки тысяч метрик, способных коррелировать с такими событиями, как перегрев двигателя. Если при исследовании 20 000 факторов устанавливается уровень доверия в 99 %, то можно ожидать, что 200 совершенно ложных факторов будут признаны статистически значимыми.
