Большие данные следуют кривой зрелости
Многие люди жалуются мне на то, что большие данные их подавляют. Существует так много новых источников данных и так много новых возможностей применения этих данных, что организации попросту не знают, как с ними справиться и с чего начать. Прежде чем отчаиваться, подумайте о том, что большие данные следуют той же кривой зрелости, что и любой новый источник данных{21}. Такова жизнь, что, когда появляется новый источник данных, он всегда представляет собой вызов. Люди не знают в точности, как наилучшим образом использовать эти новые данные, какие метрики создать на их основе, какие проблемы с качеством данных могут возникнуть, и т. д. Однако с течением времени работа с этим источником нормализуется.
Много лет назад, когда я со своей командой впервые занялся анализом данных с точек продаж (point‐of‐sale, POS), мы тоже не знали, как лучше их использовать в целях анализа покупательского поведения и улучшения результатов в бизнесе. О том, чтобы применить к POS-данным операционную аналитику, мы тогда и помыслить не могли. У нас было множество теорий и идей, но ни одна из них на тот момент не была проверена на практике. Разумеется, мы не располагали никакими стандартизированными подходами к вводу, подготовке и анализу этих данных. Со временем в процессе регулярного анализа POS-данных все эти аспекты были стандартизированы. Сегодня использование POS-данных считается простым делом и применяется для решения широкого круга задач.
Не отчаивайтесьНовые источники данных всегда пугают, когда мы впервые начинаем их анализировать. Но со временем наше понимание их крепнет, и нам становится удобно с ними работать. Такой же процесс вызревания произойдет и с большими данными. Ситуация с ними кажется более пугающей, чем обычно, только лишь потому, что нам приходится одновременно иметь дело со множеством новых источников.
Организациям предстоит пройти одним и тем же путем познания каждого нового источника данных (см. рис. 2.7). Принципиальное отличие сегодняшней ситуации состоит в том, что в прошлом организация получала доступ к действительно новому и уникальному источнику данных раз в несколько лет, тогда как в эпоху больших данных она может получить доступ сразу ко множеству таких источников.
Сегодня перед профессиональными аналитиками может стоять задача одновременно наладить анализ в таких областях, как взаимодействие в социальных сетях, взаимодействие по обслуживанию клиентов, веб-поведение клиентов, сенсорные данные и т. д. Иногда требуется использовать все эти данные в одном аналитическом процессе. В таком случае множественные новые источники, следующие кривой зрелости, применяются все вместе. Сделать это гораздо сложнее, чем в случае с одним лишь новым источником. Ситуация усугубляется тем, что необходимо представлять себе не только как обращаться с каждым источником данных, но и как соединить их вместе (мы обсуждали это выше),
Помните, что работа с новыми данными всегда сложна и всегда поначалу пугает. На этом пути вам всегда придется преодолевать ухабы, но неизбежно со временем процесс ввода и анализа данных будет в основном стандартизирован – и станет для вас простым делом. Затем вы сможете перейти к следующему новому источнику данных. Именно так произойдет и уже происходит с большими данными сегодня.
Большие данные как глобальный феномен
Наконец в этой главе мы рассмотрим, насколько велика зрелость больших данных и устойчивы взгляды на них в различных точках земного шара{22}. Ведь одни организации находятся впереди, а другие отстают в циклах внедрения и развития больших данных. Тем не менее, объехав несколько континентов и пообщавшись со множеством банков, страховых компаний, ретейлеров, государственных учреждений и т. д., я обнаружил, что все они сталкиваются фактически с одними и теми же проблемами. Несмотря на особенности местных рынков, определяемые законами и обычаями, фундаментальные проблемы бизнеса отличаются постоянством. Кроме того, люди в большинстве своем считают, что в других отраслях и в других частях света ситуация куда лучше, чем в их организации, хотя зачастую это совсем не так.
Математика, статистика, аналитика и данные не пользуются особым языком и не принадлежат особой культуре. Они универсальны по своей природе. График тренда в Китае выглядит точно так же, как график тренда в Испании, и основан на одинаковой информации. Средние значения вычисляются в Индии точно так же, как и в Германии. Запись транзакции в Японии содержит точно такую же информацию, как и запись транзакции в Бразилии. Утверждение о том, что большие данные представляют собой уникальную проблему для какой-либо отрасли или страны, является ошибочным за очень редкими исключениями.
Ваша организация может отставать не на столько, на сколько вы считаетеОрганизации по всему миру сталкиваются с очень похожими проблемами в области больших данных. Однако организации часто считают, что в своей отрасли они попали в число отстающих, и точно так же считают организации в той же отрасли, но в другом регионе мира. Несмотря на то что каждый считает себя отстающим, во многих случаях реальное отставание гораздо меньше, чем предполагается.
Подумайте над тем, чтобы наладить сотрудничество с другими похожими организациями где угодно в мире. Благодаря социальным сетям сегодня это сделать легко. Вполне может оказаться, что другая организация сталкиваются со сходными проблемами. Разумеется, нет смысла пытаться наладить конструктивный диалог со своим прямым конкурентом. Но вы можете найти организацию на другом конце земного шара, которая не представляет для вас конкурентной угрозы. Обмен информацией и усвоенными уроками будет выгодным для обеих сторон.
С какими бы трудностями ни сталкивалась ваша организация при внедрении больших данных, вы можете быть уверены в том, что многие другие организации проходят через то же самое. Со временем для всех этих проблем будут найдены решения, которые станут общеизвестными и общедоступными. Включение больших данных в операционную аналитику превратится в намного более легкую и стандартную процедуру. Организации необязательно стремиться во что бы то ни стало стать первопроходцем, но ей не следует и дожидаться полного решения проблем. Догоняющее развитие не приведет к выигрышу.
Подведем итоги
Наиболее важные положения этой главы:
• Не беспокойтесь насчет определения больших данных. Гораздо важнее определить, какие именно данные, будь то большие или малые, необходимы вам для аналитики. Важно не определение, а результаты!
• Всегда начинайте с конкретных бизнес-проблем. Не внедряйте технологии больших данных только лишь для того, чтобы заявить об этом.
• Несмотря на чрезмерную шумиху и нереалистичные краткосрочные ожидания, большие данные останутся с нами. Точно так же как пузырь доткомов не означал, что у Интернета не было огромного потенциала, так и пузырь больших данных не означает отсутствия огромного потенциала у больших данных.
• Что делает большие данные настолько захватывающими, так это новая информация, которая в них содержится. Новая информация почти всегда побеждает новые алгоритмы.
• Не используйте большие данные только для улучшения существующих аналитических процессов. Ищите способы, при помощи которых большие данные позволят решить старые проблемы с новой точки зрения или решить совершенно новые проблемы.
• В ближайшие годы будьте готовы к стремительному росту ажиотажа вокруг Интернета вещей, а также к пересмотру своей политики по отношению к сохранению данных, чтобы справляться с грядущими потоками малоценных данных.
• Разнообразие больших данных, по сравнению с традиционными, гораздо проблематичнее, чем их «огромность».
• Большие данные требуют масштабирования не только при обработке и хранении, но и в параметрах касательно пользователей, параллелизма, управления рабочей нагрузкой и безопасности.
• Большие данные должны стать компонентом общей стратегии управления данными и аналитикой. Большие данные не могут эффективно работать сами по себе.
• После нескольких лет предсказаний о скорой смерти SQL сегодня нереляционные платформы стремятся дополниться интерфейсами SQL. В этом находят отражение не только огромный сдвиг во взглядах, но и реальные потребности бизнеса.
• Хотя сегодня большие данные могут казаться подавляющими, они следуют той же кривой зрелости, что и другие источники данных. Большие данные довлеют над нами сильнее ввиду количества новых источников данных, которые все разом стали нам доступны.
