С каждым годом увеличивается перечень хранимых данных, и растёт их объём. К 2015 году примерно 90% цифровых данных в мире было создано только за предыдущие два года. По оценкам IBM, к 2015 году ежедневно генерировалось 2,5 квинтиллиона байт данных. Непрерывно растёт объём электронных корреспонденций в сотовых, социальных, финансовых, научных и многих других компьютерных сетях, служебного и общественного характера. Благодаря этому каждые два года мировой объём данных увеличивается более чем в два раза.
В 2009 году компании Arbor Networks и Merit Network совместно с Мичиганским университетом (University of Michigan) проанализировали мировой интернет-трафик. Только за два года он составил 256 эксабайт информации.
В 2004 году интернет-трафик пропорционально распределялся среди десятков тысяч сетей. В 2007 году 15 тысяч сетей отвечали за 50% всего трафика. К 2009 году 60% трафика приходилось всего на сто сетей. К примеру, Google отвечал за 6% всего глобального трафика, и являлся его крупнейшим генератором, а трафик в месяц на YouTube был эквивалентен суммарному трафику всей Глобальной Сети за 2000 год. При этом 52% всего онлайн-трафика составлял веб-трафик, тогда как на остальные протоколы приходилось 42%.
В 2007 году соотношение было противоположным – доля HTTP-протокола составляла 42%, а от 25% до 40% всего веб-трафика приходилось на онлайн-видео. Значительную долю в общем количестве онлайн-трафика составлял файлообмен через P2P-сети.
Большие данные стали неотъемлемым элементом государственной политики. Они позволяют получать сведения о социально-экономической температуре общества, прогнозировать безработицу и общественные настроения. Данные сетей подвижной связи и социальных сетей в Интернет, по сути, сегодня единственный обладающий глобальным социально-экономическим покрытием источник информации.
Благодаря большим данным происходит прогресс в области автоматизации. Накопление значительных массивов структурированных данных позволяет разбивать сложные операции на простые операции с чётко заданными правилами и использовать компьютеры в различных областях человеческой деятельности избавляя человека от рутиной и механической работы.
Большие данные всё больше проникают в повседневную жизнь людей. Так, сведения о произведенных платежах с геопривязкой позволяют оптимизировать маршрут передвижений в большом городе, сократить время на покупки или эффективнее спланировать свой рабочий график. Способов использования больших данных может быть достаточно много, поскольку конвергенция компьютерных технологий с масс-медиа, книгой, телефоном, банковским делом или медицинскими приборами сделало инфосферу Интернет универсальным средством общения и пользования накопленным опытом и знаниями.
К 2015 году совокупный вклад мобильных технологий в ВВП шести ведущих стран ответственных за 47% мирового Валового внутреннего продукта (ВВП) составил более 1,2 триллиона долларов. Вклад мобильных технологий в их ВВП составляет 2—4%, а Южной Кореи – 11%. В США на долю мобильных технологий приходится 3,2% ВВП, что превышает вклад таких отраслей, как сельское хозяйство, транспорт, автомобилестроение, гостиничный бизнес и развлечения. Коммерческий успех современных телекоммуникаций стал возможен по многим причинам.
Благодаря увеличению численности городского населения – к 2011 году более половины населения планеты проживало в городах. Прогнозируется, что к 2030 году число горожан увеличится до четырёх миллиардов человек и составит большую часть населения планеты.
Благодаря увеличению пропускной скорости магистральных каналов передачи данных, успешной ликвидации «последней мили» – наследия низкоскоростных телефонных каналов.
Благодаря широкополосному соединению, когда интервал времени «отклика» источника данных для пользователя становится неощутимым. Ситуация схожа с «доисторическим кинематографом» и современными телевизионными системами высокой четкости. Исполнение или содержание уже не «подстраивается» под средства визуализации, а использует их расширяющиеся технические возможности для достижения большего эффекта.
Рост объёма Больших данных в мире.
Благодаря кукам (cookie) и различным программам, ответственных за «запоминание» на компьютере пользователя его запросов. Это своеобразная связь между пользователем и инфосферой Интернет. Наиболее частые запросы создают устойчивые связи – «долговременную память», случайные или единичные со временем «отмирают», очищая место для новых «следов».
Благодаря эффективному кэшированию данных снижающего нагрузку на телекоммуникации.
Благодаря внедрению элементов искусственного интеллекта – ИСКИН позволяющих сокращать время доступа к запрашиваемым пользователем источникам информации.
Благодаря появлению в Интернет электронных книг и архивов, веб-сайтов масс-медиа, размещению в Глобальной сети актуальных текстов, фото и видеофайлов.
Благодаря широкому распространению смартфонов и стремительному увеличению количества всевозможных приложений к ним, учитывающих целевые запросы пользователей.
Благодаря стремительному росту социальных сетей и готовности их пользователей делиться личной информацией в обмен на удобство и быстроту оказания услуг.
Благодаря превращению Интернет в основное место поиска товаров и услуг.
Благодаря удобству и скорости размещения почти любого заказа с использованием Интернет – от бронирования места в гостинице до доставки пиццы.
Благодаря распространению платёжных сервисов и возможности пользования ими через подвижные устройства электросвязи.
Благодаря широкому распространению сервисов «Электронного правительства» обеспечивающих выполнение различных запросов граждан.
Благодаря появлению военной «ниши» в деле разработки автоматизированных устройств, стимулировавшей создание интеллектуальных систем с быстродействием превышающих человеческие возможности.
Письмо, книга, телеграф, телефон, пресса, радио, телевидение и Интернет с разными ускорениями внедрялись в практику общечеловеческих отношений. Однако все эти технологии массовой коммуникации проходили схожие стадии развития.
Создание научно-технической основы коммуникации и её специализированное использование.
Формирование правовой основы коммуникации. Выработка стандартов. Вовлечение в бизнес-процессы.
Преодоление порогового уровня самоокупаемости. Ускоренное расширение сетей коммуникации. Формирование полноценной отрасли в кадровом и промышленном отношении.
Коммерциализация. Использование коммуникации для продвижения товаров и услуг. Формирование рынка потребителей.
Социализация. Использование коммуникации для формирования общественных настроений и пропаганды.
Адаптация. Смена парадигмы, при которой не технология коммуникации определяет её скорость развития, а созданные её основе коммерческие продукты.
Десоциализация. Коммуникация широко используются в социальных, «холодных» и вооруженных противостояниях, осуществления террористической и подрывной деятельности.
Интернет прошел все выше перечисленные стадии роста с большим отрывом, чем всё, что было до него. Вместе с тем он качественно отличается он них. А могло ли быть иначе?
Инфосфера Интернет
Непрерывно расширяющиеся медиа стали настоящей средой обитания – пространством, таким же реальным и, по всей видимости, незамкнутым, каким был земной шар пятьсот лет назад. Это новое пространство называется инфосферой.
Дуглас Рашкофф (Douglas Rushkoff), 2003 год
Причиной феноменального роста Интернет, прежде всего, является его самодостаточность как открытой системы. Если на первом этапе возникновения Глобальная компьютерная сеть нуждалась в финансовом стимулировании со стороны государственных и международных программ, то с приходом коммерческих структур она из дотационного субъекта превратилась в генератор финансового успеха. Рыночная конкуренция превратила Интернет в экономически рентабельную отрасль.
За полвека своего существования Интернет превратился в топологически сложную систему объединившей миллиарды электронных устройств. На его основе функционирует Всемирная Паутина (Веб, World Wide Web, Web, WWW), электронная почта (e-mail), голосовая и видеосвязь, системы передачи файлов, базы всевозможных данных и многое другое.
Рост инфосферы за одну минуту (Hewlett-Packard, 2013).
Инфосфера Интернет это всё то, что тем или иным способом взаимодействует с Глобальной сетью. Её условно можно разделить на три неравновесные по информационным ресурсам и доступу к ним части: Белую, Серую и Тёмную зоны.
В «белой зоне» действуют традиционные поисковые сервисы, а имеющиеся здесь информационные ресурсы в основном общедоступны, исключая «отмирающие» со временем веб-пласты. В «серой зоне» находятся ресурсы ограниченного доступа. Это могут быть данные и сведения служебного назначения (от технических протоколов до банковских транзакциях, медицинских или метеорологических данных и др.). Здесь хранятся результаты машинной генерации данных и др. Наконец в «чёрной зоне» расположены анонимные ресурсы, ориентированные на пользователей нежелающих афишировать свою деятельность в Сети.
