По прогнозам к 2020 году, объём данных увеличится еще на 35 триллионов гигабайт (ГБ). Однако «полезных» данных прибавляется сравнительно немного. В 2013 году в эту категорию попало только 22%, а к 2020 году полезных будет около 35% данных, а всё остальное составит информационный шум.
Количество подключаемых в Глобальную сеть устройств растет с геометрической быстротой, рождая всё новые термины «Smartdust» (Умная пыль), «Planetary Skin» (Планетарная кожа), «Central Nervous System for the Earth» (Центральная нервная система Земли) и т. д. Отрабатываются проекты интернет-коммуникации в космосе (NASA – Interplanetary Internet (IPN), Cisco – Internet Routing in Space и другие. В 2017 году Россия начала создавать геоинформационную систему на основе спутников дистанционного зондирования Земли (ДЗЗП) в рамках проекта «Цифровая Земля».
Рост объёма информации в Интернет. С 2008 года быстрый рост данных связан с появлением многофункциональных персональных устройств с возможностью передачи видеофайлов. С 2010 года ускорение происходит за счёт технологии интернет-вещей и инструментов социальных сетей.
В 2009 году узел IPN заработал на Международной космической станции (МКС). В 2010 году экипаж МКС получил прямой доступ в Интернет, а в 2012 году с использованием IPN космонавты руководили роботом, находившемся в европейском центре управления полетами в Дармштадте.
Каждый день миллиарды устройств принимают, передают, и сохраняют огромные объёмы данных без участия человека. На подходе «четвертая волна» повышения эффективности электронных коммуникаций – возникновение среды роботизированных взаимодействующих систем с элементами искусственного интеллекта – ИСКИН (ИИ, Artificial intelligence, AI). Цифровизация и стремительный рост обрабатываемых данных сделали необходимым использование автономных программ и решений в информационно насыщенных средах. Таких, как интернет-вещей и Большие данные.
Интернет-вещей. В 1999 году возник термин «Internet of Things» (интернет-вещей, IoT). Его ввел в оборот основатель исследовательской группы Auto-ID при Массачусетском технологическом институте Кевин Эштон (Kevin Ashton) на презентации для руководства компании Procter&Gamble. Это концепция вычислительной сети миниатюрных физических объектов, оснащённых встроенными технологиями для взаимодействия друг с другом или с внешней средой. Организация таких сетей перестраивает экономические и общественные процессы и вполне оправдано распространить эту концепцию на понятие «интернет людей».
Благодаря распространению индивидуальных средств коммуникации почти каждый живущий на планете уже обладает своеобразной «встроенной радиометкой» – сотовым телефоном, смартфоном, наладонником и др. Они позволяют следить за перемещениями или состоянием здоровья владельца, осуществляя двусторонний обмен данными не только с компьютерными сетями, но и друг с другом. Вполне серьезно рассматриваются проекты вживления в тело человека всевозможных сетецентричных датчиков – от электронных ключей до стимуляторов жизненно важных функций организма. Чипирование используется для идентификации домашних животных, обитателей зоопарков и диких животных.
В книге «Умная толпа: новая социальная революция» Говард Рейнгольд (Howard Rheingold, 2002) указал на тенденцию развития Интернет и мобильных сетей: «Мы быстро движемся к миру, где каждый предмет, с которым нам придется иметь дело, будет снабжен следящим устройством. Если сегодня мы оставляем цифровые следы нашей частной жизни своими кредитными карточками и обозревателями Сети, то завтрашние переносные устройства будут передавать целые массивы личных данных невидимым наблюдателям. Мы вскоре вступим в эпоху, когда датчики будут встраивать в мебель. Научная и экономическая основа повсеместной компьютеризации закладывалась десятилетиями, а ее социальные побочные действия только начинают проявляться. Виртуальный, социальный и физический миры сталкиваются, сливаются и перестраиваются».
Основные хранилища данных в традиционных форматах (рукописи, книги, микрофильмы, аудио и видеоматериалы и др.) исторически расположены в крупных городах. Здесь имеются необходимые условия для их функционирования и хранения. Фонды архивов и крупнейших библиотек достигают 14 миллионов единиц хранения, и непрерывно растут.
Только национальная библиотека США содержит фонд из 33,5 миллионов печатных изданий более чем на 460 языках мира, огромное количество фотографий, карт и рукописей. Возможность использования подобных информационных источников лимитируется по многим причинам, главной из которых является сложность поиска и низкая скорость доступа к ним. Интернет и цифровые технологии предоставили возможность решения этой проблемы.
В 2002 году объём цифровых данных впервые превысил совокупный объём информации хранимой в аналоговом формате в мире. В 2011 году Мартин Хилберт (Martin Hilbert) и Присцила Лопес (Priscilla Lopes) классифицировали все известные носители данных – от бумаги до дисков «blu-ray». Анализу подверглись 21 аналоговая и 39 цифровых технологий за период с 1986 по 2007 годы. Выяснилось, что объём хранимой информации за двадцать лет увеличился примерно в сто раз – с 2,6 ЭБ в 1986 году до 295 ЭБ к 2007 году. При этом доля бумажных носителей неуклонно снижается – с 1986 года она сократилась с 33% до 0,007% к 2007 году.
Рост данных интернет-вещей (IoT) в Цифровой Вселенной к 2020 году по прогнозу IDS (2014).
Всё больше и больше печатных изданий становятся доступны в цифровом формате. Как свидетельствует исследование Pew Research Center Pew, почти половина пользующихся Интернет жителей США получают новости из социальных сетей. С 2004 года компания Google реализует проект по оцифровке и поиску книг. Он позволил к 2010 году открыть доступ к 15 миллионам книг в Интернет. В 2015 году крупнейшая социальная сеть Facebook приступила к созданию платформы для газет и журналов «Instant Articles». В перспективе этот проект способен изменить облик всего медиа-пространства.
Повсеместное компьютерное делопроизводство от удостоверений личности до бухгалтерии основано на использовании электронных баз данных. В 2007 году в цифровом формате хранилось 94% общего объёма данных технологического хранения. Электронные архивы стали столь же необходимым атрибутом жизнедеятельности как некогда библиотеки и аналоговые архивы.
Большие данные. В 2008 году благодаря американцу Клиффорду Линчу (Clifford Lynch), директору Coalition for Networked Information (CNI), возник термин «Big data» (Большие данные). Он связан с происходящим экспоненциальным ростом объёма данных хранимых на цифровых носителях и увеличением производительности компьютерной техники.
Основным источником больших данных являются непрерывно генерируемые сообщения различных устройств и систем (машинное генерирование). К большим относятся любые данные, не содержащие в записях специальных поисковых полей. Это неструктурированные файлы, log-файлы, цифровое видео, изображения, данные различных датчиков. Последних становится все больше и больше – от радиочастотных идентификаторов и метеорологических систем до систем видеорегистрации и телеметрического мониторинга (Data in motion).
Одним из источников больших данных являются сети электросвязи. Их операторами непрерывно собираются данные включающие сведения о времени, местоположении, устройстве и пользователе, сведения об оплате эфирного времени, производстве вызовов, отправке SMS, загрузке приложений и многое другое. Эта информация позволяет идентифицировать личность абонента, маршрут его перемещений, социальные связи, финансовую деятельность и предпочтения.
Пользуясь различными электронными устройствами люди оставляют за собой цифровые следы, позволяя делать точные выводы о себе, включая предпочтения, политические взгляды, семенных отношениях и многом другом. В публичных социальных сетях персональные страницы становятся важным источником личной информации, поскольку видны всем. Первыми этим воспользовались властные, партийные и, коммерческие структуры, а также спецслужбы многих стран. Социальные сети типа Facebook куда ежемесячно к 2017 году заходило около двух миллиардов человек стали не только раем для маркетологов, но ориентированным на сбор личных сведений различных структур и организаций.
В свою очередь, также как традиционные картографические построения всё больше подменяются системами геопозиционирования и методами неогеографии использующими сетецентричные технологии, так и технологии официальных статистических бюро всё больше дополняются анализом больших данных. Он позволяет оперативно делать социальные срезы, прослеживать динамику изменений в обществе, а в обратном ключе – влиять на людей и их политические и экономические предпочтения.
