Современные БЗ работают совместно с системами поиска информации, имеют классификационную структуру и формат представления знаний. Полноценные БЗ содержат в себе не только фактическую информацию, но и правила вывода, допускающие автоматические умозаключения о вновь вводимых фактах и, как следствие, осмысленную обработку информации. Область наук об искусственном интеллекте, изучающая БЗ и методы работы со знаниями, называется инженерией знаний.
Вообще создание сетей связано с интенсификацией таких процессов, как контроль функционирования централизованного государства через систему налогообложения, деятельность таможенных органов и т. д. Базы данных нужны везде – в бизнесе, на транспорте, в банковском секторе, в политике, в госстатистике, при решении вопросов гражданства, для борьбы с криминалом. Очевидно, начало этим процессам в современном смысле слова положил сбор данных при учёте народонаселения для обеспечения воинской повинности. В далёкие средние века в итальянских городах-государствах Венеции и Генуе создавались БД для сопровождения бизнеса в банковской сфере. Эти БД были действенны (за ними стояло финансовое могущество банковских структур и государства), но достаточно ограничены по своим масштабам, охватывали незначительное число граждан по различным аспектам их финансового взаимодействия между собой, что отражалось в этих базах.
Позднее в Европе БД начали охватывать и другие аспекты жизнедеятельности (собственность, акции, криминалитет, разнообразные потребности большой политики и бизнеса, особенно расширение ёмкости рынков, сбыт, планирование), что нашло своё отражение в первых локальных (тематически и географически) БД. Можно отметить, что, как минимум, до Первой мировой войны эти БД в большинстве случаев не вышли ещё за пределы чисто вспомогательной функции, они «не могли работать» без харизматичного аналитика-профессионала, восполнявшего их неполноту и ограниченность интуицией, неформализуемыми профессиональными знаниями, а также его ближайшего экспертного окружения. Будь-то начальники полиции при Наполеоне I и III, прототипы Шерлока Холмса, Пуаро, организаторы политического сыскав Российской империи (А.В. Герасимов, П.И. Рачковский и др.). Действительно, при том уровне развития средств связи и социальных коммуникаций (почта, телеграф, телефон, фотоаппарат) в условиях миграции населения, открытых границ, неграмотности значительной части населения было чрезвычайно трудно осуществлять быстрые, действенные коммуникации между локальными точками от Варшавы до Владивостока, поддерживать эти БД. Тем не менее, в целом царская охранка с этим достаточно успешно справлялась, хотя, скорее, можно говорить о решении локальных типовых задач, преимущественно методом непосредственного контакта (близкодействия – филёр, офицер полиции, как правило, лично знал своего подследственного, всю его среду). Однако уже первые волны глобализации, которые принесла Первая мировая война, когда нужно было действовать оперативно и часто с упреждением, показали уязвимость и неэффективность подобной персонифицированной традиционной системы.
Например, в Марселе в 1914 г. полицейские постреляли всех уголовников. Очевидно, это была не столько социальная мера в условиях войны, сколько следствие отсутствия систематической информации, возможности ведения БД для поиска преступников профессионально, систематически и регулярно. Поэтому решили избавиться от них кардинально. О подобных же методах, когда «виноваты все» свидетельствует и опыт нашей гражданской войны, весь советский опыт.
Вслед за армией, спецслужбами (тайной полицией, военной разведкой) и некоторыми другими институтами государства (например, статистические учреждения, нотариальные архивы), другие общественные институты в связи с качественным усложнением жизни также стали создавать (разрабатывать, поддерживать, усложнять) свои локальные БД. Образовывались публичные библиотеки с миллионами томов, книготорговые фирмы (тысячи наименований, пересылка книг по почте), выпуск каталогов с ценниками, что по сути уже было первыми аналитическими БД доступной информации по разделам.
Помимо локальных (но достаточно объёмных, например, в рамках всей страны – железнодорожный справочник общих сетей), БД стали появляться и в виде каталогов, специализированных микросетей. Архив с гарнитуром генеральши Поповой (Ильф и Петров «Двенадцать стульев»), путеводитель по дворянским усадьбам средней полосы, геральдические сборники, личные библиотеки и библиография в конце книги – тому примеры. Изначально понятна ограниченность формата данных из этих каталогов и специализированных сетей, что однако вовсе не говорит об их невостребованности, неиспользуемости.
В течение многих лет практика создания БД постоянно совершенствовалась, распространялась на различные сферы, а во второй половине XX века, когда мир охватила всеобщая информатизация, стала обычной. В XXI веке она нашла своё органичное продолжение через создание БЗ.
Большая статистическая работа проводилась ещё русскими земствами, особенно в период проведения первой переписи населения. В советский период структуры Госплана СССР предоставляли громадную, достаточно полную и систематизированную информацию по многим аспектам народно-хозяйственной жизни. Работа Министерства торговли и финансов позволяла измерять экономические показатели развития страны, вести БД по отраслям промышленности, регионам, замерять и отчасти предсказывать соотнесения валют, ёмкости рынков, динамику изменений. Важно также отметить, что статистические данные были достаточно полными, систематическими и публичными (открытыми). Последнее обстоятельство позволяло заинтересованным людям самим не дублировать работу ведомств, использовать статистические данные в своей практической деятельности, заказывать проведение иных выборок и статистических исследований под свои задачи и в своих интересах. Так постепенно на рубеже веков в России появился рынок Аналитики.
Чрезвычайно важным фактором, определяющим успешность применения созданной БД, является структура описаний (совокупность атрибутов, используемых для описания объектов учёта). Если структура описаний не обеспечивает тех возможностей, которые необходимы потребителю для производства работ с ресурсами базы данных, то из эффективного инструмента информационной работы база данных превращается в кладбище данных, где на покосившихся крестах и памятниках давно повыцвели надписи. Поэтому уже на уровне структуры описаний должны быть учтены особенности технологии обработки информации, структура деловых процессов, возможности дальнейшего наращивания комплекса средств автоматизации, возможность востребования данных и без применения специализированных интерфейсов (программ иных, нежели программы системы управления базами данных) и так далее. В противном случае, в какой-то момент времени, когда очередная смена технологии потребует заменить интерфейсное программное обеспечение, вам придётся проводить на заслуженный отдых не только эти программы, но и все те данные, которые были накоплены за годы работы вашей организации.
БД и БЗ представляют собой уникальный источник информации, использование которого в сочетании с иными средствами автоматизации аналитической работы способно многократно повысить продуктивность труда аналитика. Характерно, что большинство технических средств сбора информации, выражающих результаты в символьном виде, способно служить источниками только таких – специализированных данных. Как следствие, методологическое обеспечение систем анализа структурированных и числовых параметрических данных во многом совпадает. Даже в случае, когда в качестве параметров используются естественно-языковые термины, они могут рассматриваться как численные оценки значения атрибута, между которыми могут быть установлены те или иные отношения (порядка, величины, объёма понятия и т. д.). В результате для обработки таких данных могут быть (хоть и с некоторыми изменениями) применены пакеты автоматизированной статистической обработки данных наблюдений, системы математического моделирования и иные программные средства, располагающие широкими возможностями для проведения статистических исследований, анализа временных рядов, сравнительного анализа и так далее.
Современная аналитика располагает чрезвычайно обширной источникевой базой. В арсенале средств сбора информации присутствуют самые изощрённые системы: начиная от спутниковых систем мониторинга атмосферы и земной поверхности, радио и оптико-электронной разведки и заканчивая самим, вооружённым аналитическими способностями, мыслетехнологиями и навыками, аналитиком.
