Технології інтегрованих інформаційних систем загального призначення

Чем отличаются информационные хранилища от баз данных?

Чтобы принять любое управленческое решение надо обладать необходимой для этого информацией, обычно количественной. Сначала нужно эти данные собрать из всех информационных систем предприятия, привести к общему формату и уже потом анализировать. Для этого создают хранилища данных (Data Warehouses). Обычно хранилище — место сбора всей информации, представляющей аналитическую ценность. Требования для таких хранилищ соответствуют классическому определению ОLAP (аналитические системы On-Line Analytical Processing предназначены для анализа больших объемов информации в интерактивном режиме для создания интеллектуального капитала. OLAP — это ключевой компонент организации традиционных хранилищ данных).

По интеллектуальным запросам OLAP-системы информационное хранилище выдает аналитические данные. По запросам, объединенным в транзакции других систем, информационное хранилище обеспечивает их обработку, выдачу ответов и отчетов, но не обеспечивает функцию анализа данных. Именно поэтому эти системы называются OLTP-системами (On-Line Transaction Processing) в отличии от OLAP-систем.

Данные из OLTP-системы копируются в хранилище данных таким образом, чтобы при построении отчётов и OLAP-анализе не использовались ресурсы транзакционной системы и не нарушалась её стабильность. Есть два варианта обновления данных в хранилище:

• — полное обновление данных в хранилище. Сначала старые данные удаляются, потом происходит загрузка новых данных. Процесс происходит с определённой периодичностью, при этом актуальность данных может несколько отставать от OLTP-системы;
• — инкрементальное обновление — обновляются только те данные, которые изменились в OLTP-системе.

Хранилища организуются по следующим принципам:

• — данные объединяются в категории и хранятся в соответствии с областями, которые они описывают, а не с приложениями, которые они используют — принцип проблемно-предметной ориентации;
• — данные объединяют так, чтобы они удовлетворяли всем требованиям предприятия в целом, а не единственной функции бизнеса — принцип интегрированности;
• — данные в хранилище данных не создаются, а поступают из внешних источников, не корректируются и не удаляются — принцип некорректируемости;
• — данные в хранилище точны и корректны только в случае, когда они привязаны к некоторому промежутку или моменту времени — принцип зависимости от времени.

База данных — представленная в объективной форме совокупность самостоятельных материалов (статей, расчётов, нормативных актов, судебных решений и иных подобных материалов), систематизированных таким образом, чтобы эти материалы могли быть найдены и обработаны с помощью электронной вычислительной машины (ЭВМ). Необходимо различать понятия «база данных» и «система управления базами данных». База данных хранится и обрабатывается в вычислительной системе. Таким образом, любые внекомпьютерные хранилища информации (архивы, библиотеки, картотеки и т. п.) базами данных не являются.

В широком смысле понятие истории баз данных обобщается до истории любых средств, с помощью которых человечество хранило и обрабатывало данные. В таком контексте упоминаются, например, средства учёта царской казны и налогов в древнем Шумере (4000 г. до н. э.), узелковая письменность инков — кипу, клинописи, содержащие документы Ассирийского царства и т. п. Следует помнить, что недостатком этого подхода является размывание понятия «база данных» и фактическое его слияние с понятиями «архив» и даже «письменность».

История баз данных в узком смысле рассматривает базы данных в традиционном (современном) понимании. Эта история начинается с 1955 года, когда появилось программируемое оборудование обработки записей. Программное обеспечение этого времени поддерживало модель обработки записей на основе файлов. Для хранения данных использовались перфокарты.

Оперативные сетевые базы данных появились в середине 1960;х. Операции над оперативными базами данных обрабатывались в интерактивном режиме с помощью терминалов. Простые индексно-последовательные организации записей быстро развились к более мощной модели записей, ориентированной на наборы. За руководство работой Data Base Task Group (DBTG), разработавшей стандартный язык описания данных и манипулирования данными, Чарльз Бахман получил Тьюринговскую премию.

В это же время в сообществе баз данных COBOL была проработана концепция схем баз данных и концепция независимости данных.

Следующий важный этап связан с появлением в начале 1970;х реляционной модели данных, благодаря работам Эдгара Ф. Кодда. Работы Кодда открыли путь к тесной связи прикладной технологии баз данных с математикой и логикой. За свой вклад в теорию и практику Эдгар Ф. Кодд также получил премию Тьюринга.

Сам термин база данных (англ. database) появился в начале 1960;х годов, и был введён в употребление на симпозиумах, организованных компанией SDC в 1964 и 1965 годах, хотя понимался сначала в довольно узком смысле, в контексте систем искусственного интеллекта. В широкое употребление в современном понимании термин вошёл лишь в 1970;е годы.

Существует огромное количество разновидностей баз данных, отличающихся по различным критериям. Например, в «Энциклопедии технологий баз данных» определяются свыше 50 видов баз данных.

Основные классификации:

• — Иерархическая
• — Объектная и объектно-ориентированная
• — Объектно-реляционная
• — Реляционная
• — Сетевая
• — Функциональная.

Классификация по среде постоянного хранения:

— Во вторичной памяти, или традиционная (англ. conventional database): средой постоянного хранения является периферийная энергонезависимая память (вторичная память) — как правило жёсткий диск.

В оперативную память система управления корпоративной базой данных (СУБД) помещает лишь кэш и данные для текущей обработки.

• — В оперативной памяти (англ. in-memory database, memory-resident database, main memory database): все данные на стадии исполнения находятся в оперативной памяти.
• — В третичной памяти (англ. tertiary database): средой постоянного хранения является отсоединяемое от сервера устройство массового хранения (третичная память), как правило на основе магнитных лент или оптических дисков.

Во вторичной памяти сервера хранится лишь каталог данных третичной памяти, файловый кэш и данные для текущей обработки; загрузка же самих данных требует специальной процедуры.

Классификация по содержимому:

• — Географическая
• — Историческая
• — Научная
• — Мультимедийная
• — Клиентская.

Классификация по степени распределённости:

• — Централизованная, или сосредоточенная (англ. centralized database): база данных, полностью поддерживаемая на одном компьютере.
• — Распределённая (англ. distributed database): база данных, составные части которой размещаются в различных узлах компьютерной сети в соответствии с каким-либо критерием.
• — Неоднородная (англ. heterogeneous distributed database): фрагменты распределённой базы данных в разных узлах сети поддерживаются средствами более одной СУБД
• — Однородная (англ. homogeneous distributed database): фрагменты распределённой базы данных в разных узлах сети поддерживаются средствами одной и той же СУБД.
• — Фрагментированная, или секционированная (англ. partitioned database): методом распределения данных является фрагментирование (партиционирование, секционирование), вертикальное или горизонтальное.
• — Тиражированная (англ. replicated database): методом распределения данных является тиражирование (репликация).

Другие виды базы данных:

• — Пространственная (англ. spatial database): база данных, в которой поддерживаются пространственные свойства сущностей предметной области. Такие база данных широко используются в геоинформационных системах.
• — Временная, или темпоральная (англ. temporal database): база данных, в которой поддерживается какой-либо аспект времени, не считая времени, определяемого пользователем.
• — Пространственно-временная (англ. spatial-temporal database) база данных: в которой одновременно поддерживается одно или более измерений в аспектах как пространства, так и времени.
• — Циклическая (англ. round-robin database): база данных, объём хранимых данных которой не меняется со временем, поскольку в процессе сохранения новых данных они заменяют более старые данные. Одни и те же ячейки для данных используются циклически.

Сверхбольшая база данных — это база данных, которая занимает чрезвычайно большой объём на устройстве физического хранения. Термин подразумевает максимально возможные объёмы базы данных, которые определяются последними достижениями в технологиях физического хранения данных и в технологиях программного оперирования данными.

Количественное определение понятия «чрезвычайно большой объём» меняется во времени; в настоящее время считается, что это объём, измеряемый по меньшей мере петабайтами. Для сравнения, в 2005 г. самыми крупными в мире считались базы данных с объёмом хранилища порядка 100 терабайт.

Специалисты отмечают необходимость особых подходов к проектированию сверхбольших баз данных. Для их создания нередко выполняются специальные проекты с целью поиска таких системотехнических решений, которые позволили бы хоть как-то работать с такими большими объёмами данных. Как правило, необходимы специальные решения для дисковой подсистемы, специальные версии операционной среды и специальные механизмы обращения СУБД к данным.

Исследования в области хранения и обработки сверхбольших баз данных VLDB всегда находятся на острие теории и практики баз данных. В частности, с 1975 года проходит ежегодная конференция International Conference on Very Large Data Bases («Международная конференция по сверхбольшим базам данных»). Большинство исследований проводится под эгидой некоммерческой организации VLDB Endowment (Фонд целевого капитала «VLDB»), которая обеспечивает продвижение научных работ и обмен информацией в области сверхбольших баз данных и смежных областях.

Процессы работы с данными:

Источниками данных могут быть:

• 1. Традиционные системы регистрации операций
• 2. Отдельные документы
• 3. Наборы данных

Операции с данными:

• 1. Извлечение — перемещение информации от источников данных в отдельную базу данных, приведение их к единому формату.
• 2. Преобразование — подготовка информации к хранению в оптимальной форме для реализации запроса, необходимого для принятия решений.
• 3. Загрузка — помещение данных в хранилище, производится атомарно, путем добавления новых фактов или корректировкой существующих.
• 4. Анализ — OLAP, Data Mining, сводные отчёты.
• 5. Представление результатов анализа.

Анализ — исследование данных с целью принятия решений. Аналитические системы так и называют — системы поддержки принятия решений (СППР).

Хранилище данных — предметно-ориентированная информационная база данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации. Строится на базе систем управления базами данных и систем поддержки принятия решений. Данные, поступающие в хранилище данных, как правило, доступны только для чтения.

Типичное хранилище данных, как правило, отличается от обычной реляционной базы данных.

Во-первых, обычные базы данных предназначены для того, чтобы помочь пользователям выполнять повседневную работу.

Во-вторых, обычные базы данных подвержены постоянным изменениям в процессе работы пользователей, а хранилище данных относительно стабильно: данные в нем обычно обновляются согласно расписанию (например, еженедельно, ежедневно или ежечасно — в зависимости от потребностей). В идеале процесс пополнения представляет собой просто добавление новых данных за определенный период времени без изменения прежней информации, уже находящейся в хранилище.

И, в-третьих, обычные базы данных чаще всего являются источником данных, попадающих в хранилище. Кроме того, хранилище может пополняться за счет внешних источников, например, статистических отчетов.