Понятие и концепция хранилищ данных.

Хранилище данных (Data Warehouse) – это предметно-ориентированный, интегрированный, неизменчивый, поддерживающий хронологию набор данных, организованный для целей поддержки управления.

Свойства хранилищ данных:

-предметная ориентация;

-интегрированность данных;

-инвариантность во времени;

-стабильность информации;

-минимизация избыточности информации.

Основные требования к хранилищам данных:

-высокая скорость извлечения данных из хранилища;

-внутренняя непротиворечивость данных;

-возможность получения и сравнения данных;

-наличие удобных утилит просмотра данных хранилища;

-полнота и достоверность хранимых данных;

-поддержка процесса качественного пополнения данных.

Попав однажды в хранилище, данные уже никогда не изменяются, а только пополняются новыми данными из оперативных систем, где данные постоянно меняются. Новые данные по мере поступления обобщаются с уже накопленной информацией в хранилище данных.

Использование технологии хранилищ данных предполагает наличие в системе следующих компонентов:

-оперативных источников данных;

-средств переноса и трансформации данных;

-метаданных – включают каталог хранилища и правила преобразования данных при загрузке их из оперативных баз данных;

-реляционного хранилища;

-OLAP-хранилища;

-средств доступа и анализа данных.

Назначение перечисленных компонентов таково. Оперативные данные собираются из различных источников. Поступившие оперативные данных очищаются, интегрируются и складываются в реляционные хранилища. Они уже доступны для анализа при помощи средств построения отчетов. Затем дынные (полностью или частично) подготавливаются с использованием средств переноса и трансформации данных для OLAP-анализа. При этом они могут быть загружены в специальную базу данных OLAP или оставаться в реляционном хранилище.

Важнейшим элементов хранилища являются метаданные, т.е. данные о структуре, размещении, трансформации данных, которые используются любыми процессами хранилища. Метаданные могут быть востребованы для различных целей, например, извлечения и загрузки данных, обслуживании хранилища и запросов. Метаданные для различных процессов могут иметь различную структуру, т.е. для одного и того же элемента данных может существовать несколько вариантов метаданных.

Таким образом, хранилища данных являются структурированными. Они содержат базовые данные, которые образуют единый источник для обработки данных во всех системах поддержки принятия решений. Элементарные данные, присутствующие в хранилищах, могут быть представлены в различной форме. Хранилища данных исключительно велики, поскольку в них содержатся интегрированные и детализированные данные.

Хранилище данных (Data Warehouse) по сути, представляет собой центр, в который собирается вся необходимая информация из различных подразделений предприятия. Единожды занесенные в Data Warehouse данные затем многократно извлекаются из него и используются для анализа. Отсюда вытекает одно из основных преимуществ использования Data Warehouse в работе предприятия – контроль за критически важной информацией, полученной из различных источников, как за производственным ресурсом.

Наиболее уязвимым местом использования Data Warehouse является корректность его данных, полученных из разных источников.

Типичное хранилище данных, как правило, отличается от обычной реляционной базы данных. Во-первых, обычные базы данных предназначены для того, чтобы помочь пользователям выполнять повседневную работу, тогда как хранилища данных предназначены для принятия решений. Во-вторых, обычные базы данных подвержены постоянным изменениям в процессе работы пользователей, а хранилище данных относительно стабильно: данные в нем обычно обновляются согласно расписанию. Например, ежедневно, еженедельно или ежечасно в зависимости от потребностей. В идеале процесс пополнения представляет собой просто добавление новых данных за определенный период времени без изменения прежней информации, уже находящейся в хранилище.

Преимущества хранилищ данных:

-единый источник информации.

-производительность.

-быстрота разработки.

-интегрированность;

-историчность и стабильность.

-независимость.