База метаданных информационного хранилища (репозиторий ИХ)

Основные понятия о базе метаданных

Управление ИАС осуществляется посредством использования метаданных, то есть данных о том, что представляют собой и как хранятся данные и по существу содержат обобщенную информацию о предметной области. Благодаря их использованию предоставляется информация, необходимая для автоматизации процессов сбора, преобразования и загрузки данных в ИХ и использования всей ИАС.

Проектирование ИХ, разработка сценариев OLAP и интеллектуального анализа начинается с формирования массивов метаданных, которые реализуются соответствующими программными модулями. Этими модулями описываются атрибуты метаданных, проверяется их корректность, создается физическая структура хранения, обеспечивается вызов для реализации заданных в сценарии анализа функций.

Метаданные можно разделить на два типа — бизнес-метаданные и технические метаданные. Они позволяют ориентироваться в огромном объеме информации.

Бизнес-метаданные служат в основном интересам пользователя. К ним относятся определения данных, обозначения атрибутов и областей, привязка данных ко времени, бизнес-правила, соотношения данных, их охват.

Технические метаданные используются службой администратора. К ним относятся сведения о времени обновления и преобразовании данных, права доступа и т.д.

В связи со сложностью потоков данных из операционных БД технические МД необходимы для работы многих программ.

Более подробно, в состав бизнес-метаданных входят:

– определенные объекты;

– иерархии;

– столбцы углубления;

– столбцы анализа;

– столбец фактических значений в прогнозных или бюджетных документах;

– столбцы бюджетных значений в прогнозных или бюджетных документах;

– временные измерения;

– значения, определяющие успех предприятия;

– категории и классификации данных;

– сведения о зависимых и независимых переменных;

– вид анализа и ограничений и т.д.

В состав технических метаданных входят:

– структура и семантика данных;

– алгоритмы агрегирования;

– сведения о разграничениях доступа и защите информации;

– периодичность загрузки и очистки;

– права собственности на информацию;

– поисковые таблицы, перечень и правила исключений;

– другие данные, относящиеся к техническому сопровождению.

Классификация метаданных

Под метаданными понимают также сведения в виде некоего справочника — репозитория, который помогает пользователям и лицам, обеспечивающим функционирование ИАС, ориентироваться в содержащихся в ИХ данных. Репозиторий является одним из центральных блоков инструментальной части ИАС.

Группа проектировщиков на основе рассмотрения требований пользователей, в которую входят их представители и работники ИТ-подразделения, составляет список подлежащих сосредоточению в ИХ показателей и их реквизитов. Эта работа выполняется на основе анализа документации, опросов, специальных исследований. Составляется перечень документов, аналитических сценариев с предполагаемыми запросами. Из полученных в результате обследования материалов выделяются сущности в разрезе достижения целей анализа. Их называют классы в терминологии объектно-ориентированного подхода, показатели в традиционной терминологии. Из всей совокупности материалов выделяют признаки (реквизиты, атрибуты), описывающие сущности (классы, показатели). На следующем этапе повторяющиеся по смыслу атрибуты представляют в виде одного согласованного по смыслу и синтаксису атрибута. В процессе слияния атрибутов в репозиторий появляются свои, присущие хранилищу атрибуты, их можно назвать системообразующими.

Метаданные должны содержать сведения о преобразовании исходных данных, истинные даты событий и временные характеристики отображаемых процессов, диапазоны для полей данных, сведения об источниках данных и их форматах и т. д.

В связи с обширностью сведений, содержащихся в МД, а также разнообразием вариантов реализации ИАС и ИХ возникла необходимость в более детальной классификации различных видов МД по нескольким признакам.

По стадии применения различают проектные и рабочие метаданные

Проектные МД это совокупность атрибутов, содержащихся в исходных БД или файловых системах в составе их проектов, созданных с помощью CASE-средств (средства для автоматизации разработки ПО).

Воспринятые из этих источников МД и дополненные метаданными собственно хранилища должны уточняться в процессе обновления версий источников. Версии приложений для OLTP (функциональных систем) появляются реже, чем для систем поддержки принятия решений, поэтому проблема отслеживания проектных МД облегчается.

В шестимерной модели, которая далее будет рассмотрена, к проектным МД относятся измерения:

– МД для сущностей, описывающих содержимое ИХ,

– МД для расположения данных,

– МД для движущих сил развития ИХ.

Рабочие метаданные — это совокупность атрибутов, используемых в процессе эксплуатации системы (хранилища или ИАС в целом).

По динамике использования различают МД активные и пассивные. К активным относят те, которые контролируют функции или поведение приложений. Пассивные носят информационный характер и используются при просмотре содержимого ИХ.

Активные рабочие МД имеют два источника: проектные метаданные и собственные компоненты метаданных ИХ. Этот тип МД используется для управления ИХ в частности и ИАС в целом на этапе эксплуатации системы. Активные рабочие метаданные используют для обеспечения безопасности и контроля за доступом к данным в ИХ, накопления статистики по обращениям к тем или иным разделам ИХ с целью совершенствования архитектуры ИАС. Информация, учитывающая время, может составлять значительный объем, к тому же она динамична. В размерностной (шестимерной) модели часть активных рабочих МД соответствует измерениям, описывающим операции над данными и людей, пользующихся хранилищем, а также временной аспект, то есть привязку данных и событий ко времени.

Пассивные рабочие МД привязаны к деловому аспекту, то есть целевому использованию ИХ. Пользователь, используя такие МД, приобретает возможность легче ориентироваться в огромных массивах данных, экономя время на доступ к ним, применять их для формирования запросов, для облегчения понимания смысла содержащихся в ИХ данных.

Пользователи должны знать источник содержащихся в ИХ данных, ответственных лиц, график загрузки. Эти сведения должны содержаться в репозитории МД. Помимо этого необходимо хранить данные о приложениях, языках программирования, датах переработки, о моделях данных, которые используются в CASE-средствах.

Модели метаданных по измерениям

Под измерениями при рассмотрении совокупностей метаданных, понимают назначение и другие отличительные признаки входящих в эти совокупности групп МД. Различают два основных вида классификации и соответствующих моделей: трехмерную и шестимерную.

Трехмерная система классификации и модель МД

Такая система подразумевает три типа метаданных:

- МД оперативных баз данных — источников данных для ИХ,

- МД об использовании данных, то есть об их назначении в интересах конечного пользователя,

- МД для управления информационным хранилищем.

Эта система классификации применяется для ИХ и ИАС малого масштаба с одной предметной областью или небольшим их количеством.

Рис. 3.6. Трехмерная модель метаданных

Размерностная модель МД информационного хранилища

Эта модель обеспечивает более детальный и строгий учет данных, сосредоточенных в ИХ. Она отвечает на вопросы: что? где? когда? кто? почему? как? Такая модель называется схемой Джона Захмана.

Перечислим эти измерения:

1. Сущности, которые составляют содержимое ИХ — Что?

2. Размещение данных в операционных базах и непосредственно в ИХ — Где?

3. Моменты загрузки и агрегирования данных, время их происхождения — Когда?

4. Люди, которые используют и поддерживают хранилища; ответственные за факты, события, ценности и т.д. — Кто?

5. Движущие силы создания и развития ИХ — Почему?

6. Действия, которые выполняются над данными — Как?

Рис. 3.7. Размерностная модель МД ИХ

Метаданные, описывающие сущности

Это измерение является основой создания информационного хранилища. От правильности формирования содержимого хранилища зависит успех его использования. Должна быть документально определена предметная область (или области) и зафиксирована в метаданных.

Если рассматривается несколько предметных областей, то в метаданных должны быть сведения о взаимодействии этих областей, а для одной предметной области о связях ее частей.

Сущности определяются на этапе моделирования. МД должны содержать имена полей, тип данных, домены включенных в ИХ данных, а также сведения о полях в источниках. Одна часть описаний полей может содержаться в источниках данных, другая — в хранилище, а также возможно их нахождение одновременно и в источниках и в хранилище.

Связи между сущностями определяются бизнес-правилами и они фиксируются в базе метаданных. При моделировании структуры метаданных ИХ целесообразно применение объектного подхода и соответствующих инструментальных средств.

Метаданные, относящиеся к размещению ресурсов

В базе метаданных должны быть сведения о размещении ресурсов ИХ и ИАС в целом.

К таким ресурсам относятся: серверы, рабочие станции, сетевое оборудование, программные средства. Эти метаданные используются для управления конфигурацией, сопровождения системы. Они создаются путем загрузки файла конфигурации таких операционных систем как: UNIX, LINUX, Windows и других, а также путем выполнения инвентаризации технической и программной платформы.

Метаданные, описывающие временные аспекты ИХ

В хранилище отслеживаются:

− время происхождения событий в бизнес-сфере или другой предметной области;

− периоды времени, в течение которых происходят процессы;

− моменты появления сведений в источниках данных и в хранилище, другие характерные точки привязки ко времени.

Имеются сущности из пользовательской сферы, которые акцентируют внимание на временных аспектах. К ним относятся: планы, графики работ, планируемая и фактическая их продолжительность.

В репозиторий вносятся МД, относящиеся к функционированию ИАС, в том числе: моменты обращения пользователей, длительность отклика на запросы, моменты начала и окончания загрузки данных в хранилище. По этим сведениям можно оценивать динамические характеристики ИАС.

Метаданные, относящиеся к пользователям и администраторам ИХ и ИАС

Функции, права доступа лиц, имеющих отношение к ИХ, фиксируются в соответствующих разделах базы МД. У названных лиц, независимо от названий их должностей в тех или иных организациях, имеются определенные права и обязанности, касающиеся работы в среде ИАС. Суть их работы определяется направлением деятельности: архитектор данных, специалист по информационным технологиям, руководитель проекта, администраторы баз данных первичных источников, бизнес-аналитик, менеджеры деловой сферы (лица, принимающие решения) и другие.

Все роли и лица их выполняющие должны быть зафиксированы в репозитории ИХ. Там же должна быть отражена организационная структура или ее часть, относящаяся к ИАС.

Защита данных в процессе создания ИАС должна осуществляться, но поэтапно, чтобы не слишком ограничивать действия исполнителей проекта. Полномасштабная корпоративная защита вводится по завершении проекта.

Метаданные о движущих силах создания ИАС

Под движущими силами авторы концепции размерностной модели метаданных ИХ понимают цели и задачи проекта ИАС, которые должны быть четко сформулированы и внесены в репозиторий. Необходимо дать описание выполнения задач бизнес-подразделений.

Целесообразно отобразить организационные и технические меры по обеспечению высокого качества данных. В состав МД вводят характеристики ИАС по возможностям смыслового содержания запросов, скорости ответа на них, которые определяют в ходе испытаний и опытной эксплуатации. Отражаются схемы и технологии взаимодействия с бизнес-пользователями.

Действия, которые выполняются над данными

В репозитории должны находиться МД о преобразованиях, которым должны подвергнуться перегружаемые из источников в хранилище данные. Должен быть разъяснен и унифицирован в хранилище их смысл. Необходимо отобразить те действия, которые совершаются над данными в хранилище заблаговременно с тем, чтобы не тратилось время на это при реализации запланированных запросов, а также расширялись возможности по совершению действий над данными при выполнении незапланированных запросов.

Дата добавления: 2014-02-26; просмотров: 1010; Нарушение авторских прав

Мы поможем в написании ваших работ!