Концепции организации хранения данных

1. Концепция информационного хранилища.

2. Концепция централизованного хранилища данных

3. Концепция распределенного хранилища данных.

4. Концепция автономных витрин данных.

5. Концепция единого интегрированного хранилища и многих витрин данных.

Подготовка принятия решений требует сосредоточения значительного, а подчас колоссального количества информации на месте его подготовки (выше приведены возможные ее объемы в зависимости от масштабов и сложности решений). Естественно стремление приблизить места хранения и использования информации. Проблемы подготовки принятия решений разрешаются с использованием инструментальных систем поддержания принятия решения Decision Support Sistem (DSS). В них большое место стали занимать OLAP-технологии, интеллектуальный анализ, подготовка плановых и стандартных документов, которые используют информационные ресурсы, предоставляемые системами сбора и хранения данных.

Проблема сбора и хранения информационных ресурсов выделилась как занимающая особое место во всей системе управления предприятием (корпорацией) и оформилась в концепцию информационных хранилищ (ИХ) — англоязычный термин Data Warehouse (DWН). Эта подсистема является центральной в интегрированной информационной системе - совокупности локальных информационных систем и информационных технологий, слитых воедино средствами ИАС.

Концепция информационного хранилища

Хранилища выполняют задачи накопления сведений о деятельности предприятия, партнеров, других информационных ресурсов из различных источников, в том числе баз данных, отображающих отдельные бизнес-процессы, автоматизированных рабочих мест, информационных систем и других источников информации, в том числе из глобальных информационных сетей, как например Internet.

Simon (Саймон) называет такие источники данных операционными базами данных.

Сбор перечисленных сведений сочетается, как правило, с доработкой исходных данных, которая заключается в проверке достоверности, устранении противоречивости, сортировке, систематизации в соответствии с заранее построенной на основе заданий пользователей единой структурой хранилища.

У. Инмон (Inmon) — автор концепции информационных хранилищ выделяет следующие характерные для них свойства:

– предметную ориентированность;

– интегрированность;

– неизменчивость;

– поддержка хронологии.

Перечисленные выше свойства целесообразно дополнить свойством «персонализация данных».

Свойство предметной ориентированности означает компоновку пулов информации по определенным предметным областям или целям, обеспечивающим подготовку и принятие соответствующих решений в соответствующей системе DSS или использование в каком-либо другом виде приложения, например, для разработки планов развития предприятия, инвестиционных проектов, реинжиниринга и в любых работах, для выполнения которых необходимы исходные данные, накопленные в информационном хранилище. Необходимо подчеркнуть, что сосредотачиваемые в хранилище данные поддерживают аналитическую деятельность, а не функциональные или технологические процессы, не непосредственную производственную деятельность, а анализ данных в историческом аспекте.

Интегрированность предусматривает сбор и доработку (предварительную обработку) информации по определенной предметной области из различных источников и превращение ее в организованный по заданным правилам, подчиненным определенной цели, массив в виде гиперкуба или системы поликубов информации.

Пользователь может легко осуществить совместное использование данных из различных секций хранилища, относящихся к разным направлениям деятельности или функциям предприятия.

Неизменчивость состоит в том, что в хранилище данные из различных источников накапливаются, практически не подвергаются каким-либо изменениям, только в случае крайней необходимости, в основном, при обнаружении искажений. Они наращиваются по заданному, четко определенному графику. Пользователь имеет только право чтения информации. Манипуляции с содержимым хранилища доверяются только администраторам.

Поддержка хронологии заключается в обязательности привязки данных ко времени. Информация, содержащаяся в хранилище, рассматривается в историческом аспекте. Используют следующие типы привязки ко времени:

– к моменту совершения события или факта;

– к моменту фиксации его информационными средствами;

– комбинированные методы, сочетающие оба подхода;

– к моментам прохождения сведений по элементам логических цепочек.

Персонализация данных означает необходимость включения в состав данных, загружаемых в информационное хранилище, сведений о лицах, непосредственно выполнивших те или иные операции, ответственных за выполнение работ, за наличие и сохранность средств и т.д.

Таким образом, идея хранилищ данных — это не просто единый подход к хранению необходимых данных, а создание единого многопрофильного в рамках одной концептуальной идеи информационного ресурса предприятия, направления исследований, корпоративной структуры и т.д.

Рис. 3.1. Структура информационного хранилища

Данные в хранилище из источников накапливаются в течение определенного периода времени в зоне накопления. В течение этого времени производится работа по обеспечению необходимого качества данных по описанным выше правилам. В процессе перекачки из источников данные трансформируются в единый формат, проверяются их смысловая согласованность, наличие ошибок, проводятся мероприятия по повышению качества данных. При достижении необходимого уровня качества и определенного графиком работы момента времени данные переносятся в зону хранения.

В зоне хранения они могут быть представлены в виде реляционной или многомерной модели (объектном виде). В случае использования реляционной модели необходимо иметь в хранилище зону объектного представления данных для достижения уровня характеристик системы, соответствующего требованиям, предъявляемым к OLAP-системам. Реализация концепции ИХ может быть осуществлена несколькими способами — имеются несколько вариантов концепций ИХ.

Концепция централизованного хранилища данных

Такой подход означает, что при нескольких источниках информации — операционных базах данных создается единое централизованное хранилище. В первичных источниках данные хранятся в «сыром» — недоработанном виде, то есть в структуре информационного пространства данного источника информации или операционной БД. Вся поступающая в ИХ информация должна быть преобразована в принятую в данном ИХ структуру. Передача данных из операционных БД в ИХ, которая сопровождается доработкой, может быть организована по заданному временному графику и правилам доработки с соблюдением принципов Инмона. Допускаются неожиданные запросы «на лету», что предъявляет более строгие требования к инструментальным средствам ИХ.

Рис. 3.2. Схема централизованного хранения данных

При реализации такой концепции возникает потребность в мощном компьютере. В зависимости от масштабов предметной области это будет или персональный компьютер с предельно высокими характеристиками, особенно в части требований к объемам памяти или мэйнфрейм и даже суперкомпьютер. Необходимо наличие развитых средств телекоммуникаций, обеспечивающих информационный обмен «операционные БД — ИХ — пользователи». Это требование относится к любому варианту концепции ИХ.

Концепция распределенного хранилища данных

Возможен и имеет место противоположный подход к хранению данных на основе распределения функций ИХ по местам их возникновения или группировки нескольких операционных БД вокруг локального или регионального информационного хранилища. Эти хранилища могут быть ориентированы на определенную предметную область или на регион в корпоративных структурах. Система локальных хранилищ действует в качестве распределенного хранилища. Не исключается и наличие центрального хранилища, но в такой структуре требования к его размерности значительно облегчаются.

Эта концепция предусматривает трансляцию каждого запроса к каждому источнику (базе данных), обработку, увязывание, согласование, компоновку извлеченных данных «на лету» и предоставление их пользователю.

Такой подход при экономии ресурсов на создание крупного централизованного хранилища имеет ряд недостатков, к которым можно отнести:

– в связи с нормализованностью данных в операционных базах и длительностью доступа из «центра» общее время отклика такой системы может выйти за рамки допустимого;

– должны быть обеспечены постоянство нахождения в сети и открытость всех источников информации, так как отсутствие какого либо из них может сорвать весь процесс анализа;

– возможна противоречивость и несогласованность ответов из различных источников из-за различных форматов представления, разницы в темпах обновления, правил привязки ко времени, изменения смысловой нагрузки данных и т. д.;

– трудность реализации комплексного исторического обзора содержащейся в разнородных источниках информации из-за различного порядка ее хранения — навязать единый порядок весьма затруднительно.

Рис. 3.3. Схема распределенного информационного хранилища

Концепция автономных витрин данных

Одним из вариантов организации централизованного хранения и представления информации является концепция витрин данных (Data Mart). Она предложена Forrester Research в 1991 году. При таком подходе информация, относящаяся к крупной предметной области — например информационному пространству крупной корпоративной системы, имеющей несколько достаточно самостоятельных направлений деятельности, группируется по этим направлениям в специально организованных базах данных, которые называют витринами данных. Этот подход является развитием концепции распределенного ИХ в части придания функций предметной ориентированности некоторым локальным ИХ.

Такой подход позволяет обойтись сравнительно менее ресурсоемкими аппаратными и программными средствами, обеспечивает повышение адаптируемости системы к изменяющимся условиям, расширяет доступность для внедрения.

Рис. 3.4. Схема автономных витрин данных

Пользователь предприятия или другого подразделения корпорации получает свое ИХ, обслуживающее местные потребности.

Концепция единого интегрированного хранилища и многих витрин данных

В 1994 году M. Demarset предложил объединить две концепции: единого интегрированного хранилища и связанных с ним и получающих из него информацию витрин данных. В таком варианте имеется крупное информационное хранилище агрегированной и обработанной информации, которое может удовлетворить потенциальные запросы по отдельным направлениям деятельности.

Здесь очевидны преимущества: данные заранее агрегируются, обеспечивается единая хронология, согласованы различные форматы, устраняются противоречивость и неоднозначность данных — информация приобретает необходимую кондицию для быстрого и достаточно полного удовлетворения необходимого множества запросов.

Недостатком является необходимость применения высокопроизводительных аппаратных средств и специализированных многомерных или гибридных программных инструментальных средств.

Рис. 3.5. Схема центрального информационного хранилища и многих витрин данных

В таком варианте ИАС приобретает иерархическую многоуровневую структуру, содержащую следующие уровни:

– общекорпоративное централизованное хранилище данных;

– витрины данных по направлениям деятельности;

– локальные или региональные базы и хранилища данных;

– операционные базы данных, автоматизированные рабочие места пользователей автономных программ и АЭИС.

Пунктам концентрации информации соответствуют иерархические уровни использования данных при подготовке, принятии и реализации решений, которые сопутствуют функционированию предприятия (корпорации). Различают:

– уровень лиц, принимающих решения, который может быть совмещен с уровнем витрин данных;

– уровень рабочих мест аналитиков и других заинтересованных пользователей.

Рассмотренные концепции охватывают лишь те стороны функционирования ИАС, которые относятся к организации хранения данных. Они не определяют требования и подходы к выполнению анализа, способы представления данных в ИХ — реляционный или многомерный.

Дата добавления: 2014-02-26; просмотров: 851; Нарушение авторских прав

Мы поможем в написании ваших работ!