Технологии извлечения, преобразования и загрузки данных

Тема 2 Технологии сбора и хранения данных – концепция информационных хранилищ

При сборе и обработке данных из различных источников и помещении в информационное хранилище необходимо использовать гибкую архитектуру данных, обеспечить должный уровень качества закладываемых в ИХ данных; в процессе преобразования исходных форматов в единый формат ИХ согласовать семантику данных первичных источников со смыслом атрибутов базы метаданных.

Понятие о гибкой архитектуре данных

Объектом анализа являются данные, сконцентрированные в хранилище, а при необходимости и извлекаемые непосредственно из первичных источников, которые должны быть структурированы в виде системы показателей исследуемой предметной области.

Данные из внутренних и внешних источников проходят путь в информационное хранилище через программы очистки и преобразования к единому формату. В особых случаях они могут поступать напрямую к заинтересованным лицам или в программы-приложения. Затем данные из ИХ в случае OLAP — анализа или Reporting-a используются для принятия оперативных решений, подготовки материалов или документов. При работе в режиме интеллектуального анализа извлекаются из информационного хранилища знания и применяются, они, в основном, для стратегических решений.

Процессы продвижения и использования данных проходят несколько этапов:

– Этап извлечения, преобразования и загрузки данных. На основе принятой системы показателей, характеризующих деятельность предприятия, подлежащих анализу и использованию в процессе принятия решений, и необходимых при разработке каких-либо документов, организуется сбор необходимых данных в хранилище и прорабатываются пути непосредственного извлечения в экстренных случаях необходимых детальных данных из первичных источников; этому этапу предшествует работа по созданию необходимой структуры перекачиваемых данных;

– Этап накопления, обеспечения готовности данных к использованию.

По мере накопления в соответствующих зонах памяти выполняется периодическая загрузка данных из функциональных (транзакционных) подсистем интегрированной информационной системы (ИС) или автономных ИС, поддерживается необходимый уровень качества данных; в отдельных случаях допускается внеплановая загрузка по ситуации.

– Этап применения данных, содержащихся в хранилище, и извлекаемых напрямую из первичных источников.

Для обеспечения процесса управления предприятием или другим объектом данные используются в трех основных режимах — создания плановых отчетных и других документов (Reporting), оперативного анализа в незапланированных ситуациях (OLAP-анализ), интеллектуального или углубленного анализа (Data mining). Накопленные в хранилище данные могут быть использованы в специальных программах, обеспечивающих развитие бизнеса.

В основе концепции информационных хранилищ заложена идея гибкой архитектуры данных. Это означает, что любому пользователю из числа доверенных лиц должна быть обеспечена возможность доступа к любому разрешенному для использования участку данных, которыми располагает предприятие (организация). Такой доступ осуществляется путем закладки в организационно-методологические основы построения системы сбора и хранения данных соответствующих возможностей, а также согласования принципов построения и четкого взаимодействия аппаратного, программного комплексов и структуры накапливаемых и хранимых сведений.

Эта идея реализуется в основном в рамках свойств «открытых систем», определение которых POSIX 1003.0 принято Комитетом IEEE (Institute of Electrical and Electronics Engineers). В соответствии с этим определением открытая система есть «система, которая реализует открытые спецификации на интерфейсы, сервисы (услуги среды) и поддерживаемые форматы данных, достаточные для того, чтобы дать возможность должным образом разработанному прикладному программному обеспечению быть переносимым в широком диапазоне систем с минимальными изменениями, взаимодействовать с другими приложениями на локальных и удаленных системах, и взаимодействовать с пользователями в стиле, который облегчает переход пользователей от системы к системе».

Основные свойства открытых систем, очерченные этим определением, следующие:

– Расширяемость (extensibility) предполагает возможность включения новых или изменения некоторых прикладных функций ИС из числа уже реализованных, не изменяя при этом остальные функциональные подсистемы ИС.

– Масштабируемость (scalability) предусматривает применительно к прикладным программам и базам данных, реализуемым на разных прикладных платформах, возможность изменения их количественных характеристик (размерности решаемых задач, числа обслуживаемых пользователей и т.д.) путем настройки параметров, а не путем перепроектирования и программирования заново.

– Переносимость (portability) — это возможность перемещения ИС на другие аппаратно-программные платформы в случае их модернизации или замены с наименьшими затратами, сохраняя инвестиции, вложенные в разработку приложений, формирование массивов данных и обучение пользователей. Рассматривается переносимость приложений (application portability) и данных (data portability). Такая возможность обеспечивается соблюдением принятых стандартов обмена данными между приложениями и функциональной средой открытых систем. Определена «переносимость» пользователей (user portability), которая предусматривает возможность обеспечения стабильным дружественным пользовательским интерфейсом.

– Интероперабельность (interoperability) — свойство, обеспечивающее взаимодействие ИС с другими системами при обращении к информационным ресурсам (базам данных, базам знаний) этих систем или при решении определенных задач с использованием их вычислительных ресурсов, если собственные ресурсы недостаточны. Интероперабельность систем реализуется, прежде всего, форматами данных, принятыми в качестве стандартов электронного обмена данными (electronic data interchange - EDI) для разных прикладных областей. Интероперабельность систем при обращении, (запуске на исполнение) к программам и данным, располагающимся в других системах, обеспечивается стандартами удаленного вызова процедур (remote procedure call — RPC).

– Способность к интеграции. При интеграции систем в целом (system integration) это свойство обеспечивает объединение нескольких ИС различного назначения в интегрированную многофункциональную ИС. В случае интеграции баз данных (database integration) для прикладной программы или пользователя несколько баз данных представляются как одна логически единая база данных.

При этом обеспечивается обращение пользователей к любой из этих баз независимо от ее места расположения в режиме коллективного доступа к данным, одновременная работа нескольких баз данных с каждой из прикладных программ ИС или пользователем.

При интеграции данных (data integration) обеспечивается возможность совместного использования запросом пользователя или программой одновременно нескольких файлов данных как единого целого. Рассматривается логическая интеграция, которая осуществляет объединение данных на логическом уровне, не затрагивая их физической организации, а также физическая, предполагающая слияние данных в единый информационный массив.

Высокая готовность (high availability) — свойство, означающее высокую отказоустойчивость (практически полную) системы (fault tolerance). В случае отказа какого-либо компонента обеспечивается гарантия автоматического восстановления работоспособности и сохранение целостности баз данных. Свойство готовности рассматривается и как мера способности системы принимать и успешно выполнять запросы и задания за доступный интервал времени.

На основе обзора свойств открытых систем можно сделать вывод об их определяющем значении при создании и эксплуатации информационно-аналитических систем. В соответствии с принципами открытых систем организуются и реализуются манипуляции с данными на всех рассмотренных выше этапах пути прохождения данных из источников к потребителям, а также на этапе подготовки информации для тех или иных целей на основе использования накапливаемых данных.

При организации работ по созданию, внедрению и применению ИАС важное значение имеет учет стандартов. Применение их облегчает организацию сбора, представление их в виде системы стандартных показателей в функциональных подсистемах ИАС, позволяет легко вписывать данные из первичных источников в структуру хранилища данных Положения функциональной стандартизации в области информационных технологий определены стандартом ГОСТ Р ИСО/МЭК ТО 10000-99 «Информационная технология. Основы и таксономия международных функциональных стандартов».

Ориентация на стандарты при создании и ведении ИАС имеет два аспекта:

– использование их при создании архитектуры аппаратной и программной платформ ИАС (смотри приведенный выше стандарт);

– применение международных и российских стандартов в процессе классификации и кодирования систем показателей, что становится особенно актуальным при организации международного компьютерного обмена данными в процессе экономической или другой деятельности.

В настоящее время широко распространены системы электронного обмена данными (ЭОД), в англоязычной терминологии Electronic Data Interchange (EDI). Для создания системы компьютерного обмена данными, особенно в корпоративных распределенных структурах, тем более транснационального масштаба, в мировой практике широко применяются стандарты EDIFACT, которые были утверждены Международной организацией по стандартизации (International Organization for Standardization ISO) в 1988 году:

– ISO 7372-86 «Trade data interchange. Trade data elements directory. First edition. 1986-07-01» (Справочник элементов данных).

– ISO 9735-88 «EDI for administration, commerce and transport (EDIFACT). Syntax rules.1988-07-15» (Синтаксические правила ЭДИФАКТ ООН).

В России появились два аналога приведенных выше стандартов:

– ГОСТ 6.20.2-91 «Элементы внешнеторговых данных (ISO 7372-86)

– ГОСТ 6.20.1.90 «Электронный обмен данными в управлении (ISO 9735-88), торговле и на транспорте (ЭДИФАКТ). Синтаксические правила.»

Введены эти стандарты 01.01.1992 года.

Стандарты ISO нашли дальнейшее развитие по отраслям деятельности, по технологиям обмена, в направлении применения Web —технологий.

Сбор, повышение качества данных и приведение их в единую структуру

Эти процессы, соответствующие этапу извлечения, преобразования и загрузки данных, в англоязычной терминологии называются Extraction, Transformation, Loading — ETL-процессы.

В процессе создания ИАС и ее центральной подсистемы — информационного хранилища как важная проблема выделяется обеспечение необходимого качества данных, в том числе достоверности, согласованности, соответствия установленным ограничениям и бизнес-правилам и т.д.

Качество загружаемых и содержащихся в хранилище данных достигается системой организационных и программно-технических мероприятий. К ним относятся: "ручная" проверка разного рода ошибок, несоответствий, например неодинаковых названий полей с одним смыслом, и автоматическая с применением программных средств.

При сборе данных в информационное хранилище необходимо учитывать два основных аспекта: структурный и смысловой. Структурный аспект заключается в представлении данных из источников в тех или иных форматах программных сред, в которых были сформированы. Они должны приводиться к одному или группе форматов в системе сбора и хранения данных. Смысловой аспект состоит в содержательном наполнении знаковых структур данных. Даже при согласованных форматах данных могут быть разные толкования одинаково или близко по виду записанных данных и другие виды разночтений. Такие ситуации необходимо исключить еще на этапе формирования структуры ИХ.

ETL-процессы, которые реализуют требования по обеспечению качества, созданию необходимой структуры и поддержанию смысловых характеристик данных делятся на следующие стадии:

– Извлечение. На этой стадии производится перегрузка данных из источника, как правило, в промежуточную область хранилища. Под каждый источник в этой области создается своя таблица. Данные в источниках могут иметь различные форматы, в том числе текстовые неструктурированные, табличных процессоров, разного типа СУБД. Данные одного типа и структуры в первичных источниках сводят в одну таблицу, присваивая ей дополнительные поля.

– Структуризация. Ей подвергаются только неструктурированные данные. Они приводятся к пригодному для ввода в реляционные таблицы виду.

– Обработка. Изначально структурированные и подвергшиеся структуризации данные подвергаются обработке, которая заключается в очистке, фильтрации, согласовании данных.

– Пересылка и импорт данных. Современные СУБД обеспечивают возможности транспортировки данных как внутри одного сервера, так и в распределенном режиме между серверами. Этот процесс требует тщательного квалифицированного администрирования.

Необходимо обеспечивать защиту передачи данных по каналам связи. Может оказаться, что некоторые данные не могут быть вставлены в предназначенные им таблицы из-за ограничений или несогласованности типов данных. В таких случаях для них необходимо отводить отдельный участок памяти, где они сохраняются для дальнейшей оценки.

Отдельно и более подробно рассмотрим процессы повышения качества данных. Искажение данных может появляться на любом этапе, стадии, шаге ETL-процессов. Упредить их возникновение полностью — задача практически невыполнимая, но необходимо принимать меры по снижению их количества и обнаружению. Рассматривают фатальные искажения, ошибки, к которым относятся: отсутствие данных в источнике, ошибка в подключении к источнику, проявляющаяся в отсутствии доступа к необходимым данным, проявление системного сбоя операционной системы.

Очистка данных состоит в исключении из общего потока тех данных, которые не отвечают заданным ограничениям на загрузку или бизнес-правилам. В этом случае данные из исходной таблицы разделяются на две части: отвечающие критериям качества, несоответствующие таковым и не попадающие на загрузку в хранилище.

Оценка качества данных производится:

– по критичности ошибок в данных (могут или не могут быть загружены) — ошибки в именах полей, типах данных;

– по правильности форматов и представлений данных;

– на соответствие данных ограничениям целостности;

– на уникальности внутренних и внешних ключей;

– по полноте данных и связей;

Приведенный перечень видов искажений, несоответствий в данных касается в основном структурного представления данных, технологических причин.

Смысловое содержание данных — знаковых структур очень важно при создании структуры хранилища и его поддержании, которое состоит в первоначальной загрузке и дальнейшем его заполнении и актуализации в процессе эксплуатации. В ходе ETL-процессов велика вероятность искажений, сбоев в работе по причине несогласованности в семантике. Такие ситуации называют «семантические разрывы» (Косов Д.В.). Данный автор выделяет четыре их вида:

– «Вавилонский» — это ситуация, когда одно и то же понятие или показатель обозначают разными именами.

– Кросспотоковый разрыв. В этом случае наименования разных по смысловому содержанию понятий одинаковые в знаковом представлении. Такое происходит при наличии в одной системе разных по смыслу данных, предоставляемых из разных источников. Например, в одном источнике «Партия комплектов 50 штук» понимают комплекты узлов для компьютеров, но этот комментарий опущен, в другом источнике это комплекты узлов для музыкальных центров. В связи со сложившейся привычкой комментарии также отсутствуют.

– Кроссязыковый разрыв происходит в тех случаях, когда передающее и принимающее звено не согласовали характеризующие признаки понятий — показателей. Например, при оценке объемов поставок нефти передающий оценивает их в тоннах, а принимающий — в баррелях.

– Асинхронный разрыв связан с потерей или задержкой в передаче целой посылки в массиве или ее части, что нарушает целостность массива, его смысловое содержание или не дает возможности правильно понять и определить данные.

В информационных хранилищах семантические разрывы в данных возможны на любом из переходов от этапа к этапу при прохождении данных от источников к конечным пользователям информацией и знаниями.

Дата добавления: 2014-02-26; просмотров: 743; Нарушение авторских прав

Мы поможем в написании ваших работ!