Области применения и примеры использования сжатия данных

В настоящее время ряд областей науки и техники характеризуется исключительно большими объемами передаваемых и хранимых данных и в них целесообразно применение СД. Перечислим основные:

1. Космические исследования.

2. Физические эксперименты.

3. Вычислительная техника.

4. Средства связи.

5. Телеметрические системы.

6. Интернет.

7. Метеорология.

8. Библиотеки.

9. Архивы.

10. Системы видеонаблюдения.

11. Телевидение.

На рис. 1 представлена структура, характерная для большинства информационных систем.

Рис.1. Типовая структура информационной системы

Как правило, имеется несколько источников информации (И₁.....Иn). Это могут быть датчики, детекторы, данные ЭВМ и т.д. Вслед за источниками всегда находятся некоторые первичные преобразователи (П₁.....Пn), которые преобразуют сигналы с источников к некоторому единому представлению. Например, АЦП, если источники аналоговые, а обработка дискретная. Поскольку источников несколько - необходима коммутация, т.е. опрос источников в соответствии с заданным алгоритмом. Например, это может быть циклический опрос, опрос с приоритетами и т.д. Под предварительной обработкой, как правило, понимают совокупность преобразований данных перед поступлением их в канал передачи. Это может быть отбраковка данных, контроль, сжатие, преобразование к формату канала и др.

Обработка перед хранением, как правило, включает в себя контроль данных, отбраковку, представление в виде соответствующем средству хранения. Цифрами 1, 2, 3 помечены блоки, в которых может быть реализована функция СД.

В качестве примера рассмотрим большой адронный коллайдер (БАК). БАК представляет собой кольцевой ускоритель окружностью 27 км, расположенный под землей, в монолитной скале, недалеко от Женевы. Следует отметить, что НИЯУ МИФИ весьма плотно сотрудничает с ЦЕРН по тематикам

коллайдера (изготовление датчиков БАК, написание программного обеспечения, анализ данных и т.д.). Преподаватели, аспиранты и студенты МИФИ постоянно работают в ЦЕРН, а результаты сотрудничества используются в учебном процессе МИФИ.

Этот пример выбран, поскольку он показывает, с какими объемами данных приходится иметь дело современным ученым. Очевидно, что данный эксперимент имеет огромное значение, как для науки, так и для образования.

БАК позволяет оперировать с самыми малыми расстояниями (вплоть до нанонанометра, или 10 ^–18 м) и энергиями порядка тераэлектронвольт (1 ТэВ = 10¹² эВ).

При таких энергиях, теоретически возможна фиксация неуловимых частиц Хиггса, ответственных, как полагают, за

существование массы у других частиц, а также частиц, образующих темную материю, составляющую большую часть вещества во Вселенной.

Миллионы каналов данных от датчиков (блоки И₁....Иn на рис.1) после первичного преобразования (блоки П₁.....Пn на рис.1) создают общий объем данных порядка одного петабайта (миллиарда мегабайтов) каждые две секунды. Сырые данные поступают на систему обработки первого уровня. Этот уровень поддерживается сотнями специализированных компьютерных плат со схемной реализацией логики. На этой стадии отбираются (предварительная обработка, блок 2 на рис.1) 100 тыс. блоков данных в секунду (перспективные события) для более тщательного анализа на следующей стадии более высокого уровня. По сути, реализуется необратимое сжатие данных, поскольку общий объем информации, предоставляемый датчиками, несоизмеримо превосходит возможности обработки.

Система обработки данных должна уменьшать их поток до управляемой величины, и имеет несколько уровней. Система запуска более высокого уровня (блок 3 на рис.1) передает приблизительно 100 событий в секунду на концентратор вычислительных ресурсов глобальной сети БАК - распределенную вычислительную сеть GRID. Сеть объединяет мощности вычислительных центров и делает их доступными

пользователям, в том числе и образовательным учреждениям, предоставляя неоценимую «живую» физическую информацию. Сетевое программное обеспечение, при среднем времени между блоками данных, отобранных системой запуска первого уровня – 10 мкс, успевает «реконструировать» каждое событие. Программное обеспечение обеспечивает «привязку» следов частиц к общим исходным точкам. Далее оно «проектирует» события - формирует массивы энергий, импульсов, траекторий частиц. Затем происходит создание архивов на магнитных носителях. На каждом из этапов обработки производится дополнительное сжатие данных с возможностью последующего восстановления информации.

В области космических применений, потоки данных с космических аппаратов, независимо от их назначения, имеют

одну общую тенденцию - стремление к увеличению. Это связано с естественным желанием исследователей расширять номенклатуру, количество и длительность экспериментов.

Следует учитывать, что на бортовые системы сбора, обработки и передачи данных накладываются дополнительные условия, связанные с ограничениями на вес, габариты, потребляемую мощность систем летательных аппаратов, что является естественной преградой для удовлетворения возрастающих потребностей. В табл. 1 представлены аппараты, работающие в настоящее время.

Таблица 1. Действующие в настоящее время космические научные аппараты

Данные взяты с официального сайта Федерального Космического Агентства и составляют лишь небольшую часть запущенных или планируемых к запуску спутников.

Применение СД на международных космических станциях позволило сократить объем передаваемых данных в десятки раз, что в свою очередь позволило увеличить время работы приборов за счет экономии бортовой памяти, предавать больше информации при тех же пропускных способностях каналов.

В ряде систем основной целью применения СД является экономия носителей информации, помещений для хранения

носителей и т.д. В этом случае СД осуществляется на этапе обработки данных перед хранением.

Особенно остро эта проблема стоит в архивах долгосрочного хранения на основе больших ЭВМ.

В НИЯУ МИФИ подобные задачи возникают перед физиками, получающими огромные потоки информации с космических объектов, в работе которых принимает участие МИФИ (пункты 4,6 в Таблице 1), кроме того рациональное хранение данных осуществляется в учебных компьютерных классах МИФИ, корпоративной сети МИФИ.

Дата добавления: 2014-05-28; просмотров: 471; Нарушение авторских прав

Мы поможем в написании ваших работ!