Высокопроизводительные вычисления в обработке данных дистанционного зондирования Земли. Классификация аэрокосмических изображений. Способы удаленного доступа к суперкомпьютеру. Сжатие без потерь и с потерями. Программное обеспечение системы сжатия.
Краткое сожержание материала:

Размещено на

УДАЛЕННАЯ ОБРАБОТКА ДАННЫХ НА СУПЕРКОМПЬЮТЕРЕ ПРИ РЕШЕНИИ ЗАДАЧИ АВТОМАТИЗИРОВАННОЙ ИНТЕРПРЕТАЦИИ АЭРОКОСМИЧЕСКИХ ИЗОБРАЖЕНИЙ

Выпускная квалификационная работа

на соискание квалификации инженер

Содержание

• Глава 1. Высокопроизводительные вычисления в обработке данных дистанционного зондирования земли
• 1.1 Типы аэрокосмических изображений
• 1.2 Высокопроизводительная обработка аэрокосмических изображений
• 1.3 Неконтролируемая классификация аэрокосмических изображений
• 1.4 Способы удаленного доступа к суперкомпьютеру
• 1.4.1 Сжатие без потерь
• 1.4.2 Сжатие с потерями
• 1.5 Классификация аэрокосмических изображений
• 1.6 Сжатие аэрокосмических изображений
• Вывод по главе
• Глава2. Принципы построения системы удаленной обработки данных
• 2.1 Подход к дифференцированному сжатию аэрокосмических изображений
• 2.1 Этапы дифференцированного сжатия
• 2.2 Подход к сжатию многозонального аэрокосмических изображений
• Вывод по главе
• Глава 3. Эксперименты
• 3.1 Постановка задачи исследования
• 3.2Результаты экспериментов
• 3.2.1Сжатие одноканальных аэрокосмических изображений
• 3.2.2Сжатие многозональных аэрокосмических изображений
• Вывод по главе
• Глава 4. Программное обеспечение системы сжатия
• 4.1 Выбор среды программирования
• 4.2 Структура программного обеспечения
• 4.3 Особенности программной реализации
• 4.4 Интерфейс программы
• 4.4.1 Модуль дифференциального сжатия
• 4.4.2 Модуль сжатия по заданному коэффициенту качества
• 4.4.3 Модуль сравнения двух изображений
• Вывод по главе
• Перечень использованных источников

Глава 1. Высокопроизводительные вычисления в обработке данных дистанционного зондирования земли

1.1 Типы аэрокосмических изображений

Дистанционное зондирование Земли (ДЗЗ) - наблюдение поверхности Земли авиационными и космическими средствами, оснащёнными различными видами съемочной аппаратуры. Аэрокосмическое изображение является примером таких данных ДЗЗ. Часть данных ДДЗ сразу поступает в цифровом виде, что позволяет непосредственно использовать для их обработки современные компьютерные технологии. Снимки могут быть преобразованы в цифровую растровую форму представления с помощью специальных сканирующих устройств (сканеров). Цифровое изображение в форме растра представляет матрицу чисел. Каждый элемент этой матрицы, называемый пикселем, отвечает за какие либо характеристики (отражательная способность, температура и т.д.) участка местности в определенной зоне электромагнитного спектра. Следует отметить, что размер этого участка зависит от разрешения снимка.

Аэрокосмические изображения разделяются на панхроматические и мультиспектральные изображения. Панхроматические изображения занимают практически весь видимый диапазон электромагнитного спектра (450-900 нм) и поэтому являются черно-белыми. Мультиспектральные (или спектрозональные) изображения представлены в виде отдельных спектральных каналов или виде синтеза отдельных каналов для получения цветного изображения. Поочередный синтез отдельных каналов позволяет решать многочисленные тематические задачи, а также помогает при дешифрировании снимков.

1.2 Высокопроизводительная обработка аэрокосмических изображений

Интенсивное развитие средств дистанционного зондирования Земли аэрокосмического базирования, увеличение объемов и информативности аэрокосмической информации приводит к непрерывному расширению круга задач, решаемых с использованием данных дистанционного зондирования. Дистанционное зондирование из космоса находит все более широкое применение при решении задач контроля загрязнений окружающей среды, в картографии, в исследованиях природных ресурсов, климатологии, океанографии, для мониторинга земной поверхности, для наблюдения за пожарами и др. Необходимость обработки больших объемов данных и требования к оперативности получения результатов обуславливают интенсивное внедрение компьютерных технологий обработки изображений. Несмотря на стремительный прогресс в развитии аппаратных компьютерных средств, возможностей даже самых быстродействующих компьютеров последовательной архитектуры не достаточно для оперативного решения ряда задач обработки изображений, полученных методами дистанционного зондирования. Для решения задач анализа, преобразования и обработки большого объема аэрокосмической информации с минимальными временными затратами требуется мобилизации всех возможностей доступных аппаратно-программных средств. На сегодняшний день средствами, позволяющими существенно время вычислений, в частности являются различные архитектуры параллельной обработки данных.

Можно выделить четыре основных типа архитектур систем параллельной обработки данных:

1) Конвейерная и векторная обработка.

Основу конвейерной обработки составляет раздельное выполнение некоторой операции в несколько этапов (за несколько ступеней) с передачей данных одного этапа следующему. Производительность при этом возрастает благодаря тому, что одновременно на различных ступенях конвейера выполняются несколько операций. Конвейеризация эффективна только тогда, когда загрузка конвейера близка к полной, а скорость подачи новых операндов соответствует максимальной производительности конвейера. Если происходит задержка, то параллельно будет выполняться меньше операций и суммарная производительность снизится. Векторные операции обеспечивают идеальную возможность полной загрузки вычислительного конвейера.

При выполнении векторной команды одна и та же операция применяется ко всем элементам вектора (или чаще всего к соответствующим элементам пары векторов). Для настройки конвейера на выполнение конкретной операции может потребоваться некоторое установочное время, однако затем операнды могут поступать в конвейер с максимальной скоростью, допускаемой возможностями памяти. При этом не возникает пауз ни в связи с выборкой новой команды, ни в связи с определением ветви вычислений при условном переходе. Таким образом, главный принцип вычислений на векторной машине состоит в выполнении некоторой элементарной операции или комбинации из нескольких элементарных операций, которые должны повторно применяться к некоторому блоку данных. Таким операциям в исходной программе соответствуют небольшие компактные циклы.

2) Машины типа SIMD. Машины типа SIMD состоят из большого числа идентичных процессорных элементов, имеющих собственную память. Все процессорные элементы в такой машине выполняют одну и ту же программу. Очевидно, что такая машина, составленная из большого числа процессоров, может обеспечить очень высокую производительность только на тех задачах, при решении которых все процессоры могут делать одну и ту же работу. Модель вычислений для машины SIMD очень похожа на модель вычислений для векторного процессора: одиночная операция выполняется над большим блоком данных.

сжатие аэрокосмическое изображение программное

В отличие от ограниченного конвейерного функционирования векторного процессора, матричный процессор (синоним для большинства SIMD-машин) может быть значительно более гибким. Обрабатывающие элементы таких процессоров - это универсальные программируемые ЭВМ, так что задача, решаемая параллельно, может быть достаточно сложной и содержать ветвления. Обычное проявление этой вычислительной модели в исходной программе примерно такое же, как и в случае векторных операций: циклы на элементах массива, в которых значения, вырабатываемые на одной итерации цикла, не используются на другой итерации цикла.

Модели вычислений на векторных и матричных ЭВМ настолько схожи, что эти ЭВМ часто обсуждаются как эквивалентные.

3) Машины типа MIMD. Термин "мультипроцессор" покрывает большинство машин типа MIMD и (подобно тому, как термин "матричный процессор" применяется к машинам типа SIMD) часто используется в качестве синонима для машин типа MIMD. В мультипроцессорной системе каждый процессорный элемент (ПЭ) выполняет свою программу достаточно независимо от других процессорных элементов. Процессорные элементы, конечно, должны как-то связываться друг с другом, что делает необходимым более подробную классификацию машин типа MIMD. В мультипроцессорах с общей памятью (сильносвязанных мультипроцессорах) имеется память данных и команд, доступная всем ПЭ. С общей памятью ПЭ связываются с помощью общей шины или сети обмена. В противоположность этому варианту в слабосвязанных многопроцессорных системах (машинах с локальной памятью) вся память делится между процессорными элементами и каждый блок памяти доступен только связанному с ним процессору. Сеть обмена связывает процессорные элементы друг с другом.

Базовой моделью вычислений на MIMD-мультипроцессоре является совокупность независимых процессов, эпизодически обращающихся к разделяемым данным. Существует большое количество вариантов этой модели. На одном конце...