Система динамічного планування в розподілених обчислювальних мережах

Принципи побудови розподілених обчислювальних мереж, зокрема GRID-систем. Існуючи способи планування задач в них. Детальний аналіз Moab Workload Manager, недоліки алгоритму. Розроблення програмного забезпечення щодо більш ефективної його роботи.
Краткое сожержание материала:

Размещено на

Дипломний проект

Система динамічного планування в розподілених обчислювальних мережах

Список термінів, скорочень та позначень

КМ - комп'ютерна мережа

КС комп'ютерна система

МК мікроконтролер

ОС операційна система

ПЗ програмне забезпечення

ШІМ - широтно-імпульсний модулятор

КМОН - комплементарний метал-оксидний-напівпровідник

ПЗУ - постійний запам'ятовувач

ЕСППЗУ - електронно програмовуваний постійний запам'ятовувач

ЕОМ - електронна обчислювальна машина

ВДТ - відео-дисплейний термінал

Вступ

В наш час важко уявити собі здобуття наукових результатів без використання обчислювальної техніки. В одних випадках для цього достатньо звичайних комп'ютерів, в інших же - необхідно провести велику кількість складних розрахунків, що вимагає великої кількості обчислювальних ресурсів. Для цих цілей створюються обчислювальні комплекси, які можуть бути географічно розподілені, або функціонувати в рамках однієї організації.

У зв'язку з цим набула популярності концепція розподіленої обчислювальної інфраструктури під назвою GRID.

Останні роботи в області GRID дозволяють програмам використовувати обчислювальні ресурси, що належать різним організаціям, розподіленим по різних країнах і континентах. Одним з видів ресурсів GRID є однорідні багатопроцесорні системи (кластери), які можуть складатися з сотень або навіть тисяч процесорів.

Однак, незважаючи на те, що вже зараз пропонуються засоби створення GRID-інфраструктур, які стали "де-факто" стандартними, існує ряд важливих наукових завдань, у тому числі і теоретичних, без вирішення яких повномасштабне використання можливостей GRID технологій в промисловості неможливе. Однією з актуальних завдань в даний час є ефективне управління обчислювальними ресурсами в розподіленому середовищі.

З ростом числа ресурсних центрів, що входять в розподілену інфраструктуру, відсутність якісного планувальника, що забезпечує управління потоком завдань, не тільки значно знижує ефективність використання всієї GRID-інфраструктури, але може зробити безглуздим її створення. При цьому слід зазначити, що для таких розподілених систем характерним є динамічний розвиток, що робить неможливим вирішення задачі ефективного планування один раз і назавжди.

В нинішній час існує безліч планувальників, що виконують планування централізовано або розподілено, заснованих на різних алгоритмах, що мають безліч класифікацій. В алгоритмах використовуються прості і складні схеми розподілу, що приймають рішення, за допомогою вхідних функцій вартості, які завдання повинні бути виконані на яких ресурсах, і в який час.

Даний дипломний проект присвячений модифікації одного з алгоритмів планування, що допоможе підвищити загальну ефективність використання ресурсів розподіленої системи, та розробці системи моделювання GRID, за допомогою якої можна вивчати особливості алгоритмів планування та порівнювати їх.

1. Огляд існуючих рішень та обгрунтування теми дипломного проекту

1.1 Розподілені обчислювальні мережі

Розподілена обчислювальна мережа - група розміщених на великій відстані один від одного комп'ютерів, в тому числі як окремих, так і їх локальних мереж, з'єднаних лініями дротового та / або радіозв'язку.

Частковим випадком розподіленої обчислювальної мережі є GRID-система.

Під GRID-системою будемо розуміти [1] апаратно-програмну інфраструктуру, яка забезпечує надійний, стійкий, повсюдний і недорогий доступ до високопродуктивних комп'ютерних ресурсів.

В роботі [2] наведені критерії, на підставі яких розподілена система є GRID-системою. GRID-система - це така система, яка:

- Координує використання ресурсів за відсутності централізованого управління цими ресурсами;

- Використовує стандартні, відкриті, універсальні протоколи та інтерфейси;

- Забезпечує високоякісне обслуговування, з точки зору таких, зокрема, характеристик як час відгуку, пропускна здатність, доступність і надійність.

Важливою властивістю GRID-систем є те, що користувачеві не потрібно знати про фізичне розташування ресурсів, відведених для вирішення його задачі. Вся робота з управління, перерозподілу та оптимізації використання ресурсів лягає на планувальник, який керує ресурсами, і не регулюється користувачем. При цьому для користувача створюється ілюзія роботи в єдиному інформаційно-обчислювальному просторі, володіє величезними обчислювальними потужностями і обсягом пам'яті. Для ефективної реалізації такої можливості потрібно попередньо визначити принципи побудови GRID-систем, в яких розподіл завдань здійснюється в гетерогенному обчислювальному середовищі, і вирішити такі завдання: визначити функціональне призначення кожного із компонентів архітектури GRID; визначити загальні принципи взаємодії компонентів GRID; створити математичне та програмне забезпечення, яке гарантує ефективне і надійне функціонування GRID-систем.

Найбільш характерними властивостями такої апаратно-програмної інфраструктури є [3-6]:

- Масштаби обчислювальних ресурсів (обсяг пам'яті, кількість процесорів) багаторазово перевищують ресурси окремого комп'ютера або одного обчислювального комплексу;

- Гетерогенність середовища; до її складу можуть входити комп'ютери різної потужності, що працюють під управлінням різних операційних систем і зібрані на різній елементній базі;

- Просторовий розподіл інформаційно-обчислювального ресурсу;

- Об'єднання ресурсів, які не можуть керуватися централізовано (у випадку, якщо вони не належать одній організації);

- Використання стандартних, відкритих, загальнодоступних протоколів та інтерфейсів.

- Забезпечення інформаційної безпеки.

Набір функцій, які потрібні [7] в цих умовах від програмного забезпечення: засоби забезпечення безпеки, надійності, моніторингу завдань та пристроїв, обліку та протоколювання завдань. Ключове місце в цьому ряду займає функція диспетчеризації завдань: вона забезпечує розподіл ресурсів із загального ресурсного пулу GRID між завданнями, доставку програм і даних, реалізуючи одну з найважливіших концепцій GRID - віртуалізацію ресурсів.

Вже зараз існують програмні розробки, в яких досягнуто практично прийнятний рівень реалізації перерахованих функцій. З найбільшою повнотою коло питань, пов'язаних з підтримкою функціонування GRID, вирішено в програмних платформах LCG і glite, в яких інтегровані й взаємопов'язані компоненти програмного забезпечення GRID, розроблені різними дослідницькими колективами. Тим не менш, навряд чи можна стверджувати, що отримані остаточні рішення.

У зв'язку з тим, що GRID-системи повинні організовувати доступ користувачів до обчислювальних ресурсів і скривати той факт, що реальні обчислювальні ресурси можуть перебувати географічно в різних місцях, виникає ряд завдань, основними серед яких є:

- Організація доступу користувачів до ресурсів;

- Забезпечення прозорості;

- Відкритість;

- Масштабованість.

Метою завдання організації доступу користувачів до ресурсів GRID-системи є полегшення взаємодії користувача із системою та обмін інформацією між ними.

Під прозорістю розуміють властивість GRID-системи представлятися користувачам і програмному забезпеченню у вигляді єдиної комп'ютерної системи [11]. Також прозорість передбачає можливість доступу до ресурсів чи послуг не знаючи їх реального місцезнаходження. Слід зазначити, що найважливіше завдання GRID-систем полягає в тому, щоб приховати той факт, що процеси та ресурси фізично розподілені по безлічі комп'ютерів. Розрізняють декілька різновидів прозорості [12]:

- Прозорість доступу: до локальних або віддаленим об'єктів можна звертатися за допомогою однакових операцій;

- Прозорість місцезнаходження: об'єкти повинні бути доступні без необхідності знати їх фізичне місце розташування;

- Прозорість одночасності доступу: кілька користувачів повинні мати можливість одночасного доступу до даних, без небажаних наслідків;

- Прозорість копіювання: повинна існувати можливість копіювати дані з файлів або з інших об'єктів з метою підвищення ефективності або забезпечення доступності непомітно для користувачів;

- Прозорість при несправності: користувачі або прикладні програми повинні мати можливість завершити свої завдання, навіть у випадку несправностей апаратної або програмної частини;

- Прозорість при динамічних змінах конфігурації: система може динамічно змінювати свою конфігурацію, з метою підвищення ефективності і залежно від навантаження.

Під відкритістю будемо розуміти властивість GRID-систем реалізовувати взаємодію за допомогою стандартних, загальноприйнятих механізмів, включаючи синтаксис і семантику викликів.

Масштабованість GRID-систем може вимірюватися за трьома різними показниками [13]:

- Система може бути масштабованою по відношенню до її розмірів, що означає легкість підключення до неї додаткових користувачів і ресурсів;

- Система може масштабуватися географічно, т...