|
работающие под управлением библиотек параллельных вычислений MPI или PVM, которые получили наибольшее распространение, благодаря своей доступности, низкой стоимости, и простоте создания и эксплуатации. Для проведения эффективных расчетов или обработки информации на таких системах требуются специально разработанные программы, учитывающие архитектуру конкретного кластера и объем выделенных ресурсов (как временных, так и аппаратных). Условно для информационно-образовательных кластеров можно выделить четыре уровня: 1. аппаратный уровень (вычислительные узлы и коммуникации между ними); 2. уровень программного обеспечения, обеспечивающего параллелизм вычислений (операционная система, библиотеки, обеспечивающие параллельные вычисления); 3. уровень программного обеспечения управления заданиями (составление и оптимизация расписания, оценка загруженности и эффективности загрузки кластера, балансировка нагрузки, предоставления средств удаленного управления и мониторинга задания и т.п.); 4. уровень обеспечения параллелизма задания (алгоритмы и библиотеки автоматического распараллеливания заданий, системы отладки и т.д.). Иногда второй уровень разбивают на два: уровень операционной системы и уровень библиотеки, обеспечивающей поддержку распределенных вычислений. Большинство задач, решаемых в этой сфере, направлены на создание системы поддержки параллельных или распределенных образовательных потоков, стремящихся приблизить практическую продолжительность работы (производительность, коэффициент ускорения) к теоретически возможной для данного кластера. 26 |
1. Различные подходы к анализу временных характеристик функционирования узлов гетерогенных систем обработки информации На сегодняшний день системы обработки информации все чаще используются для решения управленческих, исследовательских и производственных задач. Одним из видов таких систем являются гетерогенные вычислительные системы высокой надежности для высокопроизводительных вычислений (системы обработки высокой пропускной способности, high throughput computing). Наиболее известные технологии: Globus (http://www.globus.org), Legion (http://www.cs.virginia.edu/~legion), Condor (http://www.cs.wisc.edu/condor), OpenMPI (http://www.open-mpi.org), MPI, PVM и другие. Такие системы объединяют в единую вычислительную среду гетерогенные вычислительные ресурсы (суперкомпьютеры, серверы, рабочие станции, локальные и глобальные сети с различной пропускной способностью, хранилища данных и пр.), предоставляя единую среду обработки информации и распределенных вычислений. В большинстве случаев при употреблении термина «системы высокопроизводительных вычислений» подразумеваются либо суперкомпьютеры, либо специализированные, как правило, однородные вычислительные кластеры, работающие под управлением библиотек параллельных вычислений MPI или PVM. Благодаря своей доступности, низкой стоимости, и простоте создания и эксплуатации, наибольшее распространение получили именно вычислительные кластеры. Для проведения эффективных расчетов или обработки информации на таких системах требуются специально разработанные программы, учитывающие архитектуру конкретного кластера и объем выделенных ресурсов (как временных, так и аппаратных). Считается, что такие системы надежны, поэтому для них не разработаны (или разработки находятся в начальной стадии [52; 71]) технологии, обеспечивающие устойчивость к сбоям. В 8 большинстве случаев, в результате сбоя в одном из узлов системы работа над запущенной задачей прекращается и возобновляется заново после устранения сбоя или замены узла. Условно для вычислительных систем и систем обработки информации можно выделить четыре уровня: 1. аппаратный уровень (вычислительные узлы и коммуникации между ними); 2. уровень программного обеспечения, обеспечивающего параллелизм вычислений (операционная система, библиотеки, обеспечивающие параллельные вычисления); 3. уровень программного обеспечения управления заданиями (составление и оптимизация расписания, оценка загруженности и эффективности загрузки кластера, балансировка нагрузки, предоставления средств удаленного управления и мониторинга задания и т.п.); 4. уровень обеспечения параллелизма задания (алгоритмы и библиотеки автоматического распараллеливания заданий, системы отладки и т.д.). Иногда второй уровень разбивают на два: уровень операционной системы и уровень библиотеки, обеспечивающей поддержку распределенных вычислений. Большинство исследовательских задач, решаемых в этой сфере, направлены на создание системы поддержки параллельных или распределенных вычислений, стремящихся приблизить практическую продолжительность работы (производительность, коэффициент ускорения) к теоретически возможной для данного кластера. Очевидно, что для этого должны быть созданы системы сбора и обработки информации о работе вычислительной системы [5; 11; 29]. Наиболее полная классификация систем сбора информации о функционировании системы обработки информации приведена в работе [48].Системы сбора и обработки информации, как правило, работают на первом, втором и реже на третьем 9 |