Суперкомпьютер "МВС-6000IМ"

Назначение

Общая структура MBC-6000IM

Вычислительный модуль

Сетевые решения

Программное обеспечение

Суперкомпьютер (СК) "MBC-6000IM" предназначен для решения сложных научно-технических задач.

Пиковая производительность СК "MBC-6000IM" составляет 1,64 TFLOPS. Общий объем оперативной памяти решающего поля - 256 Гбайт. Потребляемая мощность составляет 50 кВА.

Программные и аппаратные средства СК "MBC-6000IM" позволяют решать одну задачу с использованием всего вычислительного ресурса, а также разделять решающее поле на части требуемого размера и предоставлять их нескольким пользователям.

В состав технических средств СК "MBC-6000IM" входят:

• решающее поле из 256 процессоров Intel® Itanium® 2. Двухпроцессорные вычислительные модули (ВМ) размещены в 7 стойках. Первые два ВМ являются front-end серверами и предназначены для подготовки программ к исполнению на СК. Восемь ВМ из первой стойки могут быть использованы в процессе разработки и отладки приложений;
• параллельная файловая подсистема, состоящая из 8 двухпроцессорных улов ввода-вывода и 4 дисковых полок общей емкостью 8 ТБайт, и 10-ти портового коммутатора Gigabit Ethernet. Оборудование файловой системы размещено в одной стойке;
• файл-сервер NetApp F840, общая емкость 4 ТБайта;
• управляющая станция HP RX-200;
• транспортная сеть Myrinet 2000, построенная на 128-ми портовом коммутаторе Myricom M3-128;
• транспортная сеть Gigabit Ethernet, ядром которой является высокопроизводительный коммутатор CISCO 6509. Для связи с сетью МСЦ коммутатор использует 10 Гбитные каналы связи;
• управляющая сеть Fast/Gigabit Ethernet. Центральным коммутатором является CISCO 6509, являющийся ядром транспортной сети. Второй уровень организован на 3-х коммутаторах HP Procurve Switch 2650;
• системная консоль;
• система бесперебойного электропитания.
  

Основные характеристики вычислительных модулей HP RX-2620:

• Тип корпуса: монтируемый в стойку высотою 2 вершка
• Процессоры: 64-разрядный процессор Intel® Itanium-2® 1.6 ГГц.
  Кэш-память на кристалле процессора:
• первого уровня — 32КБ
• второго уровня — 256КБ
• третьего уровня —3 МБ
• Оперативная память:
• объем: 2 ГБ (4 модуля по 512 Мбайт)
• пропускная способность шины— 8,5 ГБ/сек
• стандарт используемой памяти: PC2100 ECC DDR266A SDRAM
• Внутренние информационные накопители:
• жесткие диски: 1 НЖМД объемом 36 ГБ (15000 об./мин.)
• Набор микросхем для системной платы: Hewlett-Packard ZX-1
• Разъемы расширения для подключения дополнительных устройств:
• разъемы PCI-X: 4 полноразмерных, 64-разрядных 133 МГц слота PCI-X,
• пропускная способность: 
• 1,0 ГБ/сек для разъема номер 1
• 0,5 ГБ/сек для разъемов номер 2,3,4
• блок питания с автоматической настройкой по напряжению и частоте тока:
  • максимальная мощность 600 Вт
  • входные параметры питания — 100—127 В ~8,0 А/200-240 В ~3,9 A
  • частота тока — 50—60 Гц
• условия эксплуатации и хранения
• Рабочая температура от +5 до +35 °С
• рабочая влажность от 15 до 80%

Платформа ВМ Сервер HP RX-2600 поддерживает два процессора Intel® Itanium® 2, соединенных с контроллером памяти и ввода/вывода набора микросхем HP ZX1 посредством системной двунаправленной 128-битной шины. Общая пропускная способность системной шины 6.4 Гбайт/с.

Контроллер памяти и ввода/вывода набора микросхем HP ZX1 Chipset:

• соединяет процессоры с шиной
• содержит котроллер памяти
• содержит контроллер кэша ввода/вывода

Адаптер ввода/вывода набора микросхем HP zx1 Chipset I/O — один адаптер ввода/вывода поддерживает:

• PCI
• PCI-X
• AGP

Пиковая производительность одного ВМ составляет 6,4 млрд. операций с плавающей точкой с двойной точностью в секунду.

Вычислительные модули связаны между собой высокоскоростной коммуникационной сетью Myrinet (пропускная способность 2 Гбита/сек), транспортной сетью Gigabit Ethernet и управляющей сетью Fast Ethernet.

Коммуникационная сеть Myrinet предназначена для высокоскоростного обмена между ВМ в ходе вычислений. Сеть реализована на базе 128 портового полносвязного коммутатора. При двунаправленном обмене данными между двумя ВМ с использованием протоколов MPI достигается пропускная способность на уровне 450 - 500 Мбайт/сек.

Транспортная сеть Gigabit Ethernet предназначена для соединения решающего поля с управляющей станцией, параллельной файловой подсистемой и файл-сервером NetApp F840.

Сеть Fast Ethernet предназначена для начальной загрузки программ и данных в ВМ, а также для передачи служебной информации о ходе вычислительного процесса и состоянии подсистем.

Комплект программного обеспечения СК "MBC-6000IM" включает:

• общее программное обеспечение;
• подсистему удаленного управления и непрерывного мониторинга СК "MBC-6000IM";
• подсистему коллективного доступа к ресурсам СК "MBC-6000IM";
• подсистему параллельного доступа к файлам.

Общее программное обеспечение.

Компоненты общего программного обеспечения (ОПО) СК "MBC-6000IM" поддерживают все этапы разработки параллельных программ пользователей, а также обеспечивают непосредственно выполнение процессов содержательной обработки на решающем поле. Они функционируют на ВМ и управляющей ЭВМ.

В состав ОПО СК "MBC-6000IM" входят:

1. операционная система вычислительных модулей - ОС Linux RedHat Advanced Server for IA64 с поддержкой SMP (версия ядра не ниже 2.4.21-20);
2. операционная среда параллельного программирования - пакет MPICH for GM (версия не ниже 1.2.6..14b);
3. программные средства коммуникационных сетей Myrinet (версия GM не ниже 2.0.21), Ethernet;
4. инструментальные программные средства разработки системного и прикладного программного обеспечения, включающие оптимизирующие  компиляторы с языков Си, Си++, Фортран-77, Фортран-90 фирмы Intel (icc – Intel C++ Compiler 9.0, ifc – Intel Fortran Compiler 9.0), а также средства профилирования параллельных программ;
5. средства параллельного программирования DVM, MPC, BERT-77;
6. математические библиотеки MKL – Intel Math Kernel Libraries 7.2;
7. Средства профилирования и отладки параллельных программ – Intel VTune Performance Analyzer for Linux;
8. средства интеграции ресурсов разных вычислительных комплексов (Globus Toolkit);
9. система управления прохождением параллельных задач (СУППЗ), предназначенная для удобного и эффективного использования вычислительных ресурсов кластера при большом количестве пользователей. СУППЗ разработана в ИПМ РАН;
10. программные средства удаленного доступа;
11. средства параллельного администрирования, управления и тестирования кластера,  позволяющие осуществлять: проверку состояния и диагностику узлов кластера, создание и модификацию пользовательских бюджетов на узлах кластера, параллельные операции над файлами и выполнение операций на всех узлах кластера.

При выборе компонентов программного обеспечения используется принцип преемственности с системами МВС-1000М и МВС-15000BM.

Подсистема удаленного управления и непрерывного мониторинга.

Подсистема удаленного управления и непрерывного мониторинга работы СК "MBC-6000IM" обеспечивает:

1. мониторинг состояния процессоров ВМ;
2. мониторинг доступности ВМ по сети Ethernet;
3. мониторинг загруженности ВМ;
4. обработку сигналов от датчиков, имеющихся в ВМ (температуры процессоров, состояния вентиляторов и т.п.);
5. инициацию отключения питания ВМ при возникновении аварийных ситуаций;
6. мониторинг доступности сетевых файловых систем;
7. оповещение администратора системы о выявленных неисправностях по электронной почте;
8. сбор статистики и графическую визуализацию активности в сетях Ethernet.

Подсистема коллективного доступа.

Подсистема коллективного доступа к ресурсам суперкомпьютера СУППЗ обеспечивает:

1. прием заданий пользователей и постановку этих заданий в очередь;
2. динамическое распределение ресурсов суперкомпьютера по запросам пользователей, при этом единицей ресурсов является один процессор СК "MBC-6000IM";
3. выполнение заданий пользователей в пакетном режиме;
4. выполнение на СК "MBC-6000IM" задач пользователей как содержащих, так и не содержащих функции MPI;
5. сбор статистики о выполнении заданий пользователей и формирование соответствующих отчётов для анализа характеристик пользовательских задач;
6. графический интерфейс мониторинга производительности СК "MBC-6000IM" и управления заданиями.

Взаимодействие удаленных пользователей с СК осуществляется по протоколу ssh к ВМ mvs6k.jscc.ru . Авторизация пользователей осуществляется с помощью базы LDAP, расположенной на управляющей станции. База LDAP синхронизируется с основной базой пользователей МСЦ РАН.

Коммуникационная среда Myrinet поддерживается в современных реализациях интерфейса параллельного программирования MPI. В качестве программных средств коммуникационной среды Myrinet используется коммуникационная система GM. В ее состав входят:

• драйвер;
• служебные программы;
• тестовые программы;
• библиотека функций и заголовочный файл GM API;
• демонстрационные программы.

Подсистема параллельного доступа к файлам.

Программное обеспечение параллельной файловой подсистемы обеспечивает:

1. параллельный доступ из ВМ к общему файловому пространству;
2. надежное хранение и резервирование пользовательских данных;
3. удобное управление и мониторинг файловой системы и пользовательскими квотами на дисковое пространство;

В состав программного обеспечения узлов ввода-вывода (ПОУВВ) входят:

• операционная система Linux RedHat;
• параллельная файловая система;
• программные средства обеспечения удаленного доступа к файлам (NFS, SMB).