Инженер HPC-систем
От физического устройства кластера до мониторинга и организации параллельных вычислений
- Объём
- 96 часов
- Длительность
- 12 недель · 6–8 ч в неделю
- Формат
- Смешанный: лекции онлайн + практика на учебном кластере
- Стоимость
- Для участников партнёрства — по грантовой квоте
- Ближайший старт
- 6 ноября 2026
Три модуля и выпускной проект: разворачиваем учебный кластер, настраиваем мониторинг и алертинг, запускаем и оптимизируем параллельную задачу.
HPC-система — это одновременно физика (сеть, охлаждение, узлы), эксплуатация (мониторинг, инциденты) и вычислительная логика (планировщик, MPI, GPU). Программа последовательно закрывает каждый слой стека — и каждый модуль опирается на предыдущий.
Выпускной проект
Последние две недели слушатели собирают и защищают сквозной кейс: разворачивают учебный кластер, настраивают для него мониторинг и алертинг, запускают и оптимизируют параллельную вычислительную задачу. Защита — демонстрация работающего стенда и разбор его метрик перед куратором.
Итоговые задания на кластере
- Диагностика кластера — узлы не только отвечают, но и выполняют задания.
- Monte-Carlo π — embarrassingly parallel без MPI.
- MPI Hello World — ранги на разных узлах.
- Распределённое обучение MLP — data-parallel с MPI_Allreduce.
Чему научитесь
- Проектировать архитектуру кластера: узлы логина, вычислительные и сервисные
- Разворачивать узлы по сети (PXE, Warewulf, xCAT), управлять конфигурацией через Ansible и Terraform
- Выбирать и настраивать параллельные ФС: Lustre, BeeGFS
- Строить мониторинг узлов, GPU, сети и очередей: Prometheus, DCGM exporter, Grafana, Graylog
- Проектировать алерты без шума: пороги, дедупликация, эскалация
- Настраивать Slurm: партиции, приоритеты, fair-share, backfill
- Запускать MPI/OpenMP и multi-GPU задачи, настраивать чекпоинтинг
Технологии
Модули
01 Модуль 01. Вычислительная инфраструктура HPC 12 20 ч
4 недели · 7 занятий. Понять, из чего физически и логически состоит кластер, и научиться разворачивать его узлы самостоятельно.
- Архитектура кластера: узлы логина, вычислительные и сервисные узлы
- Сетевая топология: Ethernet vs InfiniBand, fat-tree и dragonfly, латентность и bandwidth
- Параллельные файловые системы: Lustre, BeeGFS, GPFS
- Настройка узлов: PXE, образы через Warewulf и xCAT
- Контейнеризация вычислений: Apptainer/Singularity вместо Docker
- Инженерные системы ЦОД: охлаждение, бесперебойное питание, пожаротушение
Лабораторная: развернуть вычислительный узел по сети через Terraform + Ansible и подключить его к сетевой ФС.
02 Модуль 02. Мониторинг и алертинг HPC 10 18 ч
4 недели · 5 занятий. Увидеть кластер насквозь — от температуры узла до статуса очереди — и узнавать о проблеме раньше пользователей.
- Метрики узлов: загрузка CPU/GPU, температура, память, троттлинг
- Метрики сети и СХД: счётчики InfiniBand, задержки, заполнение Lustre/BeeGFS
- Мониторинг задач: статус очереди Slurm, зависшие и упавшие джобы
- Централизованный сбор логов с сотен узлов
- Проектирование алертов: пороги, дедупликация, эскалация, «тихие часы»
- SLA и инциденты
Лабораторная: собрать дашборд здоровья кластера и настроить первый алерт.
03 Модуль 03. Организация HPC-вычислений 10 18 ч
4 недели · 5 занятий. Ставить задачи в очередь так, чтобы кластер использовался эффективно, а не простаивал.
- Slurm: очереди, партиции, приоритеты заданий
- Политики распределения ресурсов: fair-share, backfill, резервирование
- Основы MPI и OpenMP, гибридные задачи
- Задачи на GPU: NCCL, распределённое обучение, multi-GPU
- Отказоустойчивость: чекпоинтинг, перезапуск после сбоя узла
- Эффективность: утилизация, борьба с простоем и фрагментацией
Лабораторная: написать sbatch-скрипт для MPI-задачи на 4 узлах и оптимизировать её.
04 Выпускной проект 8 ч
Сквозной кейс: инфраструктура → мониторинг → вычисления → защита проекта перед куратором.
Для кого
- Системные администраторы Linux, переходящие в HPC и дата-центры
- DevOps-, MLOps- и SecOps-инженеры, обслуживающие вычислительные кластеры
- Инженеры и исследователи (ML, CFD, биоинформатика), которым нужно понимать инфраструктуру под своими задачами
- Студенты технических специальностей с базовым Linux
Нужно на старте
- Уверенная работа в командной строке Linux
- Базовое понимание сетей: TCP/IP, маршрутизация
- Скрипты на Bash или Python — плюс
Потоки
Заявка на обучение
Расскажите немного о себе — куратор свяжется в течение двух рабочих дней, проведёт короткое собеседование и поможет выбрать поток.
- Заявка
- Собеседование
- Доступ к кластеру и чату потока