Как распределять задачи по парку из ускорителей разных производителей
По каким признакам парк разбивается на группы, как задачи соотносятся с группами оборудования, что делает разделение возможным и что учитывается в эксплуатации.
Парк ускорителей редко остаётся однородным. Первые узлы закупались под одну задачу, следующие — под другую и в другой срок, часть карт пришла как замена недоступной позиции. В результате в одном дата-центре стоят ускорители разных производителей и разных поколений, и их нужно загрузить так, чтобы каждая задача попадала на подходящее оборудование, а не на первое свободное.
Ниже — по каким признакам разделяется парк, как задачи соотносятся с группами оборудования, что делает разделение возможным на уровне программной платформы и что учитывается в эксплуатации. Модельный ряд и условия внедрения приведены на странице GPU-ускорители MetaX.
По каким признакам разделяется парк
Парк разбивается на группы, внутри которых карты взаимозаменяемы для планировщика. Признаки группировки такие.
- Объём памяти на карту. Задача, которая не размещается в памяти, на эту группу не назначается вообще — это первый и самый жёсткий признак.
- Способ связи между картами. Карты, объединённые высокоскоростной шиной внутри узла, образуют одну группу; карты, связанные только через PCIe, — другую. Для задач с интенсивным обменом это определяет, будет ли масштабирование вообще давать выигрыш.
- Производитель и программная платформа. Разные платформы требуют разных образов окружения, и смешивать их в одной задаче нельзя.
- Поколение внутри одного производителя. Разные поколения различаются по поддерживаемым форматам вычислений, и часть задач на старшем поколении идёт существенно быстрее при том же числе карт.
- Охлаждение и потребление. Карты с жидкостным охлаждением и высоким потреблением стоят в отдельных стойках, и это ограничивает, сколько задач можно запустить одновременно.
Модельный ряд и что он даёт при разделении
| Модель | Исполнение и память | Масштабирование | Под какие задачи группа |
|---|---|---|---|
| MetaX C500 | PCIe, 64 ГБ с коррекцией ошибок | MetaXLink на две или четыре карты | Дообучение и инференс, расчётные задачи среднего объёма |
| MetaX C500X | 64 ГБ с коррекцией ошибок, потребление 350 Вт | Оптический MetaXLink, наращивание от 16 до 64 карт | Задачи с обменом между узлами, виртуализация под несколько команд |
| MetaX C588 | Связка на восемь карт, суммарно до 896 ГБ памяти | MetaXLink внутри узла | Обучение моделей, которым нужен большой объём памяти в одном узле |
| MetaX C600 | Исполнение OAM 2.0, 144 ГБ с коррекцией ошибок, 1000 Вт | MetaXLink и Ethernet, до 256 карт | Обучение больших моделей, крупные пулы под несколько проектов |
Исполнение C600 выпускается в вариантах с воздушным и с жидкостным охлаждением, и это учитывается при размещении: узлы с жидкостным контуром ставятся в подготовленные стойки и не смешиваются с воздушными в одном ряду без расчёта.
Как задачи соотносятся с группами
- Обучение и дообучение больших моделей отправляется на группу с максимальным объёмом памяти на карту и с высокоскоростной связью внутри узла.
- Инференс под нагрузкой разносится по группам с меньшим объёмом памяти: здесь важнее число одновременно обслуживаемых запросов, чем скорость одной карты.
- Компьютерное зрение и потоковая обработка видео работают на картах среднего класса и хорошо переносят виртуализацию — на одной карте размещается несколько потоков.
- Расчётные задачи и инженерное моделирование чувствительны к пропускной способности памяти и к поддерживаемым форматам вычислений, поэтому они закрепляются за конкретной группой, а не распределяются свободно.
- Пилотные и отладочные запуски намеренно отправляются на самую доступную группу: они короткие и не должны занимать оборудование, выделенное под основные расчёты.
Что делает разделение возможным
- Виртуализация и разделение ресурсов. Одна карта делится между параллельными задачами, и на одном сервере держится несколько независимых нагрузок. Это основной механизм, когда задач много, а каждая не занимает карту целиком.
- Метки оборудования в планировщике. Каждый узел получает признаки: производитель, модель, объём памяти, тип связи, охлаждение. Задача запрашивает признаки, а не конкретный узел.
- Отдельные образы окружения под каждую программную платформу. Для ускорителей MetaX окружение строится на платформе MXMACA, ориентированной на совместимость с привычными конвейерами и фреймворками, — перенос типовых задач ограничивается настройкой окружения.
- Квоты по командам. Без квот одна команда занимает весь пул, и задачи остальных ждут. Квота задаётся не в картах вообще, а в картах конкретной группы.
- Учёт наработки. По каждой карте ведётся наработка и история отказов, и группа, накопившая наработку, планово переводится на менее критичные задачи.
Что учитывается в эксплуатации
- Складской запас ведётся по каждой группе отдельно: карты разных производителей и поколений не заменяют друг друга.
- Обновление драйверов и библиотек выполняется по группам, а не по всему парку сразу, — иначе одно обновление останавливает все расчёты.
- Мониторинг снимается в единой системе, но пороги по температуре и потреблению задаются для каждой группы свои.
- Результаты замеров производительности фиксируются по группам. Без этого распределение задач строится на предположениях, а не на измерениях.
- При расширении парка новая закупка сопоставляется с существующими группами: либо она пополняет одну из них, либо создаёт новую, и второй вариант дороже в эксплуатации.
Частые вопросы
Можно ли запустить одну задачу на картах разных производителей? Нет. Внутри одной задачи карты должны относиться к одной программной платформе. Разные производители работают параллельно, но на разных задачах.
Что делать, если задача не размещается ни в одной группе? Разбивать модель между картами внутри узла с высокоскоростной связью или переходить на группу с большим объёмом памяти на карту. Разбивка через PCIe без такой связи даёт слабый результат.
Нужно ли выравнивать парк по одному производителю? Однородный парк проще в эксплуатации, но парк из нескольких групп снижает зависимость от доступности одной линейки. Практический компромисс — небольшое число крупных групп вместо множества мелких.
Как проверить, что распределение работает? По доле простоя каждой группы и по времени ожидания задач в очереди. Если одна группа простаивает, а очередь к другой растёт, признаки задач или квоты заданы неверно.
Что прислать для расчёта? Перечень узлов с моделями карт и объёмом памяти, схему связи внутри узлов и между ними, перечень задач с требованиями по памяти и режиму, число команд и требуемые квоты, ограничения по питанию и охлаждению стоек.
Что мы делаем
Разбиваем парк на группы по памяти, связи и программной платформе, соотносим задачи с группами, подбираем конфигурацию под расширение, планируем виртуализацию и квоты, ведём поставку и сопровождение внедрения. Направления — ускорители MetaX и ускорители NVIDIA, материалы по инфраструктуре — в подтеме инфраструктура кластера.
Пришлите состав парка и перечень задач на sale@tkasiatorg.ru — разберём распределение по группам, предложим схему квот и подберём оборудование под расширение.

