Режим MIG — когда разделение ускорителя между задачами даёт выигрыш

Режим MIG делит один ускоритель на несколько независимых экземпляров: каждый получает выделенную долю вычислительных блоков, собственный объём памяти, свои срезы кэша и каналы памяти. Для операционной системы и для задачи такой экземпляр выглядит отдельным устройством. Это не разделение по времени, а аппаратное разграничение ресурсов, и именно поэтому режим даёт предсказуемую производительность каждой задаче. Линейки, где он доступен, собраны на странице направления GPU-ускорители NVIDIA.

Ниже разобрано, на каких ускорителях режим есть, как устроены профили разбиения, в каких сценариях он экономит карты, где не работает совсем и чем его заменяют на картах без поддержки.

На каких ускорителях режим доступен

• Ускорители для дата-центров на архитектурах Ampere и Hopper — A100, A30, H100 и H200. Карта делится на несколько экземпляров: до семи на A100, H100 и H200, до четырёх на A30.
• Ускорители серий L40S и L4 режима MIG не имеют. Разделение между задачами на них делается средствами виртуализации с разделением по времени, и жёсткой изоляции памяти и полосы там нет. Назначение этих карт другое: инференс, графика и видеоаналитика, в том числе в плотных стойках.
• Карты для рабочих станций в разбиении не участвуют — у них другое исполнение и другая схема питания и охлаждения.

Проверять поддержку нужно до закупки: если задача предполагает раздачу долей ускорителя нескольким отделам, выбор карты сужается до линеек, где режим заявлен. Разница в исполнении карт разобрана в материалах подтемы ускорители NVIDIA.

Как устроены профили разбиения

Разбиение задаётся профилями: профиль определяет долю вычислительных блоков и объём памяти экземпляра. Для карты на 80 ГБ набор выглядит так: семь экземпляров по 10 ГБ, либо три по 20 ГБ, либо два по 40 ГБ, либо один на всю карту. Для карты на 141 ГБ минимальный экземпляр получает около 18 ГБ. Профили комбинируются — на одной карте можно держать один крупный экземпляр и несколько мелких, но набор допустимых сочетаний ограничен и задаётся документацией на конкретную модель.

Три свойства разбиения, которые определяют его применимость:

• Объём памяти экземпляра — жёсткий потолок. Задача, которой нужно 24 ГБ, не запустится на экземпляре в 20 ГБ, даже если остальная карта простаивает.
• Экземпляры не объединяются. Одна задача не может использовать два экземпляра как одно устройство. Для крупной задачи карта переводится в режим без разбиения.
• Смена разбиения требует остановки. Переконфигурирование выполняется, когда на карте нет работающих задач. В круглосуточном контуре это означает окно обслуживания.

Где разделение даёт выигрыш

• Много мелких задач инференса. Модели, которым хватает 10–20 ГБ, занимают отдельные экземпляры и не влияют друг на друга по задержке. Одна карта закрывает то, подо что иначе берут несколько младших карт.
• Разработка и тестирование. Разработчикам нужны гарантированные доли, а не вся карта; разбиение даёт каждому предсказуемый объём памяти и исключает ситуацию, когда один процесс занимает всю память.
• Несколько подразделений на одном сервере. Доли закрепляются за отделами, и загрузка одного не влияет на расчёты другого. Схема разделения ресурсов между командами разбирается на этапе проектирования — услуга проектирование и внедрение.
• Обучение сотрудников и учебные задачи. Для курсов и лабораторных работ нужен доступ многим, а не производительность каждому.
• Сервисные и вспомогательные нагрузки. Предобработка данных, кодирование, небольшие модели, работающие постоянно, выводятся на отдельные экземпляры и не конкурируют с основной задачей.

Где режим не работает

• Обучение больших моделей. Такой задаче нужна карта целиком и обмен между картами; на разбитой карте межкарточный обмен не используется, и многокарточная конфигурация собирается на картах с выключенным разбиением.
• Задачи с памятью больше профиля. Модель, не помещающаяся в экземпляр, требует либо профиля крупнее, либо всей карты.
• Нагрузка с резкими пиками. Экземпляр не может занять свободные ресурсы соседнего: в пике задача упирается в свою долю, тогда как при разделении по времени она бы получила больше.
• Графика и часть видеозадач. Набор блоков кодирования и декодирования распределяется между экземплярами не поровну, и профили различаются по доступным функциям — проверяется по документации на модель.
• Карты без поддержки режима. На L40S и L4 задача решается виртуализацией с разделением по времени или запуском нескольких процессов на карте.

Чем разделение отличается от альтернатив

Что проверить до закупки

• Поддержку режима у выбранной модели ускорителя и допустимые профили разбиения.
• Требования по памяти у каждой задачи, которую планируется вынести на отдельный экземпляр, — с запасом на рост размера модели.
• Совместимость с платформой: число карт в узле, линии ввода-вывода на карту, блоки питания и схема охлаждения. Это отдельная проверка до поставки — подбор и поставка оборудования.
• Порядок обслуживания: окна для переконфигурирования, регламент обновления прошивок и драйверов, реакция на отказ — сервис и поддержка.
• Сценарий замещения, если нужной модели нет в поставке. Для парка рассматриваются ускорители MetaX с собственной схемой виртуализации и разделения ресурсов между задачами.

Частые вопросы

Сколько экземпляров имеет смысл делать на одной карте? Столько, сколько задач с известным объёмом памяти нужно изолировать. Разбиение «про запас» на максимальное число долей оставляет каждой задаче минимум памяти и ограничивает рост моделей.

Можно ли менять разбиение под сменную нагрузку? Да, но не на ходу: карта переконфигурируется при отсутствии работающих задач. Если нагрузка меняется в течение дня непредсказуемо, разделение по времени подходит лучше.

Экземпляры одинаковы по производительности? В пределах одного профиля — да. Профили разного размера различаются и по вычислительным блокам, и по полосе памяти, поэтому сравнивать нужно не число экземпляров, а конкретный профиль.

Что происходит при отказе одной задачи? Отказ ограничивается своим экземпляром — это основное отличие от разделения по времени, где сбой процесса может затронуть карту целиком. Аппаратный отказ самой карты, разумеется, касается всех экземпляров.

Что прислать для расчёта конфигурации? Перечень задач с требуемым объёмом памяти и режимом — обучение, дообучение или инференс, число одновременных задач и подразделений, требования по изоляции, обозначение платформы, если узел уже есть, свободную мощность и тип охлаждения стойки, планируемый рост нагрузки по числу задач.

Что мы делаем

Разбираем задачи по требуемой памяти и режиму, подбираем карты с поддержкой нужного разбиения, проверяем совместимость с платформой и питанием, собираем узел и передаём его с документами и зафиксированными версиями прошивок. Направления — ускорители NVIDIA и ускорители MetaX, услуги — подбор и поставка оборудования, подбор и поставка комплектующих, проектирование и внедрение, сервис и поддержка и логистика и таможенное оформление, условия оплаты — финансовые программы. Материалы по инфраструктуре — в подтеме инфраструктура кластера, остальные статьи — в блоге о GPU и AI.

Пришлите перечень задач и требования по памяти на sale@tkasiatorg.ru — подберём карты и схему разбиения под ваш набор задач и посчитаем конфигурацию узла.