Как разделить парк ускорителей между обучением и инференсом
Чем требования обучения отличаются от требований эксплуатации модели, как распределяется парк, что меняется в инфраструктуре под каждую часть и в каком порядке ведётся расчёт.
Обучение моделей и их эксплуатация предъявляют к ускорителям разные требования. Обучение чувствительно к объёму видеопамяти, пропускной способности межкарточной шины и связности узлов между собой. Эксплуатация модели чувствительна к плотности карт на единицу стоечного пространства, задержке отклика на запрос и стоимости обслуживания одного запроса. Поэтому парк из одинаковых ускорителей под обе задачи оказывается либо избыточным для одной из них, либо недостаточным для другой.
Ниже — по каким признакам задачи разделяются, как распределяется парк, что меняется в инфраструктуре для каждой части и какие данные нужны для расчёта. Линейка описана на странице GPU-ускорители NVIDIA.
Чем требования обучения отличаются от требований эксплуатации
- Объём видеопамяти. При обучении в память помещаются параметры модели, состояния оптимизатора и промежуточные значения, поэтому требуемый объём кратно превышает размер самой модели. При эксплуатации достаточно модели и данных текущих запросов.
- Межкарточная шина. Обучение распределяется между картами, и обмен между ними идёт постоянно. При эксплуатации модель чаще размещается на одной карте, и обмен между картами не требуется.
- Связность узлов. Распределённое обучение зависит от сети между серверами не меньше, чем от самих ускорителей. Эксплуатация модели такой зависимости не имеет.
- Характер нагрузки во времени. Обучение — длительный непрерывный расчёт с полной загрузкой. Эксплуатация — поток запросов с неравномерной интенсивностью и требованием к времени отклика.
- Хранилище. Обучению нужна высокая скорость чтения набора данных, эксплуатации — быстрая загрузка модели при запуске и небольшой поток в работе.
- Отказоустойчивость. Остановка обучения означает потерю расчёта с момента последней контрольной точки. Отказ карты в эксплуатации снимает часть пропускной способности, но обслуживание запросов продолжается на остальных.
Как разделяется парк
- Выделенные группы под каждую задачу. Часть узлов собирается под обучение — старшие карты с большим объёмом памяти, межкарточная шина, связность узлов. Часть узлов собирается под эксплуатацию — плотная установка карт меньшего класса.
- Разделение по времени на одном парке. Обучение ставится на периоды низкой нагрузки запросов, эксплуатация занимает карты в рабочие часы. Подходит, когда обучение проводится редко и расписанием управляет одна служба.
- Разделение ресурсов внутри карты. Одна карта делится между несколькими задачами эксплуатации с выделенной долей памяти и вычислительных ресурсов. Для обучения такое деление непригодно.
- Смешанный парк. Старшие карты закрывают обучение и тяжёлые модели, младшие — массовые запросы. Распределение задач выполняется планировщиком по требуемому объёму памяти.
- Резерв на отказ. Для группы обучения он нужен в виде свободного узла, для группы эксплуатации — в виде запаса пропускной способности в работающих узлах.
Сравнение требований по задачам
| Признак | Обучение модели | Эксплуатация модели |
|---|---|---|
| Объём видеопамяти на карту | Определяющий параметр | По размеру модели и числу запросов |
| Межкарточная шина | Нужна | Чаще не требуется |
| Сеть между узлами | Определяет масштабирование | Обычная сеть доступа |
| Плотность карт в стойке | Ограничена питанием и охлаждением | Основной показатель экономики |
| Скорость хранилища | Высокая на чтение набора данных | Умеренная |
| Характер загрузки | Непрерывная, предсказуемая | Переменная по времени суток |
| Последствия отказа карты | Откат к контрольной точке | Снижение пропускной способности |
| Требование к времени отклика | Отсутствует | Задано для каждого запроса |
Что меняется в инфраструктуре под каждую часть
- Подведённая мощность на стойку. Узлы обучения с полной загрузкой потребляют больше и требуют расчёта по максимуму, а не по средней нагрузке.
- Охлаждение. Непрерывная полная загрузка держит тепловыделение на пределе постоянно, и схема отвода тепла рассчитывается под этот режим.
- Сетевая часть. Для обучения закладываются адаптеры и коммутация под обмен между узлами, для эксплуатации достаточно сети доступа к сервису.
- Хранилище. Под обучение собирается контур с высокой скоростью чтения, под эксплуатацию — хранение моделей с их быстрой загрузкой при запуске.
- Мониторинг. Для обучения отслеживаются загрузка карт, обмен между ними и прогресс расчёта, для эксплуатации — время отклика, число запросов и очередь.
- Регламент обслуживания. Узлы эксплуатации выводятся в обслуживание по одному без остановки сервиса, узел обучения выводится между расчётами.
Порядок расчёта распределения
- Перечислить модели и для каждой указать размер, требуемый объём памяти при обучении и при эксплуатации.
- Определить частоту обучения: постоянная работа, периодическое дообучение или редкие циклы. От этого зависит, нужна ли выделенная группа.
- Оценить поток запросов — среднее и пиковое число за единицу времени, требуемое время отклика.
- Посчитать число карт под эксплуатацию по пиковому потоку с запасом на отказ одного узла.
- Посчитать число карт под обучение по требуемому объёму памяти и допустимой длительности расчёта.
- Сравнить вариант с двумя выделенными группами и вариант с разделением по времени на общем парке по суммарной стоимости и по рискам.
- Проверить, что инфраструктура площадки выдерживает выбранный вариант по мощности и охлаждению.
Частые вопросы
Можно ли обучать модель на картах, собранных под эксплуатацию? Технически возможно, если модель помещается в память одной карты. Для распределённого обучения такой парк не подходит: отсутствие межкарточной шины и связности узлов превращает обмен данными в узкое место, и расчёт растягивается.
Выгодно ли использовать карты обучения для обслуживания запросов в простой? Выгодно по загрузке оборудования, но дорого по стоимости обслуживания запроса: старшая карта обрабатывает запрос не кратно быстрее младшей, а стоит заметно дороже. Такая схема применяется как временная мера, а не как расчётная.
Нужна ли одинаковая конфигурация во всех узлах? Внутри группы — да, иначе планировщик упирается в самый слабый узел при распределённом расчёте. Между группами конфигурации различаются, и это нормальная схема.
Как учесть рост числа запросов? Группа эксплуатации рассчитывается с запасом на планируемый прирост и расширяется добавлением узлов. Это проще, чем расширение группы обучения, где добавление узла меняет схему связности.
Что прислать для расчёта? Перечень моделей с их размерами, частоту и длительность обучения, средний и пиковый поток запросов с требуемым временем отклика, подведённую мощность на стойку и тип охлаждения, имеющийся парк оборудования.
Что мы делаем
Разбираем профиль нагрузки по моделям и задачам, считаем число карт под обучение и под эксплуатацию отдельно, подбираем конфигурации узлов под каждую группу, проверяем совместимость карт с серверными платформами и сводим расчёт с возможностями площадки по питанию и охлаждению. Направление описано на странице GPU-ускорители NVIDIA, вариант с аналогами — на странице ускорители MetaX.
Пришлите перечень моделей, частоту обучения и поток запросов на sale@tkasiatorg.ru — посчитаем распределение парка по задачам, подберём конфигурации узлов и назовём сроки поставки.

