Пилот на одном сервере MetaX — как оценить нагрузку перед закупкой

Закупка ускорителей под обучение или инференс моделей — это вложение в оборудование, которое нельзя перенастроить под другую задачу так же легко, как обычный сервер. Поэтому разумный порядок такой: сначала один сервер с ускорителями в пилотном режиме, замеры на своих данных и своих моделях, и только потом расчёт основной конфигурации. Пилот отвечает на три вопроса — укладывается ли модель в память карты, какова фактическая производительность на вашей задаче и что придётся изменить в программном окружении.

Ниже — из чего состоит пилот, какие показатели измеряются, как результаты одного сервера переносятся на кластер и какие данные нужны для подбора конфигурации.

Что проверяется на пилоте

• Размещение модели в памяти. Проверяется, входит ли модель с рабочим размером пакета данных в память одной карты, требуется ли разделение между картами и сколько памяти остаётся под кэш и промежуточные данные.
• Совместимость программного окружения. Запуск используемых библиотек и фреймворков в экосистеме MXMACA, проверка сборок и сценариев обучения. Задача пилота — найти места, требующие правки, до масштабной закупки.
• Фактическая производительность. Время эпохи при обучении, число запросов в секунду и задержка при инференсе — на своих данных, а не на синтетическом тесте.
• Поведение под длительной нагрузкой. Стабильность температуры и частот при непрерывной работе, отсутствие снижения производительности через часы после старта.
• Разделение ресурсов. Если карта должна обслуживать несколько задач или несколько команд, проверяется виртуализация и распределение памяти между процессами.
• Работа с сетью и хранилищем. Выясняется, не становится ли узким местом чтение данных: часто ускоритель простаивает не из-за вычислений, а из-за подачи данных.

Что измеряется и как это использовать

Модельный ряд и что берут на пилот

• MetaX C500. Исполнение с интерфейсом PCIe и 64 ГБ памяти с коррекцией ошибок, связь между картами в конфигурациях на две и четыре карты. Базовый вариант для пилота: позволяет замерить и обучение небольших моделей, и инференс.
• MetaX C500X. То же количество памяти при оптической связи между картами и масштабировании в пределах 16–64 карт, поддержка виртуализации, потребление до 350 Вт. Берётся, когда уже на пилоте нужно проверить разделение ресурсов между задачами.
• MetaX C588. Конфигурация со связью на восемь карт и суммарным объёмом памяти до 896 ГБ. Пилот на таком сервере оправдан, когда модель заведомо не размещается на одной карте.
• MetaX C600. Исполнение формата OAM с 144 ГБ памяти с коррекцией ошибок, масштабированием до 256 карт, воздушным и жидкостным охлаждением, потреблением до 1000 Вт. Это целевое исполнение для крупных проектов, и на пилоте проверяется в первую очередь инфраструктура — питание и охлаждение.

Полное описание линейки и схем масштабирования — на странице направления ускорителей MetaX. Если в проекте рассматриваются оба варианта, параллельно считается конфигурация на ускорителях NVIDIA, и решение принимается по совокупности срока поставки, стоимости владения и результатов пилота.

Как готовится пилот

1. Фиксация задачи. Модель или перечень моделей, режим — обучение, дообучение или инференс, требования к времени ответа и к сроку обучения.
2. Подготовка данных. Представительный набор: не полный объём, но такой, на котором время шага измеряется достоверно.
3. Подготовка окружения. Перечень библиотек и версий, используемых сегодня, и сценарии запуска. Расхождения в версиях выявляются на этом этапе, а не во время замеров.
4. Согласование конфигурации сервера. Процессоры, оперативная память, накопители под набор данных, число слотов и мощность блоков питания, режим охлаждения.
5. Замеры по программе. Прогоны с фиксацией показателей из таблицы выше, каждый — с записью параметров запуска.
6. Разбор результатов. Определение узких мест и пересчёт целевой конфигурации с запасом на рост нагрузки.

Ошибки, из-за которых пилот даёт неверный результат

• Замеры выполнены на синтетическом тесте вместо своей модели и своих данных — итоговые числа не переносятся на рабочую нагрузку.
• Набор данных лежит на медленном накопителе, ускоритель простаивает, и производительность карты оценивается заниженно.
• Прогон короткий: снижение частот при нагреве не проявляется за несколько минут работы.
• Размер пакета данных подобран под память карты, а не под задачу, — и результат нельзя сравнивать с целевым режимом.
• Не зафиксированы версии библиотек, и повторить замеры после изменения окружения не получается.
• Пилот проведён без проверки питания и охлаждения, а в целевой стойке мощности на полную конфигурацию не хватает.
• Результаты одной карты линейно умножены на число карт без учёта потерь на обмен между ними.

Что прислать для подбора конфигурации пилота

• Модели и их размер, режим работы — обучение, дообучение или инференс.
• Объём набора данных и требуемую скорость его чтения.
• Целевые показатели: срок обучения либо число запросов в секунду и допустимая задержка.
• Перечень библиотек, фреймворков и версий, которые используются сегодня.
• Число команд и задач, которые должны работать одновременно.
• Параметры площадки: доступная мощность на стойку, режим охлаждения, свободные юниты.
• Планируемый рост нагрузки на год — он определяет запас в целевой конфигурации.

Частые вопросы

Сколько длится пилот? Обычно от двух до четырёх недель: подготовка окружения, прогоны по программе и разбор результатов. Срок увеличивается, если требуется правка сценариев обучения под другое окружение.

Можно ли обойтись без пилота и сразу закупить кластер? Можно, если задача типовая, модель известна и требования к памяти посчитаны. Но в этом случае риск переносится на закупку: несоответствие по памяти или неожиданное узкое место в подаче данных обнаружится после оплаты.

Как результаты одного сервера переносятся на кластер? Через замер масштабирования: производительность на одной, двух и четырёх картах показывает потери на обмен. Дальше расчёт ведётся с этим коэффициентом, а не линейным умножением.

Что делать, если часть библиотек не запускается? Составляется перечень расхождений и оценивается объём правок. Для распространённых фреймворков и сценариев обучения перенос обычно ограничивается заменой сборок и настройкой окружения.

Нужно ли жидкостное охлаждение? Оно рассматривается для исполнений с высоким потреблением и для плотных конфигураций. Решение принимается по замерам на пилоте и по возможностям площадки: если доступной мощности и воздушного охлаждения на стойку хватает, переход на жидкостное не требуется.

Что мы делаем

Собираем конфигурацию пилотного сервера под вашу задачу, поставляем его с документами и вводом в работу, помогаем перенести окружение и провести замеры по программе, разбираем узкие места и считаем целевую конфигурацию с запасом на рост, дальше поставляем основной парк и сопровождаем его. Направление — ускорители MetaX, альтернативный расчёт — на ускорителях NVIDIA.

Пришлите модели, объём данных и целевые показатели на sale@tkasiatorg.ru — подберём конфигурацию пилота, согласуем программу замеров и посчитаем целевой парк по её результатам.