Перенос обучения и инференса на MetaX MXMACA — что проверить заранее

MXMACA — программная платформа ускорителей MetaX: набор библиотек, компилятор и среда выполнения, через которые задачи обучения и инференса работают на этих устройствах. Перенос существующих расчётов на неё выполняется не заменой оборудования, а проверкой всей цепочки — от версии драйвера до конкретных операций в модели.

Разберём, что проверяется до переноса расчётов на ускорители MetaX, в каком порядке ведётся проверка, какие места дают расхождения и как организовать пилот, чтобы результат был применим к промышленной установке.

Что проверяется в первую очередь

• Версии платформы. Версия MXMACA, драйвера и ядра операционной системы образуют совместимый набор. Смешение версий из разных выпусков — основная причина отказов на старте.
• Поддержка фреймворка. Сборка библиотеки машинного обучения под платформу поставляется отдельно. Проверяется соответствие версии фреймворка тому выпуску, который поддержан платформой.
• Набор операций модели. Стандартные слои поддержаны. Нестандартные операции и написанные вручную вычислительные ядра требуют переработки.
• Форматы вычислений. Поддержка половинной точности, восьмибитных и четырёхбитных форматов проверяется по конкретной модели ускорителя.
• Библиотеки обмена между устройствами. Коллективные операции между несколькими ускорителями выполняются собственной библиотекой; параметры её настройки отличаются от привычных.
• Инструменты профилирования. Наличие средств замера позволяет искать узкие места, а не гадать о причинах разницы в скорости.

Порядок проверки

• Шаг 1. Установка и проверка драйвера. Устройства видны системе, служебные утилиты показывают температуру, потребление и загрузку.
• Шаг 2. Запуск базовых тестов. Матричные операции и обмен между устройствами — подтверждение работоспособности до запуска модели.
• Шаг 3. Инференс на одной карте. Модель загружается и выдаёт результат; выполняется сверка ответов с эталоном.
• Шаг 4. Замер производительности. Число обработанных запросов в секунду и время отклика при рабочих длинах контекста.
• Шаг 5. Масштабирование внутри узла. Разделение модели между картами и проверка потерь на обмене.
• Шаг 6. Обучение или дообучение. Сходимость и стабильность на нескольких эпохах, сравнение кривых с эталонной установкой.
• Шаг 7. Проверка на нескольких узлах. Обмен по сети, устойчивость длительного расчёта, поведение при отказе узла.

Где чаще всего возникают расхождения

Как организовать пилот

Пилот на одном сервере отвечает на вопрос, применима ли платформа к вашей задаче, до закупки полного парка.

• Взять свою модель и свои данные. Результаты на стандартных наборах не переносятся на реальную нагрузку.
• Зафиксировать метрику. Число запросов в секунду при заданном времени отклика для инференса; время эпохи и качество на контрольной выборке для обучения.
• Сравнивать с эталоном. Замеры на действующей установке снимаются в тех же условиях: та же длина контекста, тот же размер пакета, та же точность.
• Проверить длительную работу. Расчёт на несколько суток выявляет утечки памяти и перегрев, которых нет на коротких запусках.
• Оценить трудозатраты на перенос. Число изменённых мест в коде — часть стоимости перехода наравне с ценой оборудования.
• Зафиксировать окружение. Итогом пилота становится описанный набор версий, воспроизводимый на промышленной установке.

Что проверяется по оборудованию

• Совместимость с платформой сервера. Число слотов, схема питания, профиль карты и поддержка со стороны системной платы.
• Питание и охлаждение. Потребление узла с полной загрузкой ускорителей и допустимая температура на входе.
• Связь между картами. Схема соединения внутри узла определяет потери на обмене при разделении модели.
• Сеть между узлами. Полоса и задержка сети становятся ограничением при обучении на нескольких серверах.
• Хранилище. Скорость подачи данных должна перекрывать потребление ускорителей, иначе они простаивают.
• Обслуживание. Сроки поставки запасных карт и порядок замены при отказе фиксируются заранее.

Частые вопросы

Нужно ли переписывать модель целиком? Как правило, нет. Модели из стандартных слоёв переносятся с изменением окружения и точечными правками. Переработка требуется для собственных вычислительных ядер.

Сколько занимает перенос? Инференс типовой модели — дни. Обучение с распределением по узлам и собственным конвейером подготовки данных — недели, основная доля приходится на отладку обмена и загрузки данных.

Совпадут ли результаты с прежней установкой? Побитового совпадения не будет из-за различий в порядке операций и округлении. Сверяется метрика качества на контрольной выборке, а не отдельные значения.

Можно ли смешивать ускорители разных производителей в одном расчёте? В одном распределённом расчёте — нет. Парки разделяются по задачам: одна платформа на обучение, другая на инференс.

С чего начать, если решение ещё не принято? С пилота на одном сервере со своей моделью. Это даёт замеры и оценку трудозатрат, по которым считается переход всего парка.

Что мы делаем

Подбираем конфигурацию ускорителей MetaX под задачу, собираем стенд для пилота, проверяем совместимость с серверной платформой, считаем питание, охлаждение и связность узлов, сопровождаем перенос расчётов и фиксируем набор версий окружения. Сопоставление с текущей установкой ведём вместе с направлением ускорителей NVIDIA.

Пришлите описание модели, текущие замеры производительности и план по объёму парка на sale@tkasiatorg.ru — предложим конфигурацию пилота, перечень проверок и посчитаем поставку.