MetaXLink или Ethernet — как масштабировать пул ускорителей

Когда ускорителей больше, чем помещается в один сервер, появляется вопрос связности: как обмениваются данными карты внутри узла и узлы между собой. От ответа зависит, будет ли кластер работать как единый ресурс или распадётся на слабо связанные машины, которые простаивают в ожидании обмена. У платформы MetaX для этого есть собственная шина MetaXLink, а между узлами применяется сеть Ethernet — задачи у них разные, и выбирать между ними приходится не всегда.

Разберём, что решает каждый уровень связности, как оценить потребность своей задачи и что нужно для расчёта конфигурации на ускорителях MetaX.

Два уровня связности

• Внутри узла. Карты в одном сервере соединяются прямой шиной с высокой пропускной способностью и низкой задержкой. Обмен идёт напрямую между устройствами, минуя центральный процессор и системную память.
• Между узлами. Серверы соединяются сетью. Пропускная способность сети всегда ниже внутренней шины, поэтому задача распределяется так, чтобы наиболее интенсивный обмен оставался внутри узла.
• Почему это не выбор «или — или». В кластере из нескольких серверов работают оба уровня одновременно. Выбор состоит в том, сколько карт объединять шиной внутри узла и какая сеть нужна между узлами.
• Что определяет узкое место. Тип параллелизма: разделение модели между картами нагружает связность гораздо сильнее, чем разделение данных.
• Топология. Важно не только число линий, но и схема соединения: полная связность внутри узла избавляет от промежуточных пересылок.
• Программная поддержка. Библиотеки коллективных операций должны уметь использовать прямую шину, иначе обмен пойдёт через системную память и выигрыш исчезнет.

Что даёт прямая шина между картами

• Обмен без участия процессора. Данные передаются между устройствами напрямую, процессорное время и полоса системной шины не расходуются.
• Низкая задержка коллективных операций. Суммирование градиентов и рассылка весов выполняются заметно быстрее, что напрямую сокращает время шага обучения.
• Работа с большой моделью. Когда модель не помещается в память одной карты, её части обмениваются промежуточными результатами на каждом шаге — здесь скорость шины определяет всё.
• Предсказуемость. Внутренняя шина не делится с другим трафиком, в отличие от сети, где соседние задачи влияют друг на друга.
• Ограничение по числу карт. Шина объединяет ускорители в пределах узла или связанной группы узлов; дальше обмен уходит в сеть.
• Требования к платформе. Полная связность требует определённого исполнения сервера: компоновки, питания и охлаждения под плотное размещение карт.

Сравнение уровней связности

Таблица описывает роль уровней, а не выбор одного из них. Конфигурация складывается из числа карт в узле и класса сети между узлами.

Как оценить потребность своей задачи

• Размер модели. Если параметры помещаются в память одной карты, основной обмен — это синхронизация градиентов, и требования к связности умеренные.
• Разделение модели между картами. Требует интенсивного обмена на каждом шаге, поэтому такие карты объединяются прямой шиной внутри узла.
• Размер пакета данных. Малые пакеты увеличивают долю обмена в общем времени шага, и задержка становится критичнее пропускной способности.
• Доля обмена в шаге. Измеряется на пилоте: если обмен занимает заметную долю времени шага, наращивание числа карт без улучшения связности не ускорит обучение.
• Инференс против обучения. Инференс обычно нетребователен к связности и хорошо распределяется по независимым узлам; исключение — большие модели, разделённые между картами.
• Планы роста. Кластер, который будет расширяться, проектируется под фабрику с запасом портов: переделка сети дороже, чем изначальный запас.

Что учитывать при подборе конфигурации

• Компоновка узла. Число карт в сервере ограничено питанием, охлаждением и механикой шасси, а не только числом слотов.
• Питание и охлаждение. Плотное размещение ускорителей задаёт требования к стойке; расчёт ведётся до закупки оборудования.
• Сетевые адаптеры. Класс и число адаптеров на узел подбираются по объёму межузлового обмена, а не по числу карт.
• Хранилище. При быстрой связности узким местом становится подача данных: пропускная способность хранилища проверяется вместе с сетью.
• Программное окружение. Совместимость библиотек обмена и версий среды проверяется на пилоте до закупки всей партии.
• Обслуживание. Замена карты в плотной компоновке требует доступа к узлу; порядок обслуживания планируется вместе с размещением.

Что прислать для расчёта

• Тип задачи: обучение или инференс, размер модели и данных.
• Способ распараллеливания, если он уже выбран.
• Требуемое время обучения или требуемую производительность инференса.
• Число узлов, которое планируется в кластере, и планы роста.
• Параметры площадки: мощность на стойку, способ охлаждения.
• Действующую сеть и хранилище, если кластер встраивается в имеющуюся инфраструктуру.

Частые вопросы

Можно ли обойтись обычной сетью между узлами? Для инференса и для обучения небольших моделей — да. При разделении модели между узлами сеть становится узким местом, и требуется фабрика соответствующего класса.

Сколько карт объединять в одном узле? Столько, сколько допускает платформа по питанию и охлаждению и сколько требует задача. Разделение модели выгоднее держать внутри узла целиком.

Как понять, что связность стала узким местом? По доле времени обмена в шаге обучения. Если при удвоении числа карт время шага сокращается заметно меньше, чем вдвое, ограничение в обмене.

Нужен ли пилот перед закупкой кластера? Да. Пилот на одном узле показывает фактическую долю обмена и производительность на реальной задаче — это основание для расчёта всей конфигурации.

Влияет ли хранилище на скорость обучения? Влияет напрямую: при быстрой связности данные должны подаваться с соответствующей скоростью, иначе ускорители простаивают между шагами.

Что мы делаем

Подбираем конфигурацию под задачу: число карт в узле, класс сети между узлами, адаптеры, коммутаторы и хранилище. Считаем питание и охлаждение стойки, проверяем совместимость программного окружения на пилоте и поставляем ускорители MetaX вместе с серверными платформами и сетевым оборудованием.

Пришлите описание задачи и требуемое время обучения на sale@tkasiatorg.ru — оценим требования к связности, предложим конфигурацию узла и кластера и дадим спецификацию с ценами и сроками.