Как подбирают серверную платформу под карты MetaX в исполнении PCIe

Ускоритель в исполнении PCIe ставится в стандартную серверную платформу, и именно это делает его удобным для расширения существующей инфраструктуры. Но стандартный разъём не означает, что карта встанет в любой сервер: ограничения возникают по числу линий, по блокам питания, по продуву корпуса и по длине платы. Проверка платформы выполняется до закупки, иначе карты приходят раньше, чем сервер, способный их принять.

Ниже разобрано, какие параметры платформы сверяются с требованиями карты и чем исполнение PCIe отличается по требованиям от OAM. Направление — ускорители MetaX для дата-центров.

Что в линейке относится к исполнению PCIe

• MetaX C500 — карта PCIe с 64 ГБ памяти ECC и интерфейсом MetaXLink в конфигурациях на 2 и 4 карты. Основное исполнение для установки в существующий сервер.
• MetaX C500X — то же по памяти, 64 ГБ ECC, но с оптическим MetaXLink и масштабированием от 16 до 64 карт, с поддержкой виртуализации; потребление заявлено на уровне 350 Вт.
• MetaX C588 — исполнение с MetaXLink на 8 карт и суммарным объёмом памяти до 896 ГБ. Это уже готовая многокарточная сборка, а не карта в произвольный сервер.
• MetaX C600 — исполнение OAM 2.0 с 144 ГБ памяти ECC, MetaXLink совместно с Ethernet, масштабированием до 256 карт, воздушным и жидкостным охлаждением и потреблением 1000 Вт. Под него нужна специализированная платформа, а не обычный сервер с разъёмами PCIe.

Разделение практическое: до четырёх карт задача решается установкой в стандартный сервер, дальше требуется платформа, спроектированная под плотную установку ускорителей.

Что проверяется в платформе

• Число и распределение линий PCIe. Важно не общее количество, а сколько линий приходится на каждый слот при полной установке карт. Платформы, в которых линии делятся между слотами, при четырёх картах дают меньше линий на карту, чем при одной.
• Версия интерфейса. Карты серии C используют PCIe Gen4; установка в платформу предыдущего поколения физически возможна, но ограничивает обмен с хостом, и это сказывается на подаче данных при обучении.
• Блоки питания. Считается суммарное потребление карт плюс нагрузка остальной платформы с запасом на пиковое потребление и на резервирование по схеме блоков. При 350 Вт на карту четыре карты дают 1400 Вт только на ускорители.
• Разъёмы дополнительного питания. Проверяется наличие нужного числа кабелей требуемого типа на блоке питания — не только суммарная мощность.
• Продув корпуса. Карты для дата-центра выпускаются с пассивным радиатором и охлаждаются потоком от корпусных вентиляторов. Платформа должна обеспечивать расчётный расход воздуха при установленных картах и заданной температуре на входе.
• Геометрия. Длина и высота карты, число занимаемых слотов, глубина шкафа, место под кабели MetaXLink между соседними картами.
• Процессоры и память хоста. Число ядер и объём оперативной памяти подбираются под подготовку данных: при недостатке ресурсов хоста карты простаивают.

Сравнение требований по исполнениям

Закономерность такая: рост памяти на карту тянет за собой не только питание, но и схему масштабирования. Исполнение PCIe остаётся совместимым со стандартной платформой до того предела, где потребление и число межкарточных соединений перестают укладываться в обычный корпус.

Программная часть и виртуализация

Помимо аппаратной совместимости проверяется программный контур. Экосистема MXMACA ориентирована на совместимость с привычными пайплайнами и фреймворками, и перенос типовых задач обычно ограничивается настройкой окружения. Но набор библиотек под конкретную задачу сверяется заранее: часть библиотек требует адаптации, и выяснять это после поставки серии дороже, чем на пилотном узле.

• Версия операционной системы и ядра, под которые есть драйвер.
• Фреймворки и библиотеки, которые использует ваш код, и их состояние в стеке MXMACA.
• Виртуализация. Исполнения с поддержкой разделения ресурсов позволяют держать на одном сервере несколько параллельных задач — это меняет расчёт числа карт под команду.
• Средства мониторинга: телеметрия карт, контроль температуры и наработки в составе существующей системы наблюдения.

В исследовании МФТИ ускорители, включая MetaX C500, показали стабильный запуск популярных моделей, корректную работу ключевых фреймворков и предсказуемую производительность; в ряде сценариев решения превосходили NVIDIA A100. Это основание для пилота, а не замена замеру на собственной нагрузке. Сопоставление с линейкой NVIDIA — в направлении вычисления для ИИ и HPC.

Частые вопросы

Встанет ли карта PCIe в любой серверный корпус? Разъём стандартный, но ограничения дают длина карты, число занимаемых слотов, продув и доступные разъёмы питания. Платформа проверяется по конкретной модели сервера, а не по наличию слотов PCIe.

Сколько карт можно поставить в один сервер? Предел задаётся тем из трёх ограничений, которое наступает первым: линии PCIe, мощность блоков питания или отвод тепла. В исполнении PCIe практическая конфигурация ограничена схемой MetaXLink на 2 или 4 карты.

Нужно ли жидкостное охлаждение? Для исполнений PCIe при корректном продуве — нет. Жидкостное охлаждение относится к плотным конфигурациям и к исполнению OAM, где потребление на карту доходит до 1000 Вт.

Чем PCIe проигрывает OAM? Объёмом памяти на карту и скоростью межкарточного обмена при большом числе карт. Выигрывает — совместимостью с уже имеющимися серверами и стоимостью входа в проект.

Что прислать для проверки совместимости? Модель и конфигурацию сервера, схему распределения линий PCIe, мощность и схему блоков питания, данные по продуву корпуса и температуре в стойке, подведённую мощность, версию операционной системы и перечень используемых фреймворков.

Что мы делаем

Разбираем задачу по модели, объёму данных и режиму работы, подбираем карты и схему масштабирования — PCIe, MetaXLink или OAM, проверяем серверную платформу, блоки питания и корпуса, планируем виртуализацию ресурсов, выполняем инсталляцию, помогаем с переносом пайплайнов на MXMACA, обучаем команду и сопровождаем после ввода в работу. Начинаем с пилотного узла и прогона ваших моделей, по результатам собираем спецификацию под серию. Направления — MetaX и NVIDIA.

Пришлите конфигурацию сервера и профиль задачи на sale@tkasiatorg.ru — проверим совместимость платформы с картами MetaX и соберём спецификацию узла.