Что проверить в серверной платформе под карты MetaX в исполнении OAM

Ускорители MetaX поставляются в двух конструктивных исполнениях: картой с интерфейсом PCIe и модулем формата OAM. Второе — не вариант упаковки, а другой способ сборки узла: модуль не вставляется в слот, а устанавливается на общую базовую плату, питание и межкарточные связи проходят через неё, а охлаждение обеспечивает шасси целиком. Поэтому платформа под OAM подбирается до закупки ускорителей, а не после. Модельный ряд и схемы масштабирования собраны на странице направления GPU-ускорители MetaX.

Ниже разобрано, чем отличается исполнение OAM от PCIe, что проверяется в платформе по питанию, охлаждению и хост-части, какие данные нужны для расчёта стойки и что меняется в обслуживании узла.

Чем исполнение OAM отличается от карты PCIe

• Посадочное место. Модуль ставится на универсальную базовую плату, рассчитанную, как правило, на восемь модулей. Платформа покупается вместе с базовой платой — отдельный модуль в обычный сервер с PCIe не устанавливается.
• Межкарточная связность. В исполнении PCIe ускорители MetaX C500 объединяются по MetaXLink в группы по две и четыре карты. В OAM связность проходит проводниками базовой платы: для MetaX C600 заявлено объединение по MetaXLink с выходом на Ethernet между узлами и масштабирование до 256 карт.
• Мощность на модуль. У карты C500 с интерфейсом PCIe и памятью 64 ГБ с коррекцией ошибок потребление лежит в пределах возможностей обычного серверного корпуса; у C500X заявлено 350 Вт, у C600 в исполнении OAM 2.0 — 1000 Вт на модуль при 144 ГБ памяти с коррекцией ошибок.
• Охлаждение. Карта PCIe охлаждается потоком корпуса сервера, модуль OAM — общим решением шасси: усиленным воздушным потоком либо жидкостными пластинами. Для C600 заявлены оба варианта.
• Обслуживание. Модуль снимается с базовой платы, а не извлекается из слота; доступ к нему требует разборки верхней части шасси и, в жидкостной схеме, отключения контура.

Питание узла

Первая проверка — энергетика. Восемь модулей по 1000 Вт дают 8 кВт только на ускорители, без хост-части, накопителей и вентиляторов. Что уточняется по платформе:

• Число, мощность и схема резервирования блоков питания шасси, а также род напряжения на вводе.
• Суммарная расчётная мощность узла с учётом хост-части и режима полной нагрузки, а не типового потребления.
• Способ подачи питания на базовую плату и ограничения по длине и сечению подводящих линий внутри шасси — задаётся конструкцией платформы.
• Распределение по вводам и фазам в стойке, свободная мощность на стойку и на ряд.
• Поведение при отказе блока питания: сохраняется ли работа всех модулей или часть отключается.

Для стойки это означает, что один узел может занять мощность, которая раньше распределялась на несколько серверов. Расчёт питания и охлаждения выполняется до заказа — он входит в проектирование и внедрение, а требования к стойке разбираются в подтеме инфраструктура кластера.

Охлаждение и механика

• Воздушное исполнение. Проверяются требуемый расход воздуха, допустимая температура на входе и перепад на выходе. Узел с восемью модулями выбрасывает в горячий коридор поток, который прежняя схема раздачи холода может не обслуживать.
• Жидкостное исполнение. Проверяются тип контура, расход и температура теплоносителя, давление, тип быстроразъёмных соединений, наличие распределительного узла в стойке и схема контроля протечек.
• Габарит и масса. Высота шасси в юнитах, глубина — под неё проверяется шкаф, и масса — под неё проверяются полки, рельсы и нагрузка на шкаф и пол. Узел на восемь модулей тяжелее обычного двухпроцессорного сервера в несколько раз.
• Доступ для обслуживания. Передний или верхний доступ к модулям, место перед шкафом и за ним, возможность выдвинуть узел на рельсах в заполненной стойке.
• Монтажный комплект. Рельсы и органайзеры привязаны к модели шасси и глубине шкафа; позиции заказываются вместе с узлом — подбор и поставка комплектующих.

Хост-часть и связность

Ускорители в исполнении OAM обслуживаются хост-платформой, и её недостаточная конфигурация ограничивает узел целиком. Проверяются процессоры и число линий ввода-вывода, приходящихся на модули и на сетевые адаптеры, объём и раскладка оперативной памяти, накопители под систему и под данные, число и скорость сетевых портов. Отдельно уточняется схема связности: MetaXLink работает внутри узла, между узлами идёт сеть Ethernet, и её полоса определяет масштабирование пула.

Когда исполнение OAM не нужно

• Пилотный запуск. Для проверки задачи на своих данных достаточно карты PCIe в существующем сервере: C500 с 64 ГБ памяти с коррекцией ошибок, при необходимости объединение двух или четырёх карт по MetaXLink.
• Пул инференса. Если задачи небольшие и выполняются независимо, плотная связность между картами не требуется, и узел на картах PCIe обслуживается проще.
• Ограничения стойки. Когда свободная мощность и охлаждение не позволяют поставить узел на 8 кВт, разумнее собрать несколько узлов на картах PCIe, чем переделывать энергоснабжение ряда.
• Отсутствие регламента на жидкостный контур. Если в машинном зале нет распределительных узлов и обслуживания контура, воздушное исполнение остаётся единственным рабочим вариантом.

Промежуточный вариант — C588 с объединением до восьми карт по MetaXLink и суммарным объёмом памяти до 896 ГБ, а также C500X с оптическим MetaXLink и масштабированием от 16 до 64 карт при потреблении 350 Вт на карту. Выбор между исполнениями разбирается в подтеме ускорители MetaX.

Частые вопросы

Можно ли поставить модули OAM в существующий сервер? Нет. Нужна платформа с базовой платой соответствующей версии; обычный сервер с слотами PCIe для этого не подходит ни по посадочному месту, ни по питанию и охлаждению.

Обязательно ли ставить все восемь модулей сразу? Базовая плата рассчитана на полный комплект, но узел собирается и с частичным заполнением. Нужно уточнить у платформы допустимые схемы заполнения: от них зависит и связность, и балансировка потока воздуха.

Чем отличается обслуживание от узла на картах PCIe? Заменой на уровне модуля и базовой платы и необходимостью окна обслуживания: доступ требует разборки шасси, а в жидкостной схеме — отключения контура. Регламент реакции на отказ и запас критичных позиций оговариваются в сервисе и поддержке.

Что проверяется при приёмке такого узла? Комплектность базовой платы и модулей, серийные номера, версии прошивок, результаты прогонов под нагрузкой с фиксацией температур и потребления, целостность жидкостного контура при соответствующем исполнении, монтажный комплект под вашу стойку.

Что прислать для расчёта? Профиль задач — обучение, дообучение или инференс, требуемый объём памяти на задачу, планируемое число карт и узлов, свободную мощность на стойку и схему раздачи холода, наличие жидкостного контура, глубину и высоту шкафа, допустимую массу, параметры действующей сети между узлами.

Что мы делаем

Проверяем платформу и базовую плату под выбранное исполнение, считаем питание и охлаждение узла и стойки, собираем спецификацию с монтажным комплектом, прогоняем узел под нагрузкой до отгрузки, фиксируем серийные номера и версии прошивок и передаём документы комплектом. Направления — ускорители MetaX и ускорители NVIDIA, услуги — подбор и поставка оборудования, подбор и поставка комплектующих, проектирование и внедрение, сервис и поддержка и логистика и таможенное оформление, условия оплаты — финансовые программы. Другие материалы — в блоге о GPU и AI.

Пришлите профиль задач и параметры стойки на sale@tkasiatorg.ru — подберём исполнение ускорителей и платформу, которая встанет в ваш машинный зал без переделки энергоснабжения.