Что меняет переход с PCIe на SXM в проекте кластера

Переход с ускорителей в исполнении PCIe на модули SXM в спецификации выглядит как смена строки, а в проекте затрагивает питание стойки, охлаждение, состав поставки, порядок обслуживания и график закупки. Карта PCIe ставится в слот сервера, модуль SXM — на общую базовую плату узла, и дальше различия идут по всей цепочке от расчёта мощности до замены вышедшего из строя ускорителя.

Ниже разобрано, что меняется в проекте при переходе на SXM и какие решения принимаются до заказа. Линейка и условия поставки — на странице направления GPU-ускорители NVIDIA.

Чем различаются исполнения физически

• Карта PCIe — самостоятельное изделие в слоте сервера. Питание идёт от слота и дополнительных разъёмов, охлаждение обеспечивают вентиляторы шасси, обмен с процессором — через шину PCI Express.
• Модуль SXM не имеет слотового разъёма и не ставится в произвольный сервер. Он монтируется на базовую плату узла, рассчитанную на четыре или восемь модулей; питание, межмодульная связь и охлаждение организованы на уровне этой платы и шасси.
• Межкарточный обмен в исполнении SXM идёт по выделенной шине между модулями на базовой плате. У карт PCIe обмен проходит через шину сервера, а в части конфигураций — через мостовое соединение между соседними картами.
• Среди наших позиций исполнение SXM относится к старшим линейкам H100 и H200, тогда как L40S и L4 поставляются только в формате PCIe. Выбор исполнения поэтому связан и с выбором модели.
• Сопоставимый по смыслу переход есть и в линейке альтернативных ускорителей: модули формата OAM у MetaX так же ставятся на общую базовую плату, а не в слот.

Что меняется в питании

• Потребление на один ускоритель растёт. У модулей SXM старших линеек типовой уровень достигает 700 Вт, тогда как карты PCIe того же поколения ограничены возможностями слота и дополнительных разъёмов и укладываются, как правило, в 300–350 Вт. Точные значения берутся из документации на конкретное исполнение.
• Узел на восемь модулей вместе с процессорами, памятью, накопителями и вентиляторами выходит за пределы мощности, на которую рассчитаны стойки общего назначения. Подведённая мощность и распределение по фазам считаются до заказа.
• Меняется состав блоков питания шасси и схема резервирования: при отказе одного блока узел должен сохранять работу под нагрузкой, а не только в простое.
• Пересчитывается источник бесперебойного питания — и по мощности, и по времени, которое требуется на корректное завершение расчётных задач.
• Плотность размещения падает: в стойку с ограниченной подведённой мощностью помещается меньше узлов, чем позволяет её высота.

Что меняется в охлаждении

• Тепловыделение узла пропорционально потреблению, и воздушное охлаждение при восьми модулях требует проверенного расхода воздуха через шасси, организованных коридоров и контроля температуры на входе.
• Для части конфигураций рассматривается жидкостное охлаждение. Это отдельный проект: контур, теплообменник, трассы, обслуживание и регламент на случай протечки.
• Шум и скорость вращения вентиляторов в плотных узлах выше, что влияет на требования к помещению и к размещению рабочих мест.
• Проверяется глубина шкафа и схема фронтального и тылового обслуживания: узлы с базовой платой на восемь модулей заметно длиннее и тяжелее обычного сервера.

Сравнение по признакам проекта

Что меняется в закупке и сроках

• Исполнение SXM заказывается в составе узла: отдельный модуль без базовой платы и совместимого шасси в работу не ставится. Спецификация собирается целиком, а не по позициям.
• Пошаговое наращивание парка меняется. С картами PCIe следующий шаг — одна карта в свободный слот, с модулями SXM — следующий узел, и бюджет планируется другими долями.
• Срок поставки считается по узлу в сборе, включая сборку, прогон под нагрузкой и проверку перед отгрузкой.
• Пилотный этап строится иначе: проверка на одной карте PCIe возможна в существующем сервере, проверка исполнения SXM требует узла целиком.
• Подготовка площадки идёт параллельно поставке — подведение мощности, охлаждение и усиление стойки занимают время и планируются вместе с заказом.

Что меняется в обслуживании и запасе

• Отказ одного модуля в узле на восемь ускорителей выводит из расчёта весь узел на время работ, тогда как отказ одной карты PCIe затрагивает только её.
• Порядок замены и состав подменного фонда согласуются с поставщиком заранее — этим определяется, сколько простоит узел.
• Запас критичных компонентов для исполнения SXM считается не в картах, а в элементах узла и в подменных блоках питания и вентиляторах.
• Регламент реакции на отказ фиксируется в соглашении об уровне сервиса до запуска, а не после первого случая.

Когда переход оправдан, а когда избыточен

• Оправдан, когда задача упирается в обмен между ускорителями: обучение крупных моделей на нескольких картах, где доля времени на синхронизацию заметна в общем цикле.
• Оправдан, когда нужна максимальная плотность вычислений на узел и площадка позволяет подвести требуемую мощность.
• Избыточен для инференса и видеоаналитики, где задачи делятся по отдельным картам и обмен между ними почти не влияет на результат.
• Избыточен, когда парк наращивается небольшими шагами и важна возможность добавить одну карту, а не узел.
• Не рассматривается, если площадка не позволяет подвести мощность и организовать отвод тепла: в этом случае конфигурация подбирается от ограничений инфраструктуры.

Частые вопросы

Можно ли поставить модуль SXM в существующий сервер с картами PCIe? Нет. Это разные конструктивы: модулю нужна базовая плата и шасси, рассчитанное на неё. Переход означает замену узла, а не замену ускорителей в нём.

Сохранится ли программная часть при переходе? Прикладные задачи и библиотеки остаются прежними, различия проявляются в драйверах и настройке топологии обмена между модулями. Проверка проводится на этапе запуска узла.

Что делать с имеющимися картами PCIe после перехода? Их обычно переводят на задачи инференса, видеоаналитики и разработки, оставляя узлы SXM под обучение. Смешанный парк требует распределения задач по типам узлов.

Насколько вырастет требуемая мощность на стойку? Расчёт ведётся по конкретной конфигурации: число модулей в узле, число узлов в стойке, потребление процессоров, памяти, накопителей и вентиляторов. Паспортные значения ускорителей дают только часть суммы.

Что прислать для расчёта? Профиль нагрузки и модели, планируемое число ускорителей, подведённую мощность на стойку, тип охлаждения, глубину и допустимую нагрузку шкафа, требования к срокам и порядку наращивания парка.

Что мы делаем

Разбираем профиль нагрузки и определяем, нужен ли выделенный обмен между ускорителями, подбираем исполнение и конфигурацию узла, проверяем площадку по мощности, охлаждению и стойке, собираем узел с прогоном под нагрузкой до отгрузки и ведём ввод в работу. Условия поставки и линейка — на странице GPU-ускорители NVIDIA, альтернативные ускорители — на странице MetaX.

Пришлите профиль нагрузки, планируемый объём парка и параметры площадки на sale@tkasiatorg.ru — посчитаем конфигурацию, проверим питание и охлаждение и соберём спецификацию с документами.