Как считают запас по питанию при наращивании парка MetaX

Расширение парка ускорителей почти никогда не упирается в наличие карт. Ограничение приходит со стороны инфраструктуры: подведённой мощности на стойку, запаса блоков питания в узле и способности системы охлаждения снять выделившееся тепло. Поэтому запас по питанию считается до закупки, а не после того, как карты пришли на склад.

Ниже разобрано, из чего складывается потребление узла с ускорителями MetaX, как считается нагрузка на стойку при наращивании парка и в какой момент воздушное охлаждение перестаёт справляться. Линейка собрана на странице GPU-ускорители MetaX.

Потребление карт в линейке

Исполнения MetaX различаются не только памятью и схемой масштабирования, но и расчётной мощностью, причём разрыв между крайними позициями почти трёхкратный. Это первое, что определяет проект энергоснабжения.

Из таблицы следует правило подбора: наращивание парка картами того же класса меняет нагрузку линейно и предсказуемо, а переход на исполнение OAM с мощностью 1000 Вт — это новый проект по стойке, а не добавление позиций в прежнюю конфигурацию.

Из чего складывается потребление узла

• Карты. Основная доля: восемь карт по 350 Вт дают 2,8 кВт, восемь карт по 1000 Вт — 8 кВт только на ускорителях.
• Процессоры и память узла. При работе с ускорителями процессорная часть нагружена подготовкой данных, и её потребление считается по полной загрузке, а не по средней.
• Накопители и сетевые адаптеры. Высокоскоростные адаптеры и накопители в сумме добавляют заметную величину, особенно при нескольких портах на узел.
• Вентиляторы шасси. При полной загрузке карт они выходят на максимальные обороты, и их потребление перестаёт быть пренебрежимым.
• Потери в блоках питания. Расчёт ведётся по мощности на входе, а не по сумме потребления компонентов.
• Пиковая, а не средняя нагрузка. Проект считается по пику: кратковременные броски при старте расчёта не должны приводить к срабатыванию защиты.

Как считают нагрузку на стойку

• Определяется мощность одного узла на входе при полной загрузке карт, с учётом потерь и вентиляторов.
• Умножается на число узлов, которые планируется поставить в стойку, с добавлением коммутаторов и вспомогательного оборудования.
• Сравнивается с подведённой на стойку мощностью. Если узлы не влезают, в стойке остаются свободные юниты — это нормальная ситуация для оборудования с ускорителями.
• Учитывается схема резервирования питания. При резервировании по схеме с двумя независимыми вводами каждый ввод должен держать полную нагрузку, иначе резерв формальный.
• Проверяется номинал и характеристика вводных автоматов и распределительных блоков в стойке по пиковому току.
• Закладывается запас под следующий шаг расширения — тот, который уже обсуждается, а не гипотетический.

Распространённая ошибка — считать парк по суммарной мощности центра обработки данных, не проверяя предел на стойку. Мощность подводится именно к стойке, и четыре узла с картами по 350 Вт способны выбрать её целиком, оставив половину стойки незаполненной.

Когда воздушного охлаждения перестаёт хватать

• Исполнения на 350 Вт при умеренной плотности карт на узел штатно охлаждаются воздухом — при условии, что температура воздуха на входе и продув шасси соответствуют требованиям платформы.
• Исполнение C588 с расчётной мощностью 1000 Вт выпускается в вариантах с воздушным и с жидкостным охлаждением. Выбор между ними определяется не картой, а возможностями помещения.
• Переход на жидкостное охлаждение затрагивает не только узлы: нужны контуры, распределительные модули и теплообменник, а это отдельный раздел проекта и отдельный срок поставки.
• Температура воздуха на входе в стойку и организация горячего и холодного коридоров ограничивают плотность не меньше, чем электрика.
• При смешанном парке карт разных классов узлы с наиболее горячими картами размещаются с учётом потока воздуха, а не произвольно по стойке.

Что меняет схема масштабирования

Схема связности карт влияет на питание косвенно, но заметно. Исполнения с PCIe и MetaXLink на 2 и 4 карты позволяют наращивать парк узлами по мере необходимости, и каждый шаг расширения небольшой. Оптический MetaXLink с масштабированием на 16–64 карты и исполнение OAM 2.0 с объединением до 256 карт предполагают иной порядок: конфигурация закладывается целиком, и подводимая мощность рассчитывается сразу под полный пул, иначе частично собранный кластер не выйдет на проектную производительность.

Поэтому последовательность расширения определяется до первой закупки. Если план предусматривает переход к крупному пулу, под него считаются и стойка, и охлаждение — даже если на первом шаге ставится один узел. Программная часть при этом сохраняется: платформа MXMACA ориентирована на совместимость с привычными фреймворками, и перенос типовых задач обычно ограничивается настройкой окружения.

Частые вопросы

Какой запас по мощности закладывать? Расчёт ведётся по пиковому потреблению узла на входе, а запас определяется схемой резервирования и планом следующего расширения. Запас «на всякий случай» без привязки к плану приводит к переплате за подведённую мощность.

Можно ли добавить карты в существующий узел? Только если платформа допускает их число по слотам, питанию и продуву. Проверяются мощность установленных блоков питания, наличие кабелей дополнительного питания и разрешённая производителем платформы конфигурация.

Нужно ли сразу переходить на жидкостное охлаждение? Нет. Исполнения на 350 Вт работают с воздушным охлаждением. Вопрос возникает при переходе на карты класса 1000 Вт и при высокой плотности узлов в стойке.

Что происходит, если мощности на стойку не хватает? Узлы распределяются по нескольким стойкам с неполным заполнением. Это увеличивает занимаемую площадь и длину линий связи между узлами, поэтому связность кластера считается вместе с электрикой.

Что прислать для расчёта? Планируемое число карт и их исполнение, модель серверной платформы, подведённую мощность на стойку и схему резервирования, температуру воздуха в помещении и тип охлаждения, а также план расширения на следующий шаг.

Что мы делаем

Считаем потребление узла и стойки под выбранное исполнение карт, проверяем допустимое число карт на платформу, подбираем схему масштабирования под план расширения, указываем, где требуется жидкостное охлаждение, и ведём установку с переносом задач на MXMACA. Направления — GPU-ускорители MetaX и GPU-ускорители NVIDIA.

Пришлите планируемый состав парка и параметры стойки на sale@tkasiatorg.ru — рассчитаем потребление по узлам и стойке, проверим запас по питанию и охлаждению и предложим порядок расширения.