Что считать при расчёте питания и охлаждения стойки под ускорители

Стойка с вычислительными ускорителями потребляет в несколько раз больше обычной серверной стойки и выделяет соответствующее количество тепла. Если подведённая мощность и система охлаждения помещения рассчитаны по прежним нормам, оборудование либо не запустится на полную нагрузку, либо будет постоянно снижать частоты. Поэтому питание и охлаждение считаются до заказа оборудования, а не после его прибытия.

Разберём, из чего складывается баланс мощности стойки, какие схемы охлаждения применяются и что проверить на площадке перед закупкой ускорителей NVIDIA или MetaX.

Баланс мощности стойки

Расчёт ведётся снизу вверх — от узла к стойке, а не от паспортной мощности ввода.

• Потребление ускорителей. Основная составляющая. Тепловой пакет одной карты в серверном исполнении лежит в диапазоне 70–700 Вт в зависимости от модели; ускорители MetaX C500 заявлены с тепловым пакетом до 350 Вт.
• Потребление платформы. Процессоры, память, накопители, сетевые адаптеры и вентиляторы узла. Для двухпроцессорной платформы это 500–900 Вт без учёта карт.
• Число узлов в стойке. Определяется не только высотой стойки, но и допустимой мощностью на неё: при высокой плотности часть юнитов приходится оставлять свободными.
• Сетевое оборудование. Коммутаторы межузловой сети и управления добавляют к балансу от нескольких сотен ватт до киловатта.
• Коэффициент запаса. К расчётной величине добавляется не менее 20 %: пиковое потребление под нагрузкой превышает среднее, а конфигурация со временем растёт.

Отдельно проверяется схема резервирования ввода. Если стойка питается по двум лучам, каждый луч должен выдерживать полную нагрузку — иначе при отказе одного из них стойка обесточится целиком, и резервирование окажется формальным.

Схемы охлаждения

Граница между воздушным и жидкостным охлаждением проходит не по типу оборудования, а по плотности мощности. Пока стойка укладывается в 15–20 кВт, воздушная схема с изоляцией коридоров справляется. Выше этой отметки воздушный поток приходится наращивать до величин, при которых растут шум, потребление вентиляторов и риск локальных перегревов.

Что проверяется на площадке

• Подведённая мощность. Не паспортная мощность ввода в здание, а фактически доступная на конкретный ряд стоек с учётом уже установленного оборудования.
• Распределение по фазам. Неравномерная нагрузка по фазам приводит к перекосу и срабатыванию защиты раньше достижения расчётной мощности.
• Источники бесперебойного питания. Проверяется мощность и время автономии с учётом новой нагрузки: добавление стойки на 30 кВт сокращает автономию всей площадки.
• Холодопроизводительность. Суммарная мощность системы охлаждения сопоставляется с суммарным тепловыделением с запасом на отказ одного кондиционера.
• Температура воздуха на входе. Допустимая нагрузка на ускоритель зависит от температуры на входе в шасси; при повышенной температуре карта снижает частоты.
• Несущая способность пола. Заполненная стойка с плотной конфигурацией весит существенно больше обычной серверной.
• Организация потоков. Заглушки в свободных юнитах, уплотнение проходов кабелей, отсутствие рециркуляции горячего воздуха.

Что меняет расчёт при обучении моделей

Профиль нагрузки при обучении отличается от вычислений общего назначения: карты работают на предельной мощности длительными периодами, а не короткими пиками. Это означает, что расчёт ведётся по максимальному, а не по среднему потреблению, а система охлаждения должна поддерживать режим часами без деградации.

Второй фактор — синхронность. В кластере все узлы нагружаются одновременно, поэтому усреднение по стойке не работает: пик потребления совпадает у всех узлов. Для площадок, где раньше стояли серверы с разнородной нагрузкой, это самое частое расхождение между расчётом и фактом.

Сеть и её вклад в баланс

При обучении на нескольких узлах производительность ограничивается не только картами, но и связностью между ними. Оборудование межузловой сети добавляет к балансу мощности и требует места в стойке, а трассы между стойками влияют на компоновку ряда. Эти позиции закладываются в расчёт вместе с вычислительными узлами, а не докупаются потом.

Что прислать для расчёта

• Планируемое число узлов и число ускорителей на узел.
• Модель ускорителя либо профиль задачи, если модель ещё не выбрана.
• Доступную мощность на ряд стоек и схему ввода: один луч или два.
• Тип и мощность существующей системы охлаждения, температуру в холодном коридоре.
• Параметры стоек: высота, глубина, наличие изоляции коридоров.
• Мощность и текущую загрузку источников бесперебойного питания.

Частые вопросы

Можно ли поставить такую стойку в обычную серверную? Зависит от плотности. До 15–20 кВт на стойку при изоляции коридоров — как правило да; выше требуется пересмотр схемы охлаждения.

Что происходит при нехватке охлаждения? Карта снижает частоты для удержания температуры. Оборудование продолжает работать, но производительность падает без сообщений об ошибках.

Обязательно ли жидкостное охлаждение? Только при высокой плотности. Для MetaX C600 доступны и воздушное, и жидкостное исполнение — выбор делается по плотности стойки и возможностям площадки.

Как считать запас по мощности? Не менее 20 % от расчётного значения, и отдельно проверяется, что один луч питания держит полную нагрузку стойки.

Нужно ли считать сеть отдельно? Да. Коммутаторы межузловой сети занимают место в стойке и добавляют к балансу мощности.

Что мы делаем

Считаем конфигурацию от профиля нагрузки: под обучение — связность узлов и сеть, под выполнение готовых моделей — плотность карт на юнит и стоимость владения. Проверяем подведённую мощность на стойку, тип охлаждения, глубину шкафа и совместимость платформы с выбранным форм-фактором. Поставляем как отдельные ускорители NVIDIA и MetaX, так и собранные и прогретые узлы с проверкой под нагрузкой до отгрузки, с комплектом драйверов и документами.

Пришлите планируемое число узлов и параметры площадки на sale@tkasiatorg.ru — рассчитаем баланс мощности и тепловыделения, подберём схему охлаждения и посчитаем поставку.