Что проверить в стойке до заезда серверов с ускорителями

Стойка под серверы с вычислительными ускорителями отличается от обычной серверной прежде всего плотностью мощности. Там, где стойка с типовыми серверами потребляет пять-восемь киловатт, узлы с ускорителями дают от двадцати киловатт и выше. Меняется всё — схема ввода питания, сечение кабеля, число розеточных блоков, расход воздуха, распределение нагрузки по фальшполу и порядок обслуживания.

Ниже — что проверяется в стойке и в помещении до заезда оборудования, как считается мощность и расход воздуха, какие ошибки обнаруживаются уже после монтажа. Направление описано на странице GPU NVIDIA.

Электропитание

Расчёт ведётся от пикового потребления узла, а не от среднего. Ускорители дают кратковременные броски потребления при старте вычислительной задачи, и защита, подобранная по среднему значению, срабатывает.

• Суммарная мощность стойки. Сумма пикового потребления всех узлов плюс запас на коммутационное оборудование и на расширение.
• Схема ввода. Один ввод или два независимых с автоматическим переключением. При двух вводах каждый рассчитывается на полную нагрузку, иначе резервирование не работает.
• Розеточные блоки. Число и тип разъёмов под блоки питания узлов, допустимый ток на блок и на группу розеток, наличие измерения потребления по каждой розетке.
• Аппараты защиты. Номинал и характеристика подбираются с учётом пусковых токов источников питания серверов.
• Сечение и длина кабеля ввода, проверенные по допустимому нагреву и падению напряжения.
• Заземление. Отдельная шина стойки, соединение корпусов, измеренное сопротивление.

Охлаждение

Каждый киловатт потреблённой электрической мощности превращается в тепло, которое нужно вынести из помещения. Расход воздуха на стойку считается по разности температур холодного и горячего коридора.

Практический ориентир: при разности температур в двенадцать градусов на каждый киловатт тепловыделения требуется порядка двухсот пятидесяти кубометров воздуха в час. Стойка на двадцать пять киловатт потребует около шести тысяч кубометров в час, и такой расход невозможно подать через обычную перфорированную плиту фальшпола. Отсюда следуют требования к организации потока.

Отдельно проверяются заглушки на свободных юнитах и уплотнения по периметру стойки: без них горячий воздух возвращается на вход серверов, и температура на входе растёт независимо от мощности кондиционеров.

Механика и размещение

• Глубина стойки. Узлы с ускорителями глубже обычных серверов; к глубине шасси добавляется место под кабели питания и связи сзади.
• Грузоподъёмность. Масса заполненной стойки достигает тонны и более. Проверяется допустимая нагрузка на фальшпол, на плиты и на опоры, а также маршрут заноса от разгрузочной площадки.
• Направляющие и крепёж. Комплекты направляющих идут под конкретную глубину монтажных стоек и не универсальны.
• Организация кабелей. Плотный жгут сзади перекрывает выход горячего воздуха; кабельные органайзеры и вертикальные каналы закладываются заранее.
• Доступ. Ширина прохода перед и за стойкой должна позволять извлечь узел целиком.

Сеть и вспомогательные системы

До заезда оборудования в стойке должны быть смонтированы коммутаторы и патч-панели с запасом портов, проложены линии до соседних стоек, подведена линия управления с отдельным сегментом для интерфейсов удалённого управления серверами. Отдельно проверяются датчики температуры на входе и выходе стойки, измерение потребления по розеточным блокам и подключение к системе мониторинга площадки.

Практическое правило — все вспомогательные системы вводятся и проверяются до заезда узлов. После установки оборудования доступ к задней части стойки ограничен, и прокладка линий превращается в отдельную работу с остановкой.

Что обнаруживается уже после монтажа

• Мощности ввода хватает на текущую загрузку, но не остаётся запаса на дозаполнение стойки.
• Розеточные блоки установлены так, что перекрывают доступ к кабелям узлов.
• Температура на входе верхних узлов выше, чем нижних, из-за возврата горячего воздуха через свободные юниты.
• Глубина стойки не позволяет закрыть заднюю дверь при подключённых кабелях.
• Нет измерения потребления по розеткам, и распределить нагрузку между фазами невозможно.
• Маршрут заноса проходит через проём, в который заполненная стойка не проходит по высоте.

Частые вопросы

Сколько узлов с ускорителями ставится в одну стойку? Ограничением почти всегда оказывается не число юнитов, а подведённая мощность и способность вынести тепло. При вводе на пятнадцать киловатт стойка заполняется меньше чем наполовину.

Нужна ли изоляция коридоров при одной стойке? Для одиночной стойки в общем помещении чаще применяют внутрирядный кондиционер или заднюю дверь с теплообменником. Изоляция коридоров имеет смысл при ряде из нескольких стоек.

Можно ли распределить узлы по нескольким стойкам вместо одной плотной? Можно, и это типовое решение при ограниченной мощности ввода. Плата за него — удлинение линий связи между узлами, что учитывается при расчёте сети кластера.

Что делать, если фальшпол не выдерживает массу стойки? Применяются опорные рамы с передачей нагрузки на перекрытие, либо стойка размещается вне зоны фальшпола с подводом кабелей сверху.

Что прислать для расчёта? План помещения с расстановкой стоек, характеристики ввода питания, схему и мощность системы охлаждения, допустимую нагрузку на перекрытие и фальшпол, габариты стоек и маршрут заноса, планируемое число узлов и их конфигурацию.

Что мы делаем

Считаем пиковое потребление и расход воздуха на стойку, проверяем схему ввода, розеточные блоки и аппараты защиты, подбираем решение по охлаждению под расчётную плотность мощности, проверяем механику размещения и маршрут заноса, составляем перечень работ до заезда оборудования. Направления — GPU NVIDIA и GPU-ускорители MetaX.

Пришлите план помещения и параметры ввода питания на sale@tkasiatorg.ru — рассчитаем мощность и расход воздуха, составим перечень подготовительных работ и подберём конфигурацию узлов.