Воздушное или жидкостное охлаждение MetaX C600 — что выбрать

Способ охлаждения ускорителей выбирается не по предпочтениям, а по располагаемой мощности на стойку и по тому, что уже есть в помещении. Один узел с полным набором ускорителей потребляет несколько киловатт, и восемь таких узлов в стойке дают тепловую нагрузку, которую воздушная система машинного зала может не отвести. Поэтому решение принимается до заказа оборудования: от него зависят и исполнение серверов, и состав инженерной части.

Разберём, при какой плотности мощности воздушного охлаждения достаточно, что входит в жидкостный контур, чем различаются варианты по обслуживанию и какие данные нужны для расчёта установки ускорителей MetaX.

От чего зависит выбор

• Мощность на стойку. Основной параметр. Определяется числом узлов, их потреблением и запасом на пиковые режимы. Точное значение потребления берётся из спецификации выбранной модели ускорителя и платформы.
• Возможности машинного зала. Располагаемая холодопроизводительность, схема подачи воздуха, наличие изолированных коридоров, высота помещения.
• Температура на входе. Чем выше температура подаваемого воздуха, тем меньше запас на отвод тепла от плотно установленных узлов.
• Существующая инфраструктура. Наличие водяного контура, чиллеров и трасс определяет, потребуется ли строить контур с нуля.
• Планируемый рост. Если кластер будет расширяться, схема выбирается под конечную конфигурацию, а не под первую очередь.
• Требования по шуму и месту. Для установки вне выделенного машинного зала это может стать определяющим ограничением.

Воздушное охлаждение

• Принцип. Тепло отводится воздухом, прокачиваемым вентиляторами узла, и уносится системой кондиционирования зала.
• Рабочий диапазон. Практический предел для стойки с обычной организацией потоков — порядка 15–20 кВт. С изоляцией горячего коридора и точной подачей воздуха достигаются более высокие значения.
• Что требуется в зале. Разделение горячего и холодного потоков, заглушки в свободных юнитах, отсутствие рециркуляции воздуха вокруг стоек.
• Плюсы. Простое обслуживание, отсутствие жидкости в стойке, привычные регламенты работ.
• Ограничения. При высокой плотности узлы приходится разносить по стойкам, что увеличивает длины сетевых трасс и число стоек.
• Запас. При работе близко к пределу отказ одного кондиционера приводит к быстрому росту температуры, поэтому резервирование холода обязательно.

Жидкостное охлаждение

• Прямое охлаждение компонентов. Теплосъёмники устанавливаются на ускорители и процессоры, тепло уносится теплоносителем. Остаточное тепло от остальных элементов по-прежнему отводится воздухом.
• Распределительный модуль. Разделяет внутренний контур стойки и внешний контур здания, поддерживает температуру и давление, содержит насосы и фильтры.
• Соединения. Быстроразъёмные соединения с самоперекрытием позволяют снимать узел без слива контура.
• Двери-теплообменники. Промежуточный вариант: теплообменник в задней двери стойки снимает тепло воздушного потока. Не требует изменений в самих узлах.
• Плюсы. Высокая плотность в стойке, меньше энергии на перемещение воздуха, ниже шум, компактнее кластер и короче сетевые трассы.
• Ограничения. Требуется проектирование контура, контроль качества теплоносителя, регламент обслуживания и подготовка персонала.

Сравнение вариантов

Значения плотности приведены как практические ориентиры для планирования. Итоговый расчёт выполняется по фактическому потреблению выбранных узлов и по параметрам помещения.

Что учитывать при внедрении

• Электрическая часть. Подводимая мощность, число вводов, распределение по фазам, резервирование питания. Мощность на охлаждение считается дополнительно к мощности оборудования.
• Пол и нагрузка. Стойка с плотной установкой узлов и жидкостным контуром весит существенно больше обычной; допустимая нагрузка на пол проверяется до монтажа.
• Трассы теплоносителя. Маршруты, уклоны, точки слива, датчики протечки и отсекающая арматура прорабатываются на этапе проекта.
• Качество теплоносителя. Состав и обслуживание определяются требованиями производителя оборудования; произвольная замена жидкости недопустима.
• Сетевая часть. Компактное размещение сокращает длины трасс и позволяет использовать кабельные сборки вместо оптики — это влияет и на стоимость, и на задержку между узлами.
• Регламент работ. Порядок отключения узла, замены теплосъёмника и проверки герметичности закрепляется до ввода в эксплуатацию.
• Мониторинг. Температуры, расход, давление и наличие протечек выводятся в общую систему наблюдения вместе с показателями узлов.

Что прислать для расчёта

• Планируемое число узлов и модели ускорителей.
• Располагаемую электрическую мощность и схему ввода.
• Параметры помещения: площадь, высота, существующая система охлаждения и её холодопроизводительность.
• Наличие водяного контура и точки подключения.
• Требования по шуму и по допустимой температуре в зале.
• План расширения на два-три года.
• Ограничения по срокам ввода в работу.

Частые вопросы

Можно ли начать с воздушного охлаждения и перейти на жидкостное позже? Можно, если это заложено в проект: оставлены место и трассы под контур, а стойки выбраны с возможностью установки теплообменника. Переход без подготовки требует замены исполнения узлов.

Что дешевле в эксплуатации? Жидкостное охлаждение расходует меньше энергии на отвод того же количества тепла, но требует затрат на инфраструктуру и обслуживание контура. Расчёт выполняется на срок эксплуатации кластера.

Обязательно ли жидкостное охлаждение для ускорителей? Нет. При невысокой плотности установки воздушного охлаждения достаточно. Решающим является не сам факт применения ускорителей, а мощность в пересчёте на стойку.

Насколько сложнее обслуживание? Замена узла выполняется через быстроразъёмные соединения и по сложности сопоставима с обычной. Дополнительными являются контроль теплоносителя и периодическая проверка контура.

Что делать, если зал не позволяет поднять мощность? Разнести узлы по большему числу стоек либо применить теплообменник в двери. Первый вариант увеличивает длины сетевых трасс, второй требует водяного контура до стойки.

Как учесть расширение? Считать инженерную часть под конечную конфигурацию, а оборудование закупать очередями. Достроить контур к работающему кластеру сложнее и дороже, чем предусмотреть запас изначально.

Что мы делаем

Считаем тепловую нагрузку по составу узлов, подбираем исполнение серверов и схему охлаждения под возможности помещения, комплектуем стойки, распределительные модули и сетевую часть, планируем очереди расширения. Поставляем ускорители MetaX и собираем кластеры целиком, в том числе на оборудовании NVIDIA.

Пришлите число узлов, располагаемую мощность и параметры помещения на sale@tkasiatorg.ru — посчитаем тепловую нагрузку, предложим схему охлаждения по вариантам и дадим спецификацию с инженерной частью.