Как читать конфигурацию сервера с ускорителями в спецификации поставщика
Из каких частей состоит спецификация сервера с ускорителями, что означает каждое обозначение, где чаще всего обнаруживаются расхождения и что проверяется до подписания.
Спецификация на сервер с ускорителями умещается в несколько строк, и в этих строках заложено всё, что определяет пригодность платформы: число и исполнение ускорителей, схема их соединения, конфигурация процессоров и памяти, подсистема хранения, сетевые адаптеры, блоки питания и способ охлаждения. Строка «сервер 8 × H200» без остальных данных не позволяет ни сравнить предложения, ни понять, заработает ли конфигурация под задачу.
Ниже — из каких частей состоит спецификация, что означает каждое обозначение, где чаще всего обнаруживаются расхождения и что проверяется до подписания. Направление описано на странице GPU NVIDIA.
Из каких частей состоит спецификация
- Платформа. Модель шасси, высота в единицах стойки, глубина, число отсеков под ускорители и максимальная рассеиваемая мощность. От высоты и глубины зависит, встанет ли сервер в существующую стойку.
- Ускорители. Модель, исполнение, объём памяти на карту, количество. Для одной и той же модели встречаются исполнения с разным форм-фактором и разным тепловым пакетом.
- Схема соединения ускорителей. Указывается явно: обмен через системную шину либо через отдельную шину связи между картами. Это определяет скорость обмена при обучении на нескольких картах.
- Процессоры. Модель, число ядер, число линий системной шины. Линий должно хватать на все ускорители и сетевые адаптеры одновременно.
- Память. Объём, число модулей, число заполненных каналов. Частично заполненные каналы снижают пропускную способность независимо от суммарного объёма.
- Хранение. Отдельно системные накопители и отдельно накопители под данные обучения, с указанием интерфейса и ресурса записи.
- Сеть. Число и скорость портов, тип адаптера, наличие отдельной сети для обмена между узлами.
- Питание и охлаждение. Число блоков питания, схема резервирования, входное напряжение, тип охлаждения.
- Комплект монтажа. Направляющие, кабели питания, оптические модули и соединительные кабели между узлами.
Что означают обозначения в строках
| Строка спецификации | Что из неё следует | Что уточняется |
|---|---|---|
| Исполнение ускорителя | Форм-фактор и способ охлаждения карты | Встанет ли карта в указанное шасси и хватит ли продува |
| Объём памяти на карту | Предел размера модели, который поместится без разбиения | Тип памяти и пропускная способность, а не только объём |
| Схема связи между картами | Скорость обмена при обучении на нескольких картах | Все карты в одном домене связи или разбиты на группы |
| Число линий системной шины на процессор | Можно ли подключить все карты и адаптеры на полной скорости | Есть ли коммутаторы шины и как распределены линии |
| Число модулей памяти | Заполнены ли все каналы контроллера | Сколько каналов у процессора и сколько занято |
| Мощность блоков питания | Допустимая суммарная нагрузка шасси | Схема резервирования и мощность при отказе одного блока |
| Тип охлаждения | Требования к стойке и к помещению | Расход воздуха или параметры жидкостного контура |
Где чаще всего обнаруживаются расхождения
- Исполнение ускорителя не соответствует шасси. Карта для сервера и карта для рабочей станции различаются охлаждением и габаритом, и в спецификации это иногда не разделено.
- Схема связи между картами не указана. Конфигурация с обменом только через системную шину дешевле, но при обучении на восьми картах даёт заметно меньшую скорость.
- Линий системной шины не хватает. Восемь ускорителей и два сетевых адаптера на полной скорости требуют определённого числа линий, и экономия на процессоре превращается в ограничение пропускной способности.
- Память набрана крупными модулями при незаполненных каналах. Суммарный объём соответствует требованию, пропускная способность — нет.
- Накопители под данные не отделены от системных. Обучение читает данные постоянно, и ресурс записи системного накопителя для этого не рассчитан.
- Мощность блоков питания указана суммарно, без учёта резервирования. При схеме с резервом допустимая нагрузка равна мощности без одного блока.
- Не указаны оптические модули и кабели между узлами. При сборке кластера это отдельная и заметная часть сметы.
- Не указана прошивка и версия системного программного обеспечения — от неё зависит поддержка конкретного исполнения ускорителя.
Как спецификация сверяется с задачей
- Объём памяти на карту сопоставляется с размером модели и выбранным режимом работы. Если модель не помещается на одну карту, важнее становится схема связи между картами.
- Число карт в узле сопоставляется с характером задачи: обучение требует быстрого обмена между картами, инференс чаще масштабируется независимыми картами.
- Конфигурация процессоров и памяти проверяется по требованию к подготовке данных: при интенсивной предобработке на узел нужно больше ядер и памяти.
- Подсистема хранения проверяется по скорости чтения набора данных: если данные читаются быстрее, чем их отдаёт накопитель, ускорители простаивают.
- Сетевые порты проверяются по схеме кластера: для обмена между узлами нужна отдельная сеть с низкой задержкой, а не тот же порт, что для управления.
- Электрическая и тепловая часть проверяется по стойке: суммарная мощность узлов не должна превышать подведённую к стойке, а расход воздуха — возможности помещения.
- Подбор ускорителей под задачу и совместимость с платформой — отдельная часть работы; модельный ряд описан на странице GPU NVIDIA, альтернативные ускорители — на странице GPU MetaX.
Что проверяется до подписания
- Полное обозначение модели и исполнения каждого ускорителя, а не короткое название линейки.
- Схема связи между картами с указанием числа карт в одном домене.
- Модель процессоров, число ядер и число линий системной шины.
- Число модулей памяти и число каналов, которые они заполняют.
- Раздельный перечень системных накопителей и накопителей под данные с интерфейсом и ресурсом записи.
- Число и скорость сетевых портов, включая отдельную сеть для обмена между узлами.
- Мощность блоков питания, схема резервирования и входное напряжение.
- Тип охлаждения и требования к стойке и помещению.
- Комплект монтажа, кабели и оптические модули.
- Состав документов на поставку и условия гарантии на ускорители.
Частые вопросы
Почему два предложения с одинаковым числом ускорителей различаются по цене в разы? Чаще всего различается исполнение карт, схема связи между ними, конфигурация процессоров и памяти, а также состав сетевой части. Сравнение имеет смысл только по полной спецификации, строка с числом карт для этого недостаточна.
Что важнее — объём памяти карты или число карт? Это зависит от задачи. Если модель не помещается в память одной карты, разбиение между картами требует быстрого обмена и усложняет конфигурацию. Если модель помещается, число карт определяет пропускную способность по задачам.
Можно ли поставить ускорители в имеющийся сервер? Иногда можно, но проверяется несколько условий: механический габарит, число свободных линий системной шины, мощность и разъёмы блоков питания, расход воздуха и поддержка карты в прошивке платформы. Отсутствие любого из условий делает установку невозможной.
Нужна ли отдельная сеть между узлами кластера? При обучении на нескольких узлах — да, иначе обмен между узлами становится узким местом. При независимых задачах инференса достаточно общей сети.
Что прислать для расчёта? Задачу и размер модели, предполагаемый режим работы, объём набора данных и требуемую скорость его чтения, число узлов, подведённую к стойке мощность и тип охлаждения, имеющиеся серверы, если рассматривается установка карт в них.
Что мы делаем
Разбираем спецификацию поставщика построчно и приводим предложения к сопоставимому виду, проверяем совместимость ускорителей с платформой по габариту, линиям шины, питанию и прошивке, считаем мощность и расход воздуха на стойку, подбираем подсистему хранения и сетевую часть под задачу, комплектуем поставку кабелями и оптическими модулями. Направления — GPU NVIDIA и GPU MetaX.
Пришлите спецификацию поставщика и описание задачи на sale@tkasiatorg.ru — разберём её построчно, укажем расхождения и предложим конфигурацию под задачу.

