Что входит в приёмо-сдаточные испытания GPU-кластера

Приёмо-сдаточные испытания — это проверка собранного кластера на площадке перед передачей в работу. Их задача не повторить заводской контроль карт, а убедиться, что узлы, сеть, хранилище и инженерная инфраструктура работают вместе под нагрузкой и что результат зафиксирован документом. Ниже разобрано, из каких блоков состоит такая проверка, что измеряется на каждом шаге и что должно попасть в протокол. Состав поставки и сопровождения описан на страницах направлений ускорители NVIDIA и ускорители MetaX.

Что проверяется до включения

• Комплектность. Сверка поставленного с спецификацией: число узлов, карт, адаптеров, кабелей, комплектов монтажа. Фиксируются серийные номера — они понадобятся при любом гарантийном обращении.
• Монтаж. Правильность установки в шкаф, крепление, укладка кабеля, свободный проход воздуха, отсутствие механических повреждений после перевозки.
• Электрическая часть. Подключение по вводам, распределение нагрузки между линиями, соответствие фактической схемы проекту. Готовность шкафа проверяется заранее — порядок описан в материале что проверить в стойке до заезда серверов.
• Версии прошивок. Фиксируются версии микропрограмм платформы, карт и сетевых адаптеров: расхождение версий между узлами — частая причина разного поведения одинаковых серверов.

Проверка узла под нагрузкой

• Обнаружение оборудования. Все установленные ускорители определяются системой, занимают ожидаемые линии шины, отдают корректные идентификаторы и объём памяти.
• Память и коррекция ошибок. Проверяется доступный объём и работа механизма коррекции; накопление исправленных ошибок на одной карте во время прогона — повод разобраться до передачи в работу, а не после.
• Нагрузочный прогон. Длительный прогон вычислительной нагрузки на всех картах узла одновременно. Смотрят стабильность, отсутствие сбросов и ошибок, поведение под постоянной нагрузкой, а не в коротком тесте.
• Тепловой режим. Температуры карт и воздуха на входе и выходе, момент снижения частот при нагреве. Если частоты падают раньше согласованной границы, разбирается охлаждение, а не карта.
• Потребление. Фактическая мощность узла под нагрузкой сравнивается с расчётной — это проверка того, что расчёт стойки сделан верно. Методика расчёта разобрана в материале питание и охлаждение стойки под ускорители.

Проверка связности

• Внутри узла. Пропускная способность между картами по межкарточной шине и по шине платформы; результат сравнивается с ожидаемым для выбранной схемы подключения. Разбор схем — в материале сколько ускорителей ставить в один узел.
• Между узлами. Пропускная способность и задержка на межузловой сети, потери пакетов, корректность настройки портов. Для распределённого обучения это такой же критичный параметр, как производительность карт — подробнее в материале на что влияет сеть между узлами.
• Коллективные операции. Прогон обмена между всеми узлами сразу: именно здесь проявляются ошибки в топологии и неверно собранные группы.
• Хранилище. Скорость чтения на профиле, близком к реальному обучению, и поведение при одновременном обращении нескольких узлов. Подход описан в материале как организовать хранилище данных для обучения.

Состав испытаний по блокам

Прикладной тест и мониторинг

Синтетические тесты показывают исправность, но не отвечают на вопрос, решает ли кластер поставленную задачу. Поэтому в программу испытаний включают прогон реальной нагрузки заказчика — обучение на подготовленном наборе данных или прогон сервиса инференса с заданным потоком запросов. Результат сравнивается с ожидаемым, согласованным до поставки: это защищает обе стороны от спора о том, что считать нормой.

Одновременно проверяется телеметрия: собираются ли показатели загрузки, температур, потребления и ошибок, настроены ли пороги и оповещения, доступны ли данные эксплуатирующей службе. Какие показатели имеет смысл снимать постоянно, разобрано в материале мониторинг загрузки GPU-кластера.

Что должно остаться после испытаний

• Протокол с перечнем проверок, измеренными значениями и отметкой о соответствии согласованным требованиям.
• Зафиксированная конфигурация узла — модели компонентов, версии прошивок и драйверов, схема подключения. Повторные закупки идут по этому описанию.
• Перечень замечаний с порядком и сроком устранения, если они есть.
• Регламент обслуживания и порядок обращения при отказе, включая время реакции и запас критичных компонентов. Состав сопровождения описан в материале что входит в сопровождение GPU-кластера.
• Отметка об обучении эксплуатирующей команды работе с мониторингом и порядком обновлений.

Что согласовать до поставки

• Перечень проверок и длительность нагрузочного прогона.
• Условия в машинном зале, при которых проводятся измерения: температура воздуха, доступная мощность.
• Прикладной тест и ожидаемый результат по нему.
• Порядок действий при выявлении отказа одной карты или одного узла — замена, повторный прогон, частичная приёмка.
• Кто участвует в испытаниях со стороны заказчика и кто подписывает протокол.

Частые вопросы

Чем приёмо-сдаточные испытания отличаются от проверки партии перед отгрузкой?
Перед отгрузкой проверяются сами карты и комплектность партии. На площадке проверяется собранная система: узлы, сеть, хранилище, питание и охлаждение в реальных условиях зала.

Сколько длится нагрузочный прогон?
Длительность согласовывается заранее и зависит от размера кластера и требований заказчика. Короткий прогон показывает грубые дефекты, длительный — проблемы теплового режима и нестабильность отдельных узлов.

Что делать, если одна карта не прошла проверку?
Карта заменяется, узел прогоняется повторно. В протоколе фиксируются и отказ, и результат повторного прогона: эта запись пригодится при разборе гарантийных случаев.

Нужны ли испытания, если кластер собран из узлов одного типа?
Да. Одинаковые узлы расходятся по версиям прошивок, качеству сборки и условиям размещения в шкафу. Проверка показывает это до того, как расхождение проявится в расчётах.

Отличается ли программа испытаний для карт в исполнении OAM?
Базовые блоки те же, но добавляется проверка базовой платы и шасси целиком — питание и связность идут через них. Особенности исполнения разобраны в материале серверная платформа под карты MetaX в исполнении OAM.

Пришлите состав кластера и требования к приёмке на sale@tkasiatorg.ru — согласуем программу испытаний, проведём прогон на площадке и передадим протокол с зафиксированной конфигурацией узлов.