Что входит в сопровождение GPU-кластера и как устроена реакция на отказ
Отказ одного ускорителя останавливает расчёт целиком, поэтому сопровождение кластера строится вокруг наблюдения, складского запаса и заданных сроков реакции. Разбираем, что отказывает чаще всего, из чего складывается обслуживание и что фиксируется в договоре.
Кластер на ускорителях отличается от обычного серверного парка плотностью и связностью. Узел потребляет киловатты, узлы связаны между собой быстрой сетью, а расчёт идёт одновременно на всех — отказ одного ускорителя останавливает задачу целиком, а не снижает её производительность на долю. Поэтому сопровождение такого парка строится не вокруг ремонта после отказа, а вокруг наблюдения, запаса и порядка действий с заранее заданными сроками.
Разберём, из чего складывается сопровождение, какие отказы происходят чаще всего, как устроена реакция и что фиксируется в договоре. Оборудование собрано на страницах направлений ускорителей NVIDIA и ускорителей MetaX.
Что отказывает чаще всего
- Ускоритель. Отказ или деградация памяти, срабатывание защиты по температуре, потеря связи с узлом по шине расширения.
- Охлаждение. Вентиляторы узла и стойки, засорение радиаторов, в системах с жидкостным контуром — насосы, соединения и теплоносители.
- Питание. Блоки питания узла, кабели, автоматы ввода. Узел с несколькими ускорителями потребляет на порядок больше обычного сервера, и слабым местом становится вся цепь до стойки.
- Связность узлов. Приёмопередатчики, кабели, порты коммутаторов фабрики. На распределённом обучении отказ линии между узлами останавливает расчёт так же, как отказ карты.
- Накопители. Локальные диски узла под данные и контрольные точки работают в режиме постоянной записи и расходуют ресурс быстрее обычного.
Из чего складывается сопровождение
- Наблюдение за состоянием. Сбор температур, потребления, счётчиков ошибок памяти, состояния вентиляторов и статистики ошибок на портах фабрики. Пороговые значения задаются заранее, а не подбираются после первого отказа.
- Регламентное обслуживание. Чистка воздушных трактов, проверка затяжки и состояния кабелей питания, контроль жидкостного контура, проверка резервных блоков питания под нагрузкой.
- Складской запас. Комплект быстрозаменяемых позиций на площадке: ускоритель, блок питания, вентиляторный модуль, приёмопередатчики, кабели, накопитель.
- Порядок действий при отказе. Кто фиксирует событие, как выводится узел из расчёта, в какой срок выполняется замена и как узел возвращается в работу после проверки.
- Обновления. Версии микропрограмм, драйверов и библиотек обновляются окном, а не по мере выхода: несогласованное обновление одного узла выводит его из кластера.
- Отчётность. Журнал событий и замен, по которому видно накопление отказов на конкретных позициях парка.
Как устроена реакция на отказ
| Событие | Что происходит | Чем закрывается |
|---|---|---|
| Рост числа исправленных ошибок памяти ускорителя | Карта берётся под наблюдение, расчёт продолжается | Плановая замена в ближайшее окно обслуживания |
| Необнаруживаемая ошибка памяти | Узел выводится из расчёта | Замена ускорителя из складского запаса |
| Перегрев и сброс частоты | Производительность падает, расчёт замедляется на всех узлах | Проверка охлаждения узла и стойки, чистка трактов |
| Отказ блока питания узла | Узел работает на оставшихся блоках либо останавливается | Замена блока, проверка нагрузки на ввод |
| Ошибки на портах фабрики | Обмен между узлами замедляется, расчёт растягивается | Замена приёмопередатчика или кабеля, чистка разъёмов |
| Отказ локального накопителя | Теряются контрольные точки узла | Замена накопителя, восстановление с общего хранилища |
Почему запас на площадке важнее скорости поставки
Ускорители и приёмопередатчики для кластеров — позиции с длительным сроком поставки, и срок этот не сокращается ни при каких условиях договора. Единственный способ уложиться в короткое время восстановления — держать комплект на объекте.
- Число запасных ускорителей считается от размера парка и допустимого простоя: на небольшом кластере обычно закладывают по одной карте на узел-эквивалент, на крупном — долю от общего числа.
- Приёмопередатчики и кабели держатся в количестве, покрывающем отказ нескольких линий, — это самая дешёвая часть запаса и самая частая замена.
- Блоки питания и вентиляторные модули берутся по одному комплекту на модель узла.
- Запас проверяется на работоспособность при поступлении, а не в момент отказа: неисправная запасная карта, лежавшая год, обнаруживается в худший момент.
Что фиксируется в договоре сопровождения
- Перечень оборудования, на которое распространяется сопровождение, с серийными номерами.
- Время реакции и время восстановления по категориям событий — раздельно для остановки кластера и для деградации.
- Состав и место хранения складского запаса, порядок его пополнения после использования.
- Периодичность регламентных работ и окна для обновлений.
- Порядок диагностики и признания случая гарантийным, если оборудование на гарантии.
- Отчётность: что и с какой периодичностью передаётся заказчику.
Частые вопросы
Нужно ли резервировать узлы или достаточно запаса деталей? На распределённом обучении полезен резервный узел: он позволяет продолжить расчёт с контрольной точки, пока отказавший восстанавливается. При инференсе достаточно запаса и перераспределения нагрузки.
Можно ли обслуживать кластер силами своей службы? Регламентные работы и замену быстрозаменяемых позиций — да, при наличии запаса и обученного персонала. Диагностика отказов, связанных со связностью узлов и микропрограммами, обычно требует участия поставщика.
Как часто обновлять драйверы и библиотеки? По необходимости и одним окном на весь кластер. Обновление ради версии на работающем расчётном контуре чаще создаёт проблемы, чем решает.
Что делать с картами, выведенными из работы? Отправлять на диагностику и, при подтверждении, по гарантии. Хранить их вместе с исправным запасом нельзя — рано или поздно неисправная карта попадёт обратно в узел.
Что мы делаем
Подбираем состав складского запаса под размер парка и допустимый простой, настраиваем сбор показателей состояния и пороговые значения, ведём регламентное обслуживание узлов и стоек, выполняем замену и диагностику, планируем окна обновлений и поставляем ускорители, приёмопередатчики и комплектующие напрямую от изготовителя. Линейки оборудования — на страницах направлений NVIDIA и MetaX.
Пришлите состав парка, требуемое время восстановления и условия площадки на sale@tkasiatorg.ru — предложим схему сопровождения со складским запасом и сроками реакции и дадим расчёт с ценами и сроками поставки.
