Что прислать для расчёта конфигурации с ускорителями NVIDIA

Расчёт конфигурации с ускорителями начинается не с выбора модели карты, а с описания задачи и площадки. Одна и та же модель в разных сценариях даёт разный результат: для обучения большой модели критичны объём памяти и связность карт, для инференса — плотность карт на юнит и стоимость владения на запрос, для видеоаналитики — число потоков и кодирование. Ниже перечислено, какие данные нужны, чтобы собрать спецификацию, и как каждый из них влияет на итог. Модельный ряд и состав поставки описаны на странице направления GPU-ускорители NVIDIA.

Профиль нагрузки

• Тип задачи. Обучение с нуля, дообучение, инференс, рендер или инженерные расчёты — у каждого сценария своя чувствительность к объёму видеопамяти и пропускной способности межкарточной шины.
• Модель и её размер. Число параметров, точность вычислений и размер контекста определяют минимально необходимый объём памяти на карту и возможность разместить модель целиком.
• Объём данных. Размер обучающего набора определяет требования к хранилищу и скорости чтения; без этого узел простаивает в ожидании данных.
• Режим работы. Непрерывная нагрузка, пакетные прогоны по расписанию или пиковые обращения пользователей — от этого зависит, считать ли по пиковой или по средней производительности.
• Требуемый отклик. Для сервисов инференса задаются ограничение по задержке и ожидаемое число запросов в секунду. Это переводится в число карт прямее, чем любая оценка «на глаз».

Если задач несколько и они разного класса, укажите их все: парк может разделяться между обучением и инференсом, а одна карта — между несколькими задачами. Как работает такое разделение, разобрано в материале режим MIG.

Что уже есть в инфраструктуре

• Серверные платформы. Модель шасси, число свободных слотов, установленные блоки питания, поддержка нужного форм-фактора. Иногда ускорители ставятся в имеющиеся серверы, иногда дешевле взять узел целиком.
• Процессоры и память узла. Ускорители не работают в отрыве от хоста: под ними нужны достаточные число ядер, объём оперативной памяти и линии PCIe.
• Сеть. Скорость и топология межузловой сети, наличие свободных портов. Для распределённого обучения это такой же ограничитель, как и сами карты.
• Хранилище. Тип, объём и реальная скорость чтения на тех операциях, которые даёт обучение.
• Имеющиеся ускорители. Модели и их количество: при расширении парка новые узлы подбираются с учётом того, что уже работает.

Данные по площадке

• Подведённая мощность на стойку и запас по вводу.
• Тип охлаждения — воздушное или жидкостное, температура воздуха в холодном коридоре.
• Глубина и высота шкафа, свободные юниты, допустимая нагрузка на стойку.
• Схема резервирования питания и наличие источников бесперебойного питания нужной мощности.
• Условия завоза и монтажа, если площадка удалённая.

Эти пункты определяют не модель карты, а то, сколько карт встанет в один шкаф и потребуется ли доработка машинного зала. Расчёт разобран подробно в материалах питание и охлаждение стойки под ускорители и что проверить в стойке до заезда серверов.

Как исходные данные превращаются в спецификацию

Выбор между отдельными картами и готовым узлом — отдельное решение, оно разобрано в материале отдельные ускорители или собранный узел, а распределение карт по узлам — в материале сколько ускорителей ставить в один узел.

Организационные данные

• Срок, к которому нужен работающий узел. От него считается обратный график: закупка, изготовление, перевозка, таможенное оформление, монтаж.
• Форма закупки. Процедура, требования к документам, порядок приёмки на стороне заказчика.
• Требования к документам. Сертификаты ЕАЭС, подтверждение происхождения, нотификации, выписки из реестров — состав зависит от позиции и от требований службы импорта.
• Контроль партии. Нужны ли фотоотчёт и видео перед отгрузкой, фиксация серийных номеров, пломбы и маркировка, нагрузочное тестирование партии до отправки.
• Сопровождение после запуска. Требуемое время реакции на отказ, необходимость запаса критичных компонентов, участие в инсталляции и обучении команды.

Чего в заявке обычно не хватает

• Указана только модель карты без описания задачи — проверить, подходит ли она, невозможно.
• Нет данных по мощности на стойку: конфигурация собирается, а разместить её на площадке не получается.
• Не указана сеть между узлами, хотя планируется распределённое обучение. Её влияние разобрано в материале на что влияет сеть между узлами.
• Не описано хранилище, хотя объём обучающего набора исчисляется десятками терабайт — подход к нему описан в материале как организовать хранилище данных для обучения.
• Не названы ограничения по сроку и бюджету, из-за чего не рассматриваются альтернативные варианты, например ускорители MetaX там, где они дают выигрыш по срокам поставки.

Частые вопросы

Можно ли прислать только задачу без технических данных?
Да, этого достаточно для первой итерации: по типу задачи, размеру модели и ожидаемой нагрузке собирается предварительный вариант. Уточняющие данные по площадке понадобятся до формирования окончательной спецификации.

Что делать, если характеристики нагрузки пока неизвестны?
Берётся минимальная конфигурация под замер — один узел, на котором прогоняются реальные задачи. По результатам считается серия, а конфигурация узла фиксируется для последующего расширения парка.

Нужно ли сразу определяться с моделью ускорителя?
Нет. Модель — результат расчёта, а не исходное данное. Если требование к модели задано документами закупки, это указывается отдельно как ограничение.

Насколько подробно описывать имеющуюся инфраструктуру?
Достаточно моделей серверов, числа свободных слотов, мощности блоков питания, параметров сети и хранилища. По этим данным проверяется, встанут ли карты в текущие платформы или нужны новые узлы.

Что входит в поставку кроме самих карт?
Проверка совместимости с платформой, комплект документов, контроль партии перед отгрузкой, инсталляция и сопровождение после запуска. Состав работ по сопровождению разобран в материале что входит в сопровождение GPU-кластера.

Опишите задачу — модель, объём данных, требуемую память, режим работы и условия площадки — и отправьте на sale@tkasiatorg.ru: подберём конфигурацию, проверим совместимость с вашими платформами и посчитаем сроки поставки.