L40S или L4 — какой ускоритель ставят под инференс и обработку видео

L40S и L4 — две карты NVIDIA, которые чаще всего рассматривают под инференс и обработку видео. Обе выполнены на архитектуре Ada Lovelace, обе ставятся в обычные серверные платформы по интерфейсу PCIe и не требуют шасси с посадочными местами SXM. Различие между ними не в поколении, а в классе потребления и объёме памяти, и именно это определяет, какая задача на какой карте окажется дешевле.

Ниже разобрано, чем эти карты различаются, какие сценарии закрывает каждая и по каким параметрам выбор делается до закупки. Линейка собрана на странице GPU-ускорители NVIDIA.

Чем различаются две карты

Главный разрыв в таблице — не память, а потребление. Разница между 72 и 350 Вт на карту при расчёте на узел и на стойку превращается в разные проекты по питанию и охлаждению: восемь карт L4 укладываются в бюджет, который одна L40S расходует почти целиком.

Когда берут L40S

• Инференс моделей, которым не хватает 24 ГБ. Модель и её рабочие данные должны поместиться в память одной карты целиком — иначе задача либо не запускается, либо расходует время на обмен с системной памятью.
• Дообучение на собственных данных небольшого объёма, когда полноценный кластер не нужен, но памяти и вычислительной мощности карты инференс-класса недостаточно.
• Графические и инженерные расчёты, визуализация и рендер — задачи, где востребованы графический конвейер и блоки ускорения трассировки.
• Смешанная нагрузка на одном парке: днём инженерные расчёты, ночью инференс и пакетная обработка.
• Память с коррекцией ошибок, когда расчёт идёт долго и перезапуск из-за единичного сбоя обходится дорого.

Когда достаточно L4

• Декодирование и анализ видеопотоков — задача, где определяющим ресурсом становится не вычислительная мощность, а число аппаратных блоков обработки видео и объём памяти на поток.
• Инференс компактных моделей, которые укладываются в 24 ГБ с запасом: детекторы, классификаторы, распознавание, обработка речи.
• Плотные стойки с ограниченным энергоснабжением, где важнее число карт на киловатт, чем производительность одной карты.
• Серверы, в которых нет свободного дополнительного питания и двухслотовых посадочных мест.
• Пограничные узлы и установка в небольших серверных, где воздушный поток и тепловыделение ограничены.

Если нагрузка сводится к обработке множества независимых потоков, решение почти всегда в сторону большего числа карт меньшего класса, а не одной мощной: потоки масштабируются линейно, а предельная производительность одной карты в этом сценарии не используется.

Что проверяется в серверной платформе

• Число и тип посадочных мест PCIe, их фактическая ширина по слотам и по механическому зазору.
• Разрешённое производителем платформы число карт — для пассивного охлаждения оно задаётся не слотами, а расчётом воздушного потока.
• Суммарная мощность блоков питания с запасом на пиковое потребление и резервирование.
• Наличие кабелей дополнительного питания нужного типа для карт класса 350 Вт.
• Температура воздуха на входе и допустимая температура на выходе при полной загрузке карт.
• Процессорные ресурсы и память узла — при обработке видео узел упирается в декодирование и подготовку данных не меньше, чем в карту.
• Пропускная способность хранилища и сети, если данные приходят на узел извне в реальном времени.

Как считают конфигурацию под задачу

• Фиксируется профиль нагрузки: размер модели в памяти, число одновременных запросов или потоков, допустимая задержка на запрос.
• Определяется требуемая память на один экземпляр задачи, затем — сколько экземпляров уместится в карту.
• Считается число карт на узел исходя из требуемой производительности и ограничений платформы по питанию и продуву.
• Проверяется стоимость владения на единицу работы — на запрос или на поток, а не на карту: именно здесь карты разного класса сравниваются корректно.
• Закладывается запас под рост числа потоков и под обновление моделей, которые обычно требуют больше памяти, чем предыдущие.
• Отдельно рассматривается вариант с ускорителями MetaX, если сроки поставки по выбранной позиции не укладываются в план проекта.

Частые вопросы

Можно ли объединить несколько L40S или L4 в один вычислительный пул? Карты этого класса соединяются по PCIe, без выделенной межкарточной шины. Задачи распределяются между картами на уровне программного обеспечения, поэтому хорошо масштабируются независимые потоки и хуже — одна большая модель, которой нужна общая память.

Подходит ли L40S для обучения? Для дообучения на умеренных объёмах данных — да. Для обучения больших моделей берут линейки с памятью HBM и межкарточной шиной: H100 и H200.

Что будет, если модель не помещается в 24 ГБ? Варианты — сокращение точности представления весов, разделение модели между картами или переход на карту с большей памятью. Первые два пути меняют качество и усложняют запуск, поэтому при устойчивой нагрузке обычно выбирают третий.

Сколько карт L4 имеет смысл ставить в один узел? Ограничение задаёт не число слотов, а воздушный поток и мощность блоков питания. Низкое потребление позволяет высокую плотность, но предел определяется допуском конкретной платформы, который проверяется до заказа.

Что прислать для расчёта? Перечень моделей с объёмом памяти под каждую, число одновременных потоков или запросов, допустимую задержку, модель и количество серверов, подведённую мощность на стойку и температуру воздуха в помещении.

Что мы делаем

Начинаем с профиля нагрузки, подбираем карту по памяти и потреблению, проверяем совместимость с серверной платформой по слотам, питанию и продуву, считаем число карт на узел и стоимость владения на запрос, при необходимости предлагаем аналог с подтверждённым сроком поставки. Направления — GPU-ускорители NVIDIA и GPU-ускорители MetaX.

Пришлите профиль нагрузки и состав серверного парка на sale@tkasiatorg.ru — подберём карту под задачу, проверим совместимость с платформой и рассчитаем конфигурацию узла со сроками поставки.