Как подобрать ускоритель под размер модели и объём памяти

Объём видеопамяти — первое ограничение при подборе ускорителя. Модель, которая не укладывается в память карты вместе со служебными структурами, либо не запускается вовсе, либо требует разбиения между картами, и тогда к требованиям по памяти добавляются требования к межкарточной шине. Поэтому расчёт конфигурации начинается не с производительности, а с арифметики по памяти.

Ниже разобрано, из чего складывается потребность в памяти при обучении и при инференсе, чем различаются по этому признаку позиции линейки и когда задача решается одной картой, а когда требует узла. Направление — вычисления для ИИ и HPC на базе NVIDIA.

Из чего складывается потребность в памяти

Под инференсом в память карты помещаются веса модели и контекст запросов. Под обучением к весам добавляются градиенты, состояния оптимизатора и активации — суммарно это кратно больше объёма самих весов. Отсюда разница: модель, работающая на инференсе на одной карте, при обучении требует узла из нескольких.

• Веса модели. Основная и наиболее предсказуемая часть. Объём зависит от размера модели и от разрядности, в которой она хранится: переход на меньшую разрядность сокращает требование по памяти кратно.
• Состояния оптимизатора и градиенты. Присутствуют только при обучении и дообучении, в инференсе отсутствуют. Именно они делают обучение задачей для многокарточной конфигурации.
• Активации. Зависят от размера батча и длины контекста. Это та часть, которой управляют настройками, когда модель почти укладывается в память.
• Контекст запросов на инференсе. Растёт с длиной контекста и числом одновременных запросов. При плотном обслуживании потока именно он, а не веса, определяет требуемый объём.
• Служебный резерв. Часть памяти занимает окружение. Конфигурация, рассчитанная без запаса, упирается в предел при первом же изменении параметров нагрузки.

Линейка и соответствие задачам

• NVIDIA H200 — исполнение с максимальной памятью и пропускной способностью в линейке. Берётся под обучение больших моделей и тяжёлые расчётные задачи, где память карты — основное ограничение.
• NVIDIA H100 — основная карта для кластеров обучения и инференса в многокарточных конфигурациях. Выбирается, когда задача масштабируется между картами и нужен предсказуемый путь наращивания парка.
• NVIDIA L40S — универсальное исполнение для инференса, графики и видеоаналитики. Подходит, когда нагрузка смешанная и один пул карт обслуживает разные задачи.
• NVIDIA L4 — энергоэффективная карта под инференс и потоковую обработку видео в плотных стойках. Решает не объёмом памяти, а числом карт на юнит и стоимостью обслуживания запроса.
• Аналоги. MetaX C500 — аналог A100 с 64 ГБ памяти ECC, интерфейсом PCIe Gen4 и MetaXLink в конфигурациях на 2 и 4 карты при потреблении до 350 Вт. MetaX N260 — аналог A30 и V100 с 24–32 ГБ HBM2 с ECC и поддержкой виртуализации. Подробнее — в направлении ускорители MetaX.

Сравнение по характеру нагрузки

Закономерность в таблице такая: объём памяти определяет верхнюю границу решаемой задачи, а пропускная способность и плотность — экономику её выполнения. Поэтому две конфигурации с одинаковой суммарной памятью могут вести себя по-разному: восемь карт среднего класса и две карты старшего закрывают один объём, но первая связана межкарточным обменом, а вторая — нет.

Когда задача выходит за пределы одной карты

Как только модель разбивается между картами, к расчёту добавляются параметры, которых нет при одиночной карте.

• Межкарточная шина внутри узла. Определяет, с какой скоростью карты обмениваются данными при разбиении модели. У аналогов роль этой шины выполняет MetaXLink в конфигурациях на 2 и 4 карты.
• Сеть между узлами. Нужна, когда обучение идёт на нескольких серверах. Считается по объёму обмена на шаг обучения, а не по номинальной скорости порта.
• Подведённая мощность на стойку и тип охлаждения. Карты с потреблением в сотни ватт задают нагрузку, которую стойка должна отвести; у MetaX C500 заявлено потребление до 350 Вт на карту.
• Скорость хранилища. Если данные не успевают подаваться, карты простаивают, и наращивание их числа не даёт прибавки.
• Совместимость платформы: процессоры, число линий, матрица по блокам питания, глубина шкафа и тесты корпусов. Проверка выполняется до поставки, а не после.

Частые вопросы

Можно ли оценить требование по памяти до запуска модели? Порядок величины — да, по размеру модели, разрядности хранения весов и режиму работы. Точное значение зависит от длины контекста, размера батча и настроек окружения, поэтому конфигурация проверяется на пилотном узле с вашей нагрузкой.

Что выгоднее — меньше карт с большей памятью или больше карт среднего класса? Для обучения крупной модели — меньше карт с большей памятью: это снижает объём межкарточного обмена. Для пула инференса обычно выгоднее плотная конфигурация из карт среднего класса, потому что запросы независимы и считается стоимость обслуживания запроса.

Нужен ли сразу кластер или достаточно одного узла? Решается по тому, укладывается ли задача в суммарную память узла. Если укладывается, кластерная сеть не нужна, и бюджет лучше направить на память и хранилище.

Чем аналог отличается при подборе по памяти? Принцип расчёта тот же. Отличия — в экосистеме и в схемах масштабирования: у MetaX это MetaXLink и собственный программный стек, и перенос задач проверяется на пилоте до закупки серии.

Что прислать для расчёта? Тип и размер модели, режим работы — обучение, дообучение или инференс, объём и формат данных, требуемую длину контекста и ожидаемое число одновременных запросов, подведённую мощность на стойку, тип охлаждения и состав существующей платформы.

Что мы делаем

По профилю нагрузки считаем требование по памяти и подбираем исполнение, проверяем совместимость с серверной платформой, блоками питания и корпусом, рассчитываем связность узлов и мощность стойки, поставляем отдельные ускорители либо собранные и прогретые узлы с проверкой под нагрузкой до отгрузки, выполняем инсталляцию и сопровождаем парк после запуска. Направления — NVIDIA и MetaX.

Пришлите профиль нагрузки и данные по стойке на sale@tkasiatorg.ru — посчитаем конфигурацию под размер вашей модели и назовём сроки поставки.