Когда конфигурация с NVLink окупается, а когда достаточно PCIe
Какие задачи упираются в обмен между картами, чем конфигурация с NVLink отличается от PCIe, что проверяется в платформе и какие данные нужны для подбора.
NVLink — это прямая линия связи между ускорителями внутри узла, работающая параллельно шине PCIe и дающая на порядок большую пропускную способность. Она нужна там, где модель не помещается в память одной карты и вычисления идут одновременно на нескольких ускорителях с постоянным обменом промежуточными результатами. Если такого обмена нет, дополнительная плата за конфигурацию с NVLink не окупается.
Разберём, какие задачи упираются в связь между картами, чем конфигурация с NVLink отличается от конфигурации на PCIe, что проверяется в платформе и какие данные нужны для подбора. Модели и конфигурации собраны на странице ускорителей NVIDIA.
Когда обмен между картами становится ограничением
- Модель не помещается в память одной карты. Веса распределяются между ускорителями, и при каждом проходе часть данных передаётся между ними. Здесь скорость линии связи напрямую влияет на время расчёта.
- Обучение с разделением по слоям или по тензорам. Такие схемы требуют обмена на каждом шаге. Разница между прямой линией между картами и обменом через PCIe достигает кратных величин по времени эпохи.
- Синхронизация градиентов при параллельной обработке данных. Каждый шаг завершается сведением результатов со всех карт. Чем больше карт в узле, тем заметнее вклад обмена.
- Инференс больших языковых моделей. Если модель разнесена по нескольким картам, задержка ответа складывается из вычислений и из передачи между ускорителями.
Когда обмен между картами почти не влияет
- Каждая карта обрабатывает собственную задачу целиком — видеоаналитика по независимым потокам, пакетная обработка изображений, рендеринг.
- Инференс модели, которая помещается в память одной карты, и карты работают независимо друг от друга.
- Обучение небольших моделей, где шаг занимает секунды, а обмен — доли секунды.
- Задачи, где узким местом остаётся подача данных с хранилища, а не вычисления.
В этих случаях конфигурация на PCIe даёт ту же производительность при меньшей стоимости узла и более простых требованиях к охлаждению.
Сравнение конфигураций узла
| Конфигурация | Обмен между картами | Под какие задачи | На что смотреть |
|---|---|---|---|
| Карты на PCIe без мостов | через шину и процессор | независимые потоки, инференс на одной карте | число линий PCIe на карту |
| Карты на PCIe с мостами попарно | прямой внутри пары | модель на две карты | поддержка мостов конкретной моделью |
| Модульные ускорители с коммутатором NVLink | прямой между всеми картами узла | обучение крупных моделей | питание и охлаждение узла |
| Несколько узлов в кластере | через сеть между узлами | масштабирование сверх одного узла | пропускная способность и задержка сети |
Что проверяется в платформе
- Число линий PCIe на каждый слот. Часть платформ распределяет линии неравномерно, и карта в дальнем слоте получает вдвое меньше. Для задач с интенсивной подачей данных это ограничение.
- Поддержка мостов между картами. Она зависит и от модели ускорителя, и от расположения слотов: мост соединяет только соседние карты с определённым шагом.
- Питание. Узел с несколькими ускорителями требует блоков питания соответствующей мощности и резервирования; суммарное потребление считается по максимальному режиму.
- Охлаждение. Плотная установка карт требует продуманного воздушного потока или жидкостного контура. Перегрев снижает частоты и съедает выигрыш от быстрой линии связи.
- Процессор и память узла. Подача данных на ускорители ограничивается скоростью подсистемы памяти; слабый процессор превращает быстрый узел в простаивающий.
- Сеть между узлами. Если задача не помещается в один узел, к обмену внутри узла добавляется обмен между узлами — конфигурация кластера прорабатывается целиком, а не по отдельным серверам.
Что прислать для подбора
- Задачу: обучение, дообучение или инференс, и какие модели планируются.
- Размер модели и требуемый объём памяти под неё.
- Планируемое число одновременных задач или поток запросов.
- Условия площадки: доступная мощность на стойку, тип охлаждения, место в стойке.
- Планы по масштабированию — останется ли один узел или предполагается кластер.
Частые вопросы
Обязателен ли NVLink для обучения? Не обязателен. Он нужен там, где модель разнесена по нескольким картам с обменом на каждом шаге. Для обучения небольших моделей на независимых картах достаточно PCIe.
Насколько быстрее прямая линия связи? Пропускная способность прямой линии между картами на порядок выше, чем у PCIe. Насколько это ускорит конкретную задачу, зависит от доли обмена в общем времени шага.
Можно ли добавить мосты к уже установленным картам? Только если платформа и модели ускорителей это поддерживают и карты стоят в подходящих слотах. Проверяется до закупки, а не после.
Что важнее при инференсе — объём памяти или связь между картами? Обычно объём памяти: если модель помещается в одну карту, обмен не нужен вовсе. Связь становится важной, когда модель приходится разносить.
Чем ограничен размер узла? Питанием и охлаждением стойки. Узел с большим числом ускорителей требует подготовленной площадки, поэтому конфигурация согласуется с возможностями помещения.
Что мы делаем
Подбираем конфигурацию узла под задачу, а не под максимальные характеристики: проверяем, нужна ли прямая связь между картами, считаем объём памяти под модель, распределение линий PCIe, потребление и требования к охлаждению. Поставляем ускорители NVIDIA и серверные платформы под них, комплектуем узел целиком и прорабатываем схему расширения до кластера.
Пришлите задачу, размер модели и условия площадки на sale@tkasiatorg.ru — подберём конфигурацию под вашу нагрузку, покажем разницу между вариантами по стоимости и дадим спецификацию с ценами и сроками поставки.
