Сколько карт MetaX нужно под дообучение модели заданного размера

Число карт под дообучение определяется памятью, а не производительностью. Производительность влияет на то, сколько времени займёт проход по данным, а память — на то, запустится ли задача вообще. Поэтому конфигурация считается в два действия: сначала суммарная потребность в памяти под выбранный метод дообучения, затем округление до числа карт и до допустимых схем их объединения.

Ниже разобрано, из чего складывается потребность в памяти, как метод дообучения меняет результат в разы, какие конфигурации собираются на картах MetaX и что проверяется до закупки. Направление — ускорители MetaX.

Четыре группы данных в памяти карты

При дообучении в памяти карт одновременно находятся четыре группы данных. Три из них считаются от числа параметров модели, четвёртая зависит от параметров запуска и поддаётся управлению.

• Веса модели. В 16-битном представлении это примерно 2 байта на параметр. Модель на 7 млрд параметров занимает около 14 ГБ только весами.
• Градиенты. При полном дообучении рассчитываются для всех параметров и занимают столько же, сколько веса.
• Состояния оптимизатора. Для распространённых методов это наибольшая часть: совокупно с мастер-копией весов в повышенной разрядности она даёт порядка 12 байт на параметр. Именно эта группа переводит полное дообучение в многокарточную конфигурацию.
• Активации. Зависят от размера батча и длины контекста. Это та часть, которой управляют настройками: уменьшением батча, сокращением длины контекста или пересчётом активаций вместо их хранения.
• Служебный резерв. Часть памяти занимают окружение, буферы обмена между картами и фрагментация. Конфигурация, рассчитанная без запаса, упирается в предел при первом изменении параметров запуска.

Для оценки полного дообучения применяется суммарный ориентир около 16 байт на параметр без активаций. Для дообучения с обучаемыми адаптерами, когда основная часть весов остаётся неизменной, градиенты и состояния оптимизатора считаются только для малой доли параметров, и потребность падает примерно до разрядности весов плюс активации — то есть в несколько раз.

Карты и конфигурации

• MetaX C500 — 64 ГБ памяти с коррекцией ошибок, интерфейс PCIe Gen4, объединение по MetaXLink в конфигурациях на 2 и 4 карты, потребление до 350 Вт. Это основная позиция под дообучение: расчёт числа карт ведётся с шагом 64 ГБ.
• MetaX N260 — 24–32 ГБ памяти HBM2 с коррекцией ошибок и поддержкой виртуализации. Берётся под инференс, обработку видео и дообучение моделей небольшого размера с адаптерами.
• Шаг наращивания. Поскольку карты объединяются по 2 и по 4, расчётная потребность округляется не до любого числа, а до ближайшей допустимой конфигурации. Потребность в 150 ГБ закрывается не тремя картами, а узлом из четырёх.
• Переход на несколько узлов. Когда задача не укладывается в суммарную память одного узла, добавляется обмен между узлами по сети, и к расчёту памяти прибавляется требование к связности.

Расчёт по размеру модели

В таблице приведены ориентиры по памяти без активаций и соответствующие им конфигурации на картах C500 с 64 ГБ. Активации добавляются сверху и зависят от батча и длины контекста, поэтому конфигурация берётся с запасом, а не на границе.

Что меняет результат расчёта

• Метод дообучения. Переход от полного дообучения к обучаемым адаптерам сокращает потребность в памяти в несколько раз и чаще всего определяет, нужен ли узел или достаточно одной карты.
• Разрядность весов. Хранение весов в меньшей разрядности сокращает соответствующую часть пропорционально, но влияет на итоговое качество и проверяется на задаче до закупки серии.
• Длина контекста. Активации растут с длиной контекста, и для моделей, дообучаемых на длинных документах, эта часть сопоставима с весами.
• Размер батча. Уменьшение батча снижает потребность в памяти, но увеличивает время прохода по данным. Это обмен памяти на время, а не способ уложиться бесплатно.
• Схема разбиения. Распределение состояний оптимизатора и градиентов между картами снижает требование к каждой отдельной карте, но повышает нагрузку на связность и требует MetaXLink в конфигурации, а не только PCIe.
• Объём и формат данных. Потребность в памяти карты он не меняет, но определяет требования к хранилищу и к скорости подачи данных — на этом месте конфигурация узла упирается не в карты.

Что проверяется до закупки

Расчёт по памяти даёт минимальную конфигурацию, но закупка узла требует проверки нескольких условий на стороне платформы и площадки. Проверки выполняются до заказа, иначе они переносятся на этап монтажа.

• Серверная платформа. Число слотов нужного исполнения, схема продува под карты с пассивным охлаждением, запас по мощности блоков питания с учётом потребления до 350 Вт на карту.
• Схема объединения карт. Нужна ли конфигурация на 2 или на 4 карты по MetaXLink — от этого зависит выбор платформы и компоновка узла.
• Питание и охлаждение стойки. Потребление узла считается заранее и сверяется с подведённой мощностью и способностью отвести тепло.
• Программный стек. Совместимость используемых библиотек и инструментов проверяется на пилоте — это самостоятельный этап, а не следствие расчёта по памяти.
• Хранилище и подача данных. Под дообучение требуется хранилище, способное подавать данные без простоя карт; объём считается по датасету с запасом на промежуточные состояния.

При переносе задач с карт другого производителя расчёт по памяти выполняется заново: ориентиры в байтах на параметр не меняются, но объём памяти карты и схема объединения различаются, и число карт получается другим. Сравнение исполнений приведено в направлении ускорители NVIDIA.

Частые вопросы

Можно ли дообучить модель на 7 млрд параметров на одной карте? С обучаемыми адаптерами — да, потребность укладывается в 64 ГБ с запасом на активации. Полное дообучение той же модели в одну карту не укладывается и требует узла.

Почему расчётные 150 ГБ закрываются четырьмя картами, а не тремя? Карты объединяются в конфигурации на 2 и на 4, поэтому потребность округляется до допустимой схемы. Три карты не образуют штатную конфигурацию объединения.

Что делать, если задача укладывается в память на границе? Конфигурация на границе неустойчива: изменение длины контекста или батча выводит её за предел. Берётся следующая конфигурация либо сокращается потребность — пересчётом активаций или меньшей разрядностью весов.

Когда нужен второй узел, а не карты в тот же узел? Когда исчерпаны слоты платформы или суммарная память узла. Переход ко второму узлу добавляет требование к сети между узлами, и оно считается вместе с памятью.

Что прислать для расчёта? Размер модели в параметрах, метод дообучения, требуемую длину контекста и размер батча, объём и формат датасета, ограничение по времени одного прохода, подведённую мощность на стойку, тип охлаждения и состав имеющейся платформы.

Что мы делаем

Считаем потребность в памяти по размеру модели и методу дообучения, подбираем конфигурацию карт и серверную платформу, проверяем запас по питанию и схему охлаждения узла, рассчитываем связность при переходе на несколько узлов, поставляем отдельные карты либо собранные и проверенные под нагрузкой узлы и сопровождаем парк после запуска. Направления — MetaX и NVIDIA.

Пришлите размер модели и параметры запуска на sale@tkasiatorg.ru — посчитаем число карт и назовём конфигурацию узла со сроками поставки.