Чем различаются исполнения ускорителей MetaX по памяти и форм-фактору

Подбор ускорителей MetaX начинается не с производительности, а с двух величин — объёма памяти на карту и исполнения корпуса. Первая определяет, какая модель поместится в одну карту и сколько карт потребуется под задачу. Вторая задаёт тип серверной платформы, подвод питания, схему охлаждения и предел, до которого парк можно наращивать. Остальные параметры подбираются после того, как эти две определены.

Ниже разобрано, чем различаются выпускаемые исполнения по памяти, форм-фактору, связности и энергопотреблению, и как по этим признакам выбирается конфигурация. Направление целиком — на странице ускорителей MetaX.

Две линии исполнений — PCIe и OAM

Исполнения делятся по способу установки в платформу, и это первое разделение, которое закрывает или открывает часть конфигураций.

• Карты PCIe. Устанавливаются в слот расширения серверной платформы, занимают, как правило, два слота по высоте, охлаждаются продувом корпуса. Требуют от платформы свободных слотов нужного поколения, разъёмов дополнительного питания и организованного продува. Подбор платформы под это исполнение разобран в статье Как подбирают серверную платформу под карты MetaX в исполнении PCIe.
• Модули OAM. Устанавливаются не в слот, а на базовую плату платформы, рассчитанную на этот стандарт. Платформа закупается целиком, подобрать её из имеющегося парка обычных серверов нельзя. Что проверяется в такой платформе, разобрано в статье Что проверить в серверной платформе под карты MetaX в исполнении OAM.

Разделение определяет не только монтаж. Исполнение OAM рассчитано на большее энергопотребление на карту, больший объём памяти и более плотную связность между картами — то есть на конфигурации, которые в формате PCIe не собираются.

Чем различаются исполнения

В таблице сведены признаки, по которым исполнения различаются при подборе. Величины приведены по данным направления; точные характеристики конкретной партии подтверждаются спецификацией.

Как память на карту связана с задачей

• Инференс и видеоаналитика. Модель размещается в памяти одной карты целиком, и 64 ГБ закрывают большинство задач. Определяющим становится не объём, а число потоков и пропускная способность декодирования. Расчёт разобран в статье Какая конфигурация MetaX нужна под видеоаналитику на потоках.
• Дообучение. В память помещаются не только веса, но и градиенты, состояния оптимизатора и активации. Здесь объём на карту определяет, собирается ли задача на двух картах или требует восьми. Порядок расчёта разобран в статье Сколько карт MetaX нужно под дообучение модели заданного размера.
• Обучение с нуля и большие контексты. Задача распределяется по картам, и определяющими становятся суммарная память связки и пропускная способность межсоединения. Исполнение с 144 ГБ на карту сокращает число карт в связке и объём обмена между ними.
• Смешанный парк. При разных исполнениях в парке задачи распределяются по типу карт. Как это организуется, разобрано в статье Как распределять задачи по парку из ускорителей разных производителей.

Что ещё меняется вместе с исполнением

• Подвод питания. Разница между картой на 350 Вт и модулем на 1000 Вт переносится на блоки питания узла, автоматы и распределение по стойке. Порядок расчёта разобран в статье Как считают запас по питанию при наращивании парка MetaX.
• Охлаждение. Исполнения до 350 Вт обслуживаются воздушным продувом при обеспеченном расходе и перепаде давления. Для 1000 Вт на модуль воздушное охлаждение возможно, но требует проверки машинного зала; жидкостное снимает ограничение по плотности стойки и добавляет контур с его обслуживанием. Сравнение для C600 разобрано в статье Воздушное или жидкостное охлаждение MetaX C600 — что выбрать.
• Предел наращивания. Связка на 2–4 карты, оптическое соединение на 16–64 карты и схема MetaXLink с Ethernet до 256 карт — это три разных потолка. Если парк планируется расширять, потолок выбирается с запасом, иначе расширение потребует смены исполнения. Ограничения оптических трасс разобраны в статье Что ограничивает длину оптических трасс при объединении карт MetaXLink.
• Виртуализация ресурсов. Поддержка разделения карты между задачами указывается по исполнению. Если планируется работа нескольких команд на общем парке, это проверяется до выбора. Порядок разделения разобран в статье Как разделить ресурсы ускорителей MetaX между командами.
• Контроль и исправление ошибок памяти. Присутствует в перечисленных исполнениях и существен для длительных расчётов: однократная ошибка в памяти прерывает прогон, который считался сутки. Подробнее — в статье Зачем ускорителю память с коррекцией ошибок при обучении больших моделей.

Частые вопросы

С чего начинать выбор исполнения?
С объёма памяти, требуемого задачей на одну карту, и с того, есть ли на площадке серверные платформы. Если платформы есть и в них свободны слоты с питанием — рассматривается исполнение PCIe. Если платформы закупаются вместе с картами и задача крупная — исполнение OAM.

Можно ли собрать связку из карт разных исполнений?
В пределах одной задачи это не делается: расчёт распределяется по картам, и производительность определяется самой медленной с наименьшей памятью. Разные исполнения в парке разделяются по задачам, а не объединяются в одну связку.

Что определяет, хватит ли 64 ГБ на карту?
Размер модели, формат представления весов, метод обучения или дообучения и длина контекста. Для инференса и видеоаналитики этого объёма достаточно в большинстве конфигураций; для обучения расчёт ведётся по сумме весов, градиентов, состояний оптимизатора и активаций.

Обязательно ли жидкостное охлаждение для исполнения на 1000 Вт?
Не обязательно — предусмотрены оба варианта. Решение принимается по машинному залу: выделенной мощности на стойку, расходу воздуха, перепаду температур и наличию контура охлаждающей жидкости. При высокой плотности стоек жидкостное охлаждение оказывается единственным рабочим вариантом.

Как исполнение влияет на срок поставки?
Исполнения PCIe чаще поставляются картами, в том числе из складских остатков. Конфигурации OAM поставляются узлом с базовой платой и проверяются до отгрузки, поэтому срок определяется сборкой узла. Порядок закрепления сроков в договоре разобран в статье Что входит в договор поставки ускорителей MetaX.

Что прислать для подбора. Задачу и режим работы — обучение, дообучение или инференс, размер модели и формат весов, требуемую производительность или число потоков, наличие и модель серверных платформ, выделенную мощность на стойку и способ охлаждения, планируемый предел наращивания парка, требования по разделению ресурсов между командами.

Что мы делаем

Считаем требуемый объём памяти на карту по задаче, подбираем исполнение с учётом имеющихся платформ и выделенной мощности, проверяем предел наращивания под планы расширения, собираем спецификацию узла с питанием, охлаждением и связностью, проверяем партию до отгрузки и закрепляем сроки и порядок приёмки в договоре. Направление — ускорители MetaX.

Пришлите задачу и параметры машинного зала на sale@tkasiatorg.ru — подберём исполнение по памяти и форм-фактору, рассчитаем конфигурацию узла и подтвердим сроки спецификацией.