Что ограничивает длину оптических трасс при объединении карт MetaXLink

Объединение карт по MetaXLink в исполнении C500X ведётся оптическими трассами, и на этапе проекта кластера эти трассы оказываются таким же ограничивающим фактором, как питание и охлаждение. Карта C500X масштабируется в пул от 16 до 64 карт через оптический MetaXLink — это значит, что связь между картами выходит за пределы одного сервера и прокладывается по стойкам как отдельная кабельная система. У неё свои допуски по длине, по типу модулей и по радиусу изгиба, и несоблюдение этих допусков проявляется не отказом, а падением скорости обмена между картами на коллективных операциях.

Ниже разобрано, что ограничивает длину трассы, какие данные нужны для расчёта кабельной части и как это связано с размещением узлов по стойкам. Модельный ряд и схемы масштабирования приведены на странице GPU-ускорители MetaX.

Из чего складывается ограничение по длине

Предельная длина трассы определяется не одним параметром, а суммой четырёх составляющих. Любая из них способна оказаться определяющей раньше остальных, поэтому считаются все.

• Оптический бюджет линии — потери в волокне, в разъёмных соединениях и в кроссах. Каждое дополнительное соединение в трассе расходует часть бюджета, и трасса через два кросса короче по допустимой длине, чем прямое соединение той же мощности модулей.
• Задержка распространения. Она невелика на единицы метров, но на коллективных операциях обучения, где обмен между всеми картами домена идёт синхронно, разброс задержек по трассам разной длины становится заметным: домен работает по самой медленной связи.
• Тип волокна и модулей. Многомодовая линия дешевле и проще в монтаже, но её предельная длина существенно ниже одномодовой; переход на одномодовые модули расширяет допустимую дистанцию, но меняет стоимость комплекта и требования к чистоте разъёмов.
• Физическая геометрия стоек — фактическая длина с учётом подъёма в лоток, прохода по ряду, спуска в стойку и запаса на разделку. Она превышает расстояние между стойками по полу в полтора-два раза.

Для карт C600 в исполнении OAM 2.0 картина иная: там масштабирование до 256 карт идёт комбинацией MetaXLink и Ethernet, и часть связности уходит на сетевую фабрику с собственными правилами по трассам. Для C500 в исполнении PCIe с MetaXLink на 2 и 4 карты связь остаётся внутри сервера, и оптические трассы между стойками не требуются вовсе.

Что меняется от исполнения карты

Практический вывод из таблицы: оптические трассы становятся отдельной статьёй проекта только на C500X и на масштабировании C600 между узлами. Если домен обучения укладывается в один сервер на картах C500 или в одно шасси C588, кабельная часть ограничивается сетью данных и управлением, а расчёт бюджета оптической линии не нужен.

Как размещение по стойкам влияет на связность

Домен из карт, разнесённых по дальним стойкам ряда, получает трассы разной длины — и по бюджету, и по задержке. Поэтому порядок проектирования обратный привычному: сначала определяется, какие карты входят в один домен обмена, и только затем узлы расставляются по стойкам.

• Карты одного домена размещаются в смежных стойках, а не распределяются по ряду ради равномерной нагрузки на питание. Выравнивание энерговклада по ряду решается подбором конфигурации стоек, а не разносом домена.
• Кросс под межкарточную оптику ставится в середине группы стоек домена, а не в начале ряда: это сокращает самую длинную трассу в группе.
• Трассы межкарточной связи и трассы сети данных разводятся по разным лоткам или хотя бы по разным сторонам стойки. Смешанная укладка затрудняет обслуживание и повышает риск повредить работающую линию при замене соседней.
• Запас по портам кросса закладывается сразу под проектную численность домена, а не под первую очередь. Добавление портов в заполненный кросс требует работ в действующем ряду.
• Длина каждой трассы фиксируется в журнале кабельной части с привязкой к портам. При замене карты или узла это снимает необходимость прозванивать линии заново.

Что проверить до заказа комплекта

Ошибки кабельной части обходятся дороже, чем ошибки в подборе карт: карту можно заменить в узле, а переложить трассу в действующем ряду значительно сложнее. До заказа проверяются следующие пункты.

• Фактические расстояния между стойками, снятые по трассе прокладки, а не по плану помещения.
• Число разъёмных соединений на каждой линии и место их расположения.
• Тип волокна в существующей кабельной системе, если трассы прокладываются не с нуля, и его совместимость с модулями комплекта.
• Радиус изгиба в местах поворота лотка и в точке входа в стойку — особенно при плотной укладке в кабельном органайзере.
• Комплектность: модули, патч-корды нужной длины, кроссы, маркировка. Нехватка патч-кордов требуемой длины на монтаже обычно закрывается кордами с запасом, а лишние метры в стойке мешают обслуживанию.
• Условия чистоты разъёмов на монтаже и наличие средств очистки — на одномодовых линиях загрязнённый торец даёт потери, которые ищут потом как отказ оборудования.

Если часть парка собрана на ускорителях другого производителя, кабельные контуры разных платформ проектируются отдельно — требования к трассам у них не совпадают; линейка ускорителей NVIDIA с нужными данными по исполнениям приведена на странице GPU-ускорители NVIDIA.

Полезно заранее решить, кто отвечает за кабельную часть: она лежит на границе между поставкой ускорителей и работами по инженерной инфраструктуре помещения, и именно на этой границе обычно теряются и сроки, и ответственность за результат. Подбор конфигурации, проверка серверной платформы и планирование масштабирования — часть работы по проекту, которую мы ведём вместе с поставкой.

Частые вопросы

Можно ли собрать пул C500X на многомодовой оптике?
Это зависит от расстояний. На коротких трассах внутри группы смежных стоек многомодовая линия применима и дешевле в комплекте. При разносе домена по ряду предельная длина многомодовой линии достигается быстро, и расчёт переводится на одномодовое исполнение. Решение принимается по фактическим длинам трасс, а не по общему правилу.

Что будет, если трассы в домене получились разной длины?
Домен работает по самой медленной связи. На инференсе это чаще всего незаметно, на обучении с частым синхронным обменом между всеми картами разброс задержек снижает фактическую утилизацию карт. Поэтому разброс длин внутри домена стараются держать минимальным.

Нужно ли закладывать оптику, если сейчас берётся один сервер?
Если расширение до пула планируется, лотки и места под кросс закладываются сразу, а сами трассы прокладываются по мере роста. Прокладка лотка в действующем машинном зале — отдельные работы с ограничениями по доступу, и делать их после заезда оборудования дороже.

Что прислать для расчёта кабельной части?
План помещения с расстановкой стоек, схему лотков, численность карт в домене и планируемое расширение, данные о существующей кабельной системе, если она есть. По этим данным считаются длины, бюджет линий и комплект модулей.

Пришлите план машинного зала, численность карт в домене и планы по расширению — рассчитаем кабельную часть под пул MetaX вместе с конфигурацией узлов, модулями и комплектом трасс. Почта для запроса: sale@tkasiatorg.ru.