Rambler's Top100
Статьи ИКС № 3 2025
Андрей СЕМЕНОВ  29 августа 2025

Компоненты СКС для ЦОДов завтрашнего дня

На какой компонентной базе следует создавать кабельную инфраструктуру ЦОДов, чтобы она не устарела морально по меньшей мере 10 лет после сдачи в эксплуатацию?

Медь или волоконная оптика?

Профильные стандарты (ISO/IEC 11801-5, ANSI/TIA-942B и ГОСТ Р 59486-2021) разрешают на равных правах использовать для построения СКС как волоконно-оптическую, так и медножильную элементную базу. Однако симметричные кабельные тракты даже в простейшей двухконнекторной форме и с привлечением наиболее совершенной на сегодня элементной базы категории 8 в принципе не способны обеспечить скорость передачи данных свыше 100 Гбит/с (рис. 1). 
 
Рис. 1. Расчетные значения максимальной скорости передачи данных, обеспечиваемые медножильными кабельными трактами СКС с двухконнекторными схемами построения

Поэтому медножильная элементная база применяется фактически только для соединения портов оборудования, находящегося в одной стойке. Реализующая эту связь техника выполняется в форме так называемых активных DAC-сборок (DAC-кабелей), длина которых не превышает 3–5 м. Такие изделия востребованы при создании нижнего уровня информационной инфраструктуры машинного зала ЦОДа по схеме Top-of-Rack.

Несоответствие скоростных возможностей медножильной техники текущим потребностям строительства ЦОДов (скорости не менее 200 Гбит/с) означает, что СКС машинного зала ЦОДа должна создаваться (и создается) исключительно в форме волоконно-оптической информационной проводки.

Стандартами допускается построение волоконно-оптической подсистемы СКС как в одномодовом, так и в многомодовом варианте. Одномодовая техника следующего скоростного диапазона появляется обычно первой, так как позволяет разработчику быстро и с небольшими усилиями гарантированно создать линию связи на основе существующих схемных решений операторского класса. Возможность заимствования наработок из «большого телекома» в немалой степени способствовала тому, что доля одномодовых решений в ЦОДах в последнее время сильно выросла и достигла примерно 50% общего объема. Однако далее переход на одномодовые решения замедлился, несмотря на очевидные преимущества применения единой элементной базы и на сетях операторского класса, и в ЦОДах. Обусловлена такая ситуация преимущественно следующими факторами:
  • полная линия в одномодовом исполнении по состоянию на сегодняшний день и в обозримой перспективе с учетом известных прогнозов и уровня применяемой элементной базы имеет принципиально более высокую стоимость;
  • существующая многомодовая информационная проводка в стандартном исполнении ОМ5 вполне готова к поддержке скоростей 1,6 Тбит/с, т.е. морально не устареет на протяжении по меньшей мере ближайших 10 лет;
  • в ЦОДах отсутствует необходимость передачи данных на расстояние более примерно 70 м за счет ограниченных размеров машинных залов, предельные габариты которых определяются возможностями системы охлаждения.
Коммутационное оборудование

Одна из особенностей канального уровня информационной инфраструктуры машинного зала ЦОДа – наличие широкой номенклатуры сетевых интерфейсов с одинаковой скоростью передачи, которые несовместимы между собой и каждый из которых требует своей схемы организации связи. При построении СКС эта особенность учитывается созданием линейной части стационарных линий на универсальных транковых кабелях. Согласование с конкретной разновидностью сетевого интерфейса осуществляется шнуровым или корпусным адаптером. Схема стационарной линии, построенной на корпусных адаптерах, которые выполняются в форме кассеты, представлена на рис. 2.
 
Рис. 2. Структура простого кабельного тракта, построенного по модульно-кассетной схеме

Использование модульно-кассетной схемы делает кабельную систему значительно удобнее в эксплуатации, поэтому она доминирует на практике и именно ее по умолчанию закладывают в проектную документацию. При этом согласование волокон стационарной линии «по количеству» и «по раскладке» с сетевым интерфейсом обеспечивается простой заменой кассеты. Своим линейным входом она соединяется с транковым кабелем, а к пользовательским разъемам подключаются аппаратные шнуры серверов, коммутаторов ЛВС и директоров СХД.

При модульно-кассетном исполнении стационарной линии переход на новую конфигурацию тракта превращается в предельно простую и, что самое главное, чисто механическую процедуру, которая может быть выполнена эксплуатационным персоналом ЦОДа без обращения к сервисной организации и за минимальное время. Последнее чрезвычайно важно с точки зрения работоспособности информационной системы ЦОДа в целом, поскольку работы по изменению конфигурации физического уровня линии связи неизбежно нарушают нормальное функционирование системы воздушного охлаждения. Мощность установленного в стойке активного оборудования имеет явную тенденцию к повышению – вплоть до нескольких десятков киловатт, поэтому реконфигурация кабельного тракта должна проводиться максимально быстро.

Разновидности кассет

Производители техники СКС предлагают своим партнерам кассеты с корпусом обычной и уменьшенной высоты. Для их установки предназначены соответственно кассетные и слотовые полки (рис. 3). По принятой в СКС классификации они представляют собой варианты исполнения наборного коммутационного оборудования и отличаются друг от друга фактически только количеством и размерами установочных окон.
 
Рис. 3. Основные конструктивные различия слотовой (слева) и кассетной (справа) полок

Исполнение кассеты не влияет на конструктивную плотность коммутационного оборудования. Однако кассеты уменьшенной высоты позволяют более точно согласовать конфигурацию СКС с фактическими потребностями информационной системы. Иначе говоря, они могут обоснованно рассматриваться как эффективное средство повышения эксплуатационной гибкости. Некоторое удорожание слотовой полки по сравнению с кассетной можно считать несущественным.

Работы по изменению конфигурации стационарной линии проводятся в ограниченном пространстве, и на скорость их выполнения сильно влияет установка крепежных рамок кассет в корпусе полки по выдвижной схеме, а также возможность замены кассет со всех направлений (спереди, сзади, сверху и сбоку). Панели, в которых эти возможности реализованы, имеют конкурентное преимущество перед другими разновидностями оборудования.

Исполнение центрального кросса

Дополнительное преимущество применения полки слотового типа заключается в возможности построения на ее основе центрального кросса машинного зала. До последнего времени эта задача, как правило, решалась с помощью конструктивов операторского класса (например, популярных LISA швейцарской компании Huber+Suhner).

Переход на кросс в предлагаемом исполнении дает следующие выгоды:
  • высокая плотность конструкции слотовой полки сокращает количество стоек;
  • гибкость обеспечивает простоту поддержки соединительных линий к другим залам и входному кроссу;
  • построение коммутационного оборудования разного уровня на одинаковой элементной базе не только облегчает комплектование проекта, но и определяет единую процедуру коммутации во всей информационной инфраструктуре.
Новые типы соединителей

В качестве оптических разъемов стандартами СКС устанавливаются LC (дуплексный) и MPO (групповой). Вместо MPO на практике преимущественно используется полностью совместимый с ним MTP. Причины такого перехода – существенное превосходство последнего с точки зрения эксплуатационной стабильности параметров вносимых потерь и обратных отражений.

LC вполне соответствует текущим и перспективным требованиям к разъемам волоконно-оптической подсистемы СКС по крайней мере с точки зрения параметров. При необходимости увеличить плотность конструкции в качестве альтернативы можно обратиться к разъемам CS.

MTP/MPO как фактически переделочный компонент далеко не в полной степени отвечает требованиям ЦОДа. Вместо него целесообразно использовать разъемы группы VSFF (Very Small Form Factor). В настоящее время промышленность предлагает ряд серийных изделий этого типа. Среди них наиболее известны разъемы SN (Senko, Япония) и MDC (US Conec, США).

Наиболее значимые преимущества VSFF-разъемов:
  • могут использоваться как в дуплексном, так и в многоволоконном вариантах;
  • за счет простоты перехода от дуплексного изделия к многоволоконной конфигурации (выполняется с помощью пластиковой крепежной обоймы) легко реализуют популярные схемы типа 4×100G -> 400G (рис. 4);
  • изменение полярности выполняется простым поворотом держателя наконечников на 180°;
  • потенциально поддерживают скорости передачи вплоть до 1,6 Тбит/с;
  • построены на основе индивидуальных для каждого волокна керамических наконечников диаметром 1,25 мм, установленных по плавающей схеме, что повышает стабильность параметров вносимого затухания и обратных отражений;
  • за счет своей миниатюрности обеспечивают плотность конструкции как минимум 288 волокон на 1U монтажной высоты.
Рис. 4. Реализация агрегации высокоскоростных каналов на примере 400G = 4 x 100G

Потери, вносимые в тракт передачи разъемными соединителями, стандартами СКС нормируются величиной 0,75 дБ на один такой компонент. В СКС для ЦОДов допустимо применение только двухконнекторных трактов. При реализации информационной инфраструктуры по популярной схеме spine-leaf в состав тракта обязательно вводится центральный кросс. В такой конфигурации при использовании модульно-кассетной схемы построения стационарных линий количество соединителей увеличивается до восьми (рис. 5). Четыре таких разъема (с нечетными номерами) являются рабочими, а четыре (с четными номерами) выполняют функции технологических.
 
Рис. 5. Конфигурация составного тракта с двумя стационарными линиями модульно-кассетного типа для использования в составе структур spine-leaf

Средние потери на одном разъеме в такой конфигурации составят 1,5 : 8 = 0,19 дБ, что по принятой в отрасли классификации соответствует изделиям классов elite и low loss.

Перспективные типы групповых оптических разъемов

При всех своих достоинствах разъемы SN и MDC не в состоянии полностью вытеснить классические групповые соединители. Сказывается то, что организация информационного обмена на скорости 3,2 Тбит/с и выше в случае пространственного мультиплексирования потребует более восьми волокон. А при сохранении теперешних темпов роста можно ожидать, что надобность в таких скоростях возникнет уже после 2030 г.

MPO/MTP по своим параметрам соответствуют уровню техники середины 90-х гг. прошлого столетия и даже в модернизированном варианте с 16-волоконным наконечником MТ-16 уже не в полной мере отвечают современным и тем более перспективным требованиям. Возможные улучшения направлены в первую очередь на стабильность вносимых потерь и обратных отражений.

Наиболее перспективными в этой области видятся два направления. В основу первого из них положена оптимизация ключевого компонента разъема классического типа – наконечника, из которого устранена функциональная избыточность по количеству одновременно коммутируемых световодов. Модернизация сводится преимущественно к уменьшению высоты наконечника и изменению его формы, что упрощает достижение физического контакта линейки волокон и позволяет, в частности, снизить вносимые потери на 0,05 дБ. При этом сохраняются нормированная для MPO/MTP раскладка волокон и схема выравнивания на основе прецизионных штифтов, благодаря чему при необходимости можно соединять вилки друг с другом в обычной переходной розетке. 

До уровня серийного производства доведены две разновидности таких разъемов: MMC (US Conec) и SN-MT (Senko), отличающиеся друг от друга главным образом формой корпуса.

Второе направление – технология расширения луча – позволяет устранить основной недостаток групповых разъемов MTP/MPO, а именно высокую чувствительность к загрязнению. Стабильность параметров дополнительно усиливается за счет распространения на область волоконной оптики известного в электрических модульных разъемах принципа контактной шины, который обеспечивает самоочистку оптического контакта в момент подключения. В настоящее время для применения в проектах доступен реализующий этот принцип серийный соединитель типа EBO компании 3М. Многомодовое изделие данной разновидности в 12-волоконном варианте обеспечивает средние потери 0,15 дБ при обратных отражениях не свыше 45 дБ, т.е. радикально превосходит стандартный MPO/MTP.

***
СКС машинного зала ЦОДа должна строиться исключительно на волоконно-оптической элементной базе, причем применение одномодовой и многомодовой техники обосновывается отдельно и требует привлечения дополнительной информации. В среднесрочной перспективе целесообразно ориентироваться на технологию параллельной физической передачи по схеме Base8.

В качестве коммутационного оборудования предпочтительнее использовать, в том числе для создания центрального кросса, полки слотового типа.

Разъемы SN и MDС как представители группы VSFF эффективно реализуют схему Base8. Они не устареют морально по меньшей мере в ближайшие 10 лет, и коммутационное оборудование на их основе целесообразно закладывать в проекты. Оптические разъемы кассет коммутационного оборудования по вносимым потерям должны соответствовать классу не ниже elite.

Андрей Семенов, докт. техн. наук, профессор, МТУСИ
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!