Rambler's Top100
Статьи ИКС № 2 2021
Андрей СЕМЕНОВ  26 июня 2021

Готовим ЦОД к скоростям 400 Гбит/с

Чтобы широко использовать в ЦОДах высокоскоростные каналы связи следующего поколения, необходимы соответствующие сетевые интерфейсы и трансиверы, а информационная проводка должна быть готова к поддержке подобных скоростей.

Информационные системы (ИС), предоставляющие услуги широкому кругу пользователей, на новом витке развития возвращаются к централизованной модели построения ИТ-инфраструктуры, опорными компонентами которой становятся центры обработки данных. Переход к системе ЦОДов позволяет повысить качество обработки пользовательских запросов за счет привлечения большего количества данных, в том числе архивных. Одновременно ЦОД как специализированный объект обеспечивает заведомо лучшую сохранность той информации, которая была накоплена и обработана ранее. Наконец, существенно уменьшается время выдачи результата благодаря потенциальной простоте распараллеливания процесса обработки запроса.

Среди факторов, влияющих на скорость получения ответа на запрос, далеко не последним становится быстродействие каналов связи, объединяющих отдельные серверы и накопители массовой памяти в аппаратном зале ЦОДа. Поскольку типовые скорости передачи составляют десятки гигабит в секунду и более, в абсолютном большинстве случаев применяются волоконно-оптические каналы связи.

Организация транспорта данных в ЦОДе

Уникальность аппаратного зала с точки зрения построения его ИТ-инфраструктуры заключается в том, что типовые скорости обмена данными между отдельными сетевыми устройствами заметно превышают быстродействие современной электроники, что означает невозможность организации моноканала. Чтобы преодолеть это ограничение, используются следующие основные подходы:
  • использование блочных кодов (обычно 64В66В), которые обеспечивают надежную синхронизацию приемника и передатчика и одновременно минимальную величину превышения линейной скорости над информационной;
  • скремблирование исходного сообщения для максимальной утилизации потенциальной шенноновской пропускной способности канала связи;
  • применение при формировании линейного сигнала многоуровневого кодирования, которое позволяет передавать за один такт несколько бит полезной информации;
  • обращение к принципу параллельной передачи, в соответствии с которым канал связи на передающем конце разбивается на несколько субканалов с меньшим быстродействием с последующим восстановлением исходного сообщения в приемнике.
Существует несколько основных схем параллельной передачи. До уровня практического внедрения доведены две: физическая параллельная передача, когда каждому субканалу выделяется по отдельному волокну для передачи и приема, и спектральная параллельная передача, когда отдельный субканал формируется с использованием оптической несущей со своей длиной волны, совокупность которых вводится в общее волокно.

Механизмы физической и спектральной параллельной передачи независимы друг от друга, и их можно использовать совместно в различных сочетаниях. Примеры практической реализации такого подхода в серийном оборудовании ЛВС приведены на рис. 1 для случая четырехканальной схемы организации связи.
 
Рис. 1. Спектрально-волоконная диаграмма четырехканальной многомодовой параллельной передачи

Дополнительно отметим, что в большинстве случаев линии волоконно-оптической связи в ЦОДе имеют небольшую протяженность – как следствие относительной компактности аппаратного зала, поскольку в нем применяется главным образом воздушное охлаждение активного оборудования. Эта особенность позволяет брать за основу физического уровня ИТ-инфраструктуры экономически выгодную в таких условиях многомодовую технику.

Наращивание быстродействия волоконно-оптических линий связи 

Главными факторами, стимулирующими постоянное наращивание скорости передачи, становятся:
  • рост количества отдельных сетевых устройств в составе ИТ-инфраструктуры аппаратного зала;
  • массовое применение схем параллельной обработки пользовательского запроса;
  • переход на двухуровневые структуры типа spine – leaf (рис. 2), которые за счет устранения одного уровня коммутации минимизируют время задержки сигнала и позволяют нарастить общее быстродействие ЦОДа.

Рис. 2. Схема spine – leaf организации ИТ-инфраструктуры аппаратного зала ЦОДа

Несмотря на то, что средняя скорость информационного обмена постоянно увеличивается, этот процесс демонстрирует достаточно умеренные темпы. Основная причина этого, кроме чисто схемотехнических сложностей, в том, что быстродействие канала связи, при всей важности этого параметра, – лишь один из многих факторов, которые определяют время получения ответа на пользовательский запрос. 

Фактически при внедрении новых поколений трансиверов их быстродействие увеличивается сейчас обычно в 2–2,5 раза против привычных 15–20 лет назад для техники Ethernet 10-кратного шага по скорости (пример – переход от 1 Гбит/с сразу к 10 Гбит/с). Это подтверждается тем, как много стандартов линий волоконно-оптической связи для ЦОДов было официально принято за последние несколько лет. Разработчик аппаратуры, в зависимости от потребности, имеет в своем распоряжении скорости 50, 100, 200 и 400 Гбит/с в различных вариантах организации каждого из субканалов. Одновременно каждый из субканалов объединяется с другими за счет добавления в сигнал несложных меток и может использоваться самостоятельно.

Особенности построения нижних уровней ИС 

Согласно требованиям профильных нормативных документов физический уровень ИТ-инфраструктуры аппаратного зала ЦОДа реализуется на основе структурированной кабельной системы (СКС). В стандартах отдельно не оговариваются предпочтительные подходы к построению линейной части ее волоконно-оптической подсистемы, однако в реалиях сегодняшнего дня широко используется претерминированная техника, которая
  • существенно снижает объем монтажных работ непосредственно на объекте;
  • минимизирует время вскрытия фальшпола при использовании нижней схемы прокладки в процессе ремонта или модернизации кабельного хозяйства;
  • гарантирует выполнение норм по оптическому skew.
Для достижения требуемой для ЦОДа геометрической компактности в кабеле используются волокна без вторичного буферного покрытия, а пользовательский интерфейс формируется при помощи кассет. Последние фактически берут на себя функции согласующего адаптера между компактным транковым кабелем и довольно габаритным на его фоне трансивером интерфейса. Простота их замены в случае необходимости обеспечивает удовлетворительный уровень эксплуатационной гибкости.

Волоконно-оптические трансиверы интерфейсов активного оборудования ЦОДа конструктивно выполнены как сменные модули, которые подключаются в гнездо со стандартизованными характеристиками. Они отличаются довольно высокой стоимостью и могут эксплуатироваться продолжительное время без морального устаревания. Все это, во-первых, означает возможность, простоту и целесообразность переноса интерфейсного модуля в новый сервер при замене старого, а во-вторых, определяет высокую популярность схем агрегации каналов при организации связи. 

Идея организации связи по схеме агрегации выгодна тем, что позволяет плавно наращивать быстродействие, распределяя во времени связанные с этим довольно большие финансовые затраты. Она может быть реализована на соединении через кабельные тракты СКС или с помощью претерминированных сборок активного типа, как показано на рис. 3 применительно к 400-гигабитной технике.
 
             а                                                                   б
Рис. 3. Варианты схем агрегации каналов при организации взаимодействия коммутаторов уровня spine и leaf: а) соединение по кабельным трактам СКС; б) соединение с помощью активных претерминированных сборок

Как упростить переход на скорость 400 Гбит/с и выше

Массовое использование каналов связи следующего поколения по быстродействию возможно, во-первых, при наличии соответствующих сетевых интерфейсов и трансиверов, во-вторых, в случае готовности информационной проводки к поддержке подобных скоростей.

Немаловажно, чтобы увеличение скорости происходило бесшовно, т.е. без серьезного изменения конфигурации нижних уровней проводки. Дело в том, что в рамках существующей стандартизации максимальная скорость по двухволоконному тракту при совместном использовании кода РАМ-4 и четырехканального спектрального уплотнения SWDM составляет 25 х 2 х 4 = 200 Гбит/с. Таким образом, 400-гигабитные тракты требуют физической многоволоконной передачи и замены типа разъема. Дополнительно предполагается наличие соответствующих интерфейсов, реализованных на основе розетки MPO или иного многоволоконного изделия. Последнее не представляет серьезной технической проблемы, что подтверждает и недавняя публикация предварительной спецификации 800-гигабитной техники.

Модульно-кассетная схема построения трактов физического уровня в современном исполнении носит скорее переделочный характер: соответствующие положения нормативной части стандартов СКС лишь адаптируют для ЦОДов технику (разъемы MPO и LC), которая создавалась совсем для других целей. Выбор такого подхода обосновывался соображениями экономии времени и средств. Отказ от безусловного его соблюдения открывает неплохие перспективы улучшения потребительских характеристик физического уровня ИС аппаратного зала ЦОДа. Для этого достаточно:
  • выбирать число физических каналов связи с шагом 2n (наибольшую популярность получила 8-канальная схема, известная как Base8);
  • отказаться от замены кассеты при изменении схемы связи с передачей функций адаптера на вилки разъема, форм-фактор которых корректируется непосредственно в полевых условиях по мере потребности;
  • перейти на тип соединителя пользовательского интерфейса, единого для существующего и перспективного диапазона скоростей.
Новые разработки разъемов

Обсуждаемый подход может быть реализован на уже доступных для использования разъемах SN от японской компании Senko и MDC американской формы US Conec. Вилка дуплексного варианта этого изделия реализуется как моноблочный компонент и строится вокруг пары керамических наконечников диаметром 1,25 мм. Они смонтированы в пластиковом корпусе с предельно минимизированными габаритами. Наконечники механически независимы друг от друга, а их установка в корпусе по плавающей схеме позволяет добиться параметров по вносимым потерям и обратным отражениям на уровне прекрасно зарекомендовавшего себя LC.

Оба разъема относятся к малогабаритным изделиям следующего поколения, так называемым VSFF (Very Small Form Factor). В отличие от ранних разработок они реализованы по ранее не встречавшейся в серийной технике блочномодульной схеме, т.е. штатно допускают эксплуатацию как одиночной вилки, так и группы из двух или четырех вилок, фиксируемых вместе крепежной обоймой. Розетки могут устанавливаться как в коммутационном оборудовании, так и в трансиверах SFP-DD и QSFP-DD.

Обойма имеет простейшую конструкцию, выполнена из пластика, а установка вилок выполняется с фиксацией под защелку. Использование пластика позволяет также сохранить привычную для пользователей цветовую идентификацию типа коммутационных шнуров.

Тип разъема

LC-D

URM

CN

MDC

Разработчик

AT&T, США

Euromicron, Германия

Senko, Япония

US Conec, США

Год создания

1993

2001

2019

2019

Международный стандарт

IEC 61754-20

IEC 61754-34

-

-

Размеры вилки, мм

10,7 х 12,3

6 × 8,6

3,85 × 9,46

3,29 × 9,15

Расстояние между осями волокон, мм

6,25

2,8

3,1

3,1

Площадь миделя, кв.мм

131

51,6

34,1

30,1


Таблица. Сравнительные размеры малогабаритных оптических разъемов разных поколений

Разработки фактически развивают известные ранее изделия, предназначенные для внутриаппаратурных соединений, а также используют наработки созданного в середине нулевых годов разъема URM немецкой компании Euromicron (нормирован на международном уровне стандартом IEC 61754-34).

Наряду с очевидным выигрышем по плотности конструкции оба изделия обеспечивают качественно новый уровень формирования и эксплуатации физического уровня волоконно-оптической ИС. Назовем только некоторые возможности в этой области.
Переход от дуплексной схемы к многоволоконной не требует замены кассеты и не нарушает условий функционирования системы воздушного охлаждения. Это достигается за счет того, что функции согласующего адаптера переносятся с кассеты на вилку соединителя и при необходимости многоволоконной передачи отдельные дуплексные вилки объединяются обоймой. Многоволоконный шнур при необходимости легко формируется из дуплексных изделий одинаковой длины путем объединения вилок через крепежную обойму прямо на объекте.

За счет наличия у сетевых интерфейсов режима агрегации отдельных каналов появляется возможность формировать отказоустойчивые структуры простой коммутацией их интерфейсов отдельными дуплексными шнурами (рис. 4).

Рис. 4. Организация отказоустойчивой структуры высокоскоростных коммутаторов (SW) с использованием агрегатной схемы связи физических субканалов сетевых интерфейсов 
(показана только четвертая часть шнуров)

При обращении к рассмотренной схеме максимальная скорость передачи в канале связи увеличивается как минимум в четыре раза, достигая 800 Гбит/с, чего достаточно по крайней мере на среднесрочную перспективу. Дальнейшее наращивание, которое потребуется ориентировочно не ранее 2030 г., вполне возможно за счет перехода на комбинированную амплитудно-фазовую модуляцию, что не потребует изменения проводки.

* * *

Существующая элементная база СКС, которую, согласно действующим стандартам, допустимо закладывать в проекты физического уровня ИС аппаратного зала ЦОДа, обеспечивает удовлетворительный уровень поддержки скоростей 400 Гбит/с и выше.

Потребительские качества информационной проводки перспективных ЦОДов в части дружественности к пользователю и функциональной гибкости можно значительно улучшить, перейдя на единый тип нового разъемного соединителя, реализующего сборномодульный принцип формирования вилки и представленного в настоящее время изделиями SN и MDC.

Площадь миделя дуплексной вилки перспективных типов разъемов должна составлять 30–35 кв. мм, а в основу ее конструкции может быть положен типовой для СКС керамический наконечник диаметром 1,25 мм.

Андрей Семенов, профессор, МТУСИ
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!