Ближайшие и среднесрочные перспективы развития СКС для ЦОДов

Машинный зал ЦОДа представляет собой сложную техническую систему. Та ее часть, которая отвечает за хранение и обработку данных, для достижения максимальной технико-экономической эффективности в целом строится с привлечением проверенной временем модели взаимодействия открытых систем OSI. Ее физический уровень в соответствии с положениями стандартов ISO/IEC 11801-5:2017, ANSI/TIA-942C и ГОСТ Р 59486-2021 реализуется в виде структурированной кабельной системы (СКС).

При создании СКС необходимо не только удовлетворять сегодняшние потребности, но и не допустить ее морального, структурного и тем более физического устаревания на протяжении всего ожидаемого срока эксплуатации, т.е. по меньшей мере 10 лет. 

Физическое устаревание не проявляется при построении СКС на высококачественной элементной базе с запасами по пропускной способности. Структурное устаревание предотвращается проектными приемами: введением необходимой функциональной избыточности, применением легко адаптируемых к новым потребностям конфигураций кабельных трактов и т.п.

Отсутствие морального устаревания обеспечить существенно сложнее. Из-за большого количества факторов и жестких начальных условий риск выбора неудачного технического решения при построении информационной проводки машинного зала высок. Единственный способ его снизить – учитывать основные тренды развития отрасли. Рассмотрим магистральные направления совершенствования этого сегмента слаботочной кабельной техники.

С точки зрения развертывания кабельной системы характерная топологическая особенность ЦОДа, существенно отличающая его от офисных пространств, – геометрическая компактность. Она обусловлена применением воздушного охлаждения для утилизации больших объемов теплоты, вырабатываемой серверами и активным сетевым оборудованием. Высокое потребление энергии сетевой техникой неизбежно из-за ее функционирования в режиме разгона для достижения максимального быстродействия. При этом по мере увеличения площади машинного зала КПД системы воздушного охлаждения падает.

Площадь машинного зала ЦОДа жестко связана с количеством устанавливаемых в нем стоек. В качестве типового можно рассматривать машзал прямоугольной формы с соотношением сторон 1:3, вмещающий 320 стоек. Оценкой сверху максимальной протяженности стационарной линии машзала может служить его полупериметр. Исходя из того, что каждая стойка занимает примерно 2,6 кв. м, и добавляя 15% на центральный кросс и т.п., путем несложных расчетов получим, что максимальная протяженность стационарной линии не превысит 72 м. Таким образом, 300-метровая нормативная протяженность оптических магистралей офисных СКС для рассматриваемой области применения избыточна, и ее допустимо уменьшить до 70–150 м.

Противоречие между нормативными положениями стандарта-прототипа, которые из соображений гармонизации без изменений используются для цодовских СКС, и фактическими потребностями практики устраняется переходом на нормирование предельно допустимой длины тракта «по приложению». За счет уменьшения предельной протяженности тракта появляется возможность задействовать для организации информационной проводки машинного зала экономически заметно более выгодную многомодовую элементную базу.

Линии связи машинного зала строятся по схеме параллельной передачи, поскольку из-за ограниченного быстродействия современной электроники (тактовая частота не превышает 30–50 ГГц) это единственный способ нарастить скорость информационного обмена. Вместе с тем в ЦОДе нет необходимости непосредственно взаимодействовать с пользователем-человеком в качестве источника и потребителя данных и соответственно нет нужды ориентироваться на его возможности восприятия информации.

В рамках параллельной передачи сообщение разбивается на несколько составляющих, каждая из которых передается по отдельному субканалу, и затем восстанавливается на приемном конце. При формировании линейного сигнала используется чистая амплитудно-импульсная или комбинированная амплитудно-фазовая импульсная модуляции. Они позволяют передавать одновременно до четырех бит данных за один тактовый интервал. Для увеличения количества субканалов можно обратиться к технологии SWDM. В этом случае при организации линейной части канала связи по схеме Base8 получаем следующую оценку верхней границы достижимой скорости передачи:

Обеспечиваемый схемой Base8 скоростной запас таков, что риск морального устаревания построенной с ее использованием СКС в горизонте 10 лет практически нулевой. Отрасль еще не приступила к освоению скоростей даже 800 Гбит/с, а реальная потребность в скоростях передачи свыше 1,8 Тбит/с возникнет не ранее 2030–2035 гг. (рис. 1).

 

Вследствие геометрической компактности машзалов ЦОДов протяженность стационарных линий СКС невелика (около 30 м), и их можно строить на экономичной многомодовой технике. Для создания физического уровня канала связи целесообразно использовать многомодовые оптические кабели категории ОМ5. Соответствующее волокно можно рассматривать как дальнейшее развитие техники категории ОМ4. Световоды ОМ5 обратно совместимы с волокнами ОМ4 и отличаются от них только нормированием коэффициента широкополосности на длине волны 953 нм. Переход на ОМ5 выгоден тем, что позволяет увеличить техническую эффективность как минимум на треть (см. Семенов А.Б., Былина М.С. Техническая эффективность параллельных многомодовых оптических кабельных трактов категории ОМ5 // Информационно-технологический вестник. 2017. № 4 (14). С. 91–101).

Сильные стороны многомодового волокна категории ОМ5 проявляются на скоростях 800 Гбит/с и выше, т.е. в тех случаях, когда используется полноценное спектральное мультиплексирование по технологии SWDM. Сегодня такие решения востребованы скорее фрагментарно. Тем не менее с учетом перспектив развития техники и ожидаемого срока эксплуатации ЦОДа волокно ОМ5 целесообразно закладывать в проекты уже сейчас, особенно для объектов с увеличенной протяженностью линий. Таковыми являются ЦОДы с количеством стоек 150 и более либо построенные на схеме Spine – Leaf.

Тракты оптической параллельной передачи, согласно стандартам, реализуются на соединителях MPO/MTP. Разъем имеет переделочную конструкцию и ряд принципиальных недостатков, от которых свободны новые изделия группы VSFF с вертикальным дизайном. Последние ориентированы на схему Base8 и легко решают проблему полярности формируемых трактов, упрощают агрегацию каналов и построение отказоустойчивых структур, а также способствуют снижению потерь в тракте за счет уменьшения количества точек сращивания.

Соблюдение полярности обеспечивается благодаря дуплексной структуре отдельной вилки VSFF-разъема, которые могут комбинироваться в произвольном порядке и с любой ориентацией. При необходимости несколько (до четырех) вилок собираются в групповую путем установки в общую пластиковую фиксирующую оправку.

Простота доступа к отдельной вилке решает также задачу агрегации отдельных каналов группового сигнала Ethernet при построении отказоустойчивых структур.

Наиболее известные элементы этой группы, доведенные до уровня серийного предложения, – это коннекторы MDC (Mini Duplex Connector) американской компании US Conec и SN (Senko Nano) японской компании Senko. Отрасль рассматривает это направление как весьма перспективное, о чем косвенно свидетельствует появление аналогичной разработки DPO китайской компании Unikit. Сильная сторона DPO – оригинальное решение проблемы совместимости с MDC и SN: для подключения их вилок достаточно установить вкладыш-переходник в розеточное гнездо.

Еще одно преимущество соединителей группы VSFF – существенное упрощение плавной миграции на более высокие скорости передачи. Для этого служит типовой механизм агрегации отдельных каналов группового сигнала Ethernet, который позволяет заменять аппаратуру только на одном из концов линии.

Обеспечение требуемой скорости и глубины обработки пользовательских запросов, т.е. в конечном счете качества функционирования ЦОДа, зачастую требует организации параллельных вычислений. Для этого несколько физически различных серверов нужно объединить в единую структуру коммутаторами.

Любой коммутатор вносит задержку в передаваемый сигнал. Ее конечная величина определяется:

Суммарное время чисто аппаратурной задержки сопоставимо с задержкой физического распространения сигнала в типовых кабельных трактах машинного зала ЦОДа. Механизм формирования этой задержки в принципе не позволяет сделать ее меньше некоторого довольно большого значения. Поэтому единственный способ повысить быстродействие распределенной вычислительной структуры в целом – уменьшить количество коммутаторов в цепи передачи сигнала от одного сервера к другому. Этого можно добиться отказом от классической трехуровневой модели информационной инфраструктуры в пользу двухуровневой. Реализующие ее структуры выделяются в отдельную группу Spine – Leaf.

Переход к архитектуре Spine – Leaf сопровождается существенными изменениями как самой СКС, так и применяемого в ней коммутационного оборудования. Это обусловлено:

Наиболее простой и экономичный способ решения этих проблем – целенаправленное введение в состав СКС дополнительного центрального кросса.

Распространение архитектуры Spine – Leaf оказывает мощное стимулирующее воздействие на разработку специализированных центральных кроссов. Причем это воздействие намного сильнее, чем то давление, которое оказывает на рынок естественный рост средних и крупных по количеству стоек ЦОДов.

Важно, что повышенный расход кабеля из-за роста количества линий и увеличения их средней длины не сопровождается критическим давлением на бюджет проекта. Сказывается то, что доля СКС в общем объеме капитальных затрат при существующей схеме организации проводки не превышает 5% и вполне может быть увеличена для придания ЦОДу новых технических свойств.

Сегодня наиболее широкополосные электропроводные линии относятся к классу G и реализуются на элементной базе категории 8. Они обеспечивают скорость передачи 40 Гбит/с и изначально ориентированы на применение в ЦОДах. Их основные особенности:

При необходимости как скорость передачи, так и предельная протяженность симметричного тракта могут быть увеличены до 100 Гбит/с и 100 м соответственно. При этом дальнейшее существенное наращивание скорости даже при сокращении предельной протяженности тракта становится проблематичным. Это обстоятельство получило название медного предела (см. рис. 1). Поскольку он был достигнут уже в начале второго десятилетия текущего века, перспективы применения электропроводной техники в крупных ЦОДах отсутствуют. Тем не менее при появлении соответствующего активного сетевого оборудования она будет востребована в малых ЦОДах.

***

ЦОДы – основной драйвер наращивания скорости передачи данных по кабельным трактам СКС, в первую очередь по волоконно-оптическим. В перспективе ожидается выход в терабитные скорости передачи.

При построении кабельных трактов волоконно-оптической подсистемы в качестве основной целесообразно применять схему Base8, которая обеспечивает отсутствие морального устаревания по крайней мере в ближайшей и среднесрочной перспективе.

Существующее многомодовое волокно категории ОМ5 по своим параметрам вполне удовлетворяет текущим и перспективным потребностям; острой необходимости в разработке новых типов волокна нет.

Переход к скоростям 400 Гбит/с и выше целесообразно совместить с широким внедрением разъемов нового типа из группы VSFF; наличие конкурирующих разработок должно положительно сказаться на скорости внедрения этой техники в широкую инженерную практику.

Выполнение СКС на базе кабелей из витых пар имеет смысл только в небольших ЦОДах.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>