Сети для ЦОДов. Готовимся к 400G

Способность ЦОДов адаптироваться и выживать проверяется постоянно ужесточением требований к пропускной способности, емкости и величине задержки при переходе на более высокие скорости передачи данных в сетевой инфраструктуре. В течение последних нескольких лет мы наблюдали, как скорость соединений в сетях ЦОДов увеличилась с 25G/100G до 100G/400G. За каждым скачком скорости следует короткое плато, которое дает менеджерам ЦОДов возможность подготовиться к следующему прыжку. 

Сейчас ЦОДы готовятся взять «высоту» 400G. Какие технологии лучше всего подходит для этого?

 

Потребность в более высокой пропускной способности сети приводит к увеличению числа волокон. 15 лет назад оптоволоконные магистрали в ЦОДах содержали, как правило, не более 96 волокон, включая резервные. Сегодня кабели с 144, 288 и 864 волокнами стали нормой, а в гипер- и облачных ЦОДах уже переходят на 3456-волоконные кабели. Несколько производителей в настоящее время предлагают 6912-волоконные кабели, а на горизонте – 7776-волоконные.

Кабели с большим числом волокон занимают много ценного пространства в кабель-каналах, а их толщина затрудняет обеспечение должной производительности из-за ограничений на минимальный радиус изгиба. Чтобы преодолеть эти проблемы, производители кабелей переходят на рулонные ленточные кабели и волокно диаметром 200 мкм.

Если в традиционных ленточных кабелях 12 волокон связаны по всей длине кабеля, то в рулонном ленточном кабеле точки скрепления волокон расположены с некоторым промежутком, что позволяет скручивать такие кабели, а не сворачивать в одной плоскости. В среднем этот тип конструкции позволяет помещать 3456 волокон в двухдюймовый кабель-канал, тогда как плоская конструкция – только 1728 волокон в том же пространстве.

200-мкм волокно сохраняет стандартную 125-мкм сердцевину, которая полностью совместима с уже имеющейся и новой оптикой; разница заключается в том, что толщина обычного 250-мкм защитного покрытия уменьшена до 200 мкм. В сочетании с рулонной ленточной конструкцией уменьшенный диаметр волокна позволяет производителям кабельных систем сохранять размер кабеля неизменным, удваивая количество волокон по сравнению с традиционным плоским ленточным кабелем с волокнами 250 мкм.

Такие технологические решения, как рулонный ленточный кабель и 200-мкм волокно, активно используются гиперЦОДами. В ЦОДах, где расстояния между коммутаторами нижнего уровня (leaf) и серверами намного меньше, а плотность соединений – выше, основное внимание уделяется капитальным и эксплуатационным затратам на оптические модули.

По этой причине многие ЦОДы ориентируются на более дешевые приемопередатчики с лазером VCSEL, которые работают по многомодовым волокнам. Другие выбирают гибридный подход – применяют одномодовые волокна на верхних уровнях ячеистой сети, а многомодовые – для подключения серверов к коммутаторам leaf. Сегодня все больше объектов внедряют технологию 400GE, а 50G- и 100G-оптические соединения с серверами становятся нормой, и ЦОДы начинают нуждаться в обоих типах волокна: одномодовом и многомодовом.

Рынок оптических решений для 400G определяется балансом стоимости и производительности.

В 2017 году CFP8 стал форм-фактором модулей 400GE первого поколения, которые предназначались в основном для маршрутизаторов и транспортных клиентских интерфейсов систем спектрального уплотнения DWDM. Размеры модуля CFP8 немного меньше, чем размеры модуля CFP2. В нем используются схемы электрического ввода-вывода CDAUI-16 (16x25G NRZ) и CDAUI-8 (8x50G PAM4). 

Впоследствии для модулей 400G второго поколения стали применяться форм-факторы QSFP-DD и OSFP. Разработанные для коммутаторов ЦОДов с высокой плотностью портов, эти модули размером с большой палец позволяют обеспечивают емкость 12,8 Тбит/с в пространстве 1RU (32 порта 400GE) и поддерживают только схему CDAUI-8.

Модули CFP8, QSFP-DD и OSFP подключаются в «горячем» режиме, но не все модули приемопередатчиков 400GE таковы. Некоторые из них монтируются непосредственно на главной печатной плате, что обеспечивает более высокую плотность портов. Несмотря на это преимущество, индустрия Ethernet продолжает отдавать предпочтение подключаемой оптике для систем 400GE. Такие решения легче обслуживать, и они предоставляют возможность масштабирования по принципу «плати по мере роста».

Для любого, кто работает в отрасли ЦОДов более или менее продолжительное время, переход на 400G – еще одна ступень эволюции этих объектов. Существует группа MSA, работающая над системами 800G с использованием восьми трансиверов по 100G. CommScope – член группы 800G MSA – вместе с другими компаниями в рамках IEEE ищет решения, которые поддерживали бы подключение серверов по многомодовому волокну с передачей 100G на каждой длине волны. Эти разработки должны выйти на рынок в 2021 году, за ними, возможно в 2024 году, последуют системы с пропускной способностью 1,6T.

Хотя детали перехода на более высокие скорости часто обескураживают, их обсуждение помогает представить процесс в перспективе. По мере развития сервисов ЦОДов скорость подключения систем хранения данных и серверов также должна увеличиваться. Чтобы поддерживать более высокие скорости, требуются подходящие среды передачи. При выборе оптических модулей, которые наилучшим образом отвечают потребностям вашей сети, начните с конца. Чем точнее вы сможете предвидеть необходимые сервисы и сетевую топологию, необходимую для их предоставления, тем лучше сможете подготовить сеть для поддержки будущих приложений.

Региональные кластеры ЦОДов создаются все чаще, и высокопроизводительные и недорогие DCI-соединения становятся все более актуальными. Появляются новые стандарты IEEE, которые описывают множество более дешевых вариантов, реализующих принцип plug-and-play для соединений «точка – точка».

Трансиверы, основанные на традиционной четырехуровневой амплитудно-импульсной модуляции (PAM4) для прямого детектирования, обеспечивают связь до 40 км, обеспечивая непосредственную совместимость с недавно представленными коммутаторами 400G. Но имеются и другие разработки, которые предоставляют аналогичную функциональности при использовании традиционных транспортных DWDM-каналов.

Там, где требуется дальность 40–80 км и более, когерентные системы с расширенной поддержкой «дальнобойной» оптики, скорее всего, захватят большую часть соответствующего рынка высокоскоростной связи.

Когерентная оптика преодолевает ограничения, связанные с хроматической и поляризационной дисперсиями, что делает ее идеальным выбором для более протяженных линий связи. Такие решения традиционно были сильно кастомизированы (и дороги), требуя специальных «модемов» в отличие от оптических модулей plug-and-play.

По мере развития технологий когерентные решения, вероятно, станут более компактными и менее дорогими. В конце концов относительная разница в стоимости может уменьшиться до такой степени, что выгода от применения этой технологии будет ощущаться и для более коротких каналов связи.

Переход к более высоким скоростям в ЦОДе происходит поэтапно. По мере развития приложений и сервисов скорость работы систем хранения и серверов также должна увеличиваться. Шаблонный подход к выполнению периодически повторяющихся обновлений поможет сократить время и затраты, необходимые для планирования и реализации изменений. Мы рекомендуем целостный подход, при котором коммутаторы, оптика и волоконные кабели работают как единая скоординированная инфраструктура передачи данных.

В конечном счете то, как все эти компоненты будут работать вместе, определит способность сети надежно и эффективно поддерживать новые приложения. Сегодняшняя задача – внедрение 400G, завтрашняя – 800G или даже 1,6Т. Однако фундаментальные требования к высококачественной волоконно-оптической инфраструктуре неизменны, несмотря на изменение сетевых технологий. 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!