СКС для ЦОДов: жажда скорости

Современные решения для СКС стали одной из основных тем, обсуждавшихся на конференции DCDE-2019, организованной «ИКС-Медиа».

Согласно данным Dell’oro Group, сегодня при подключении новых серверов в основном используют интерфейсы 10GE и 50GE. При этом за 10 лет доля гигабитных (1GE) интерфейсов снизилась с почти 100% (2008 г.) до менее, чем 10% (2018 г.) (рис. 1). С рынка серверного оборудования практически исчезают и интерфейсы 40GE. Связано это с тем, что индустрия переориентировалась на более эффективную технологию 25-гигабитных линий, на базе которых формируются как собственно интерфейсы 25GE, так и интерфейсы 50GE (2 x 25) и 100GE (4 x 25). Быстро повышается спрос и на 100-гигабитные интерфейсы.

Перед проектировщиками высокоскоростной кабельной инфраструктуры ЦОДов остро стоит вопрос выбора типа волокна: многомодовое или одномодовое? 

В сегменте трансиверов с высокоскоростными интерфейсами (100GE – 400GE) спрос на одномодовые решения растет опережающими темпами, и, согласно данным LightCounting, к 2021 г. они займут 2/3 рынка (рис. 2). Как отметил Сергей Логинов, директор по продажам и региональный менеджер компании Leviton, в 2014–2016 гг. на рынке произошел перелом цен: одномодовые системы существенно подешевели. Он связывает это с огромным спросом на подобные системы со стороны крупных заказчиков: Facebook, Google и других владельцев гиперЦОДов. Желание сотрудничать с такими компаниями заставило производителей опустить цены (рис. 3). «Сегодня стоимость 100-гигабитных одномодовых и многомодовых трансиверов примерно одинакова», – констатирует эксперт Leviton.

Сейчас для передачи потока 100G наиболее выгодные протоколы – 100GBase-SR4 для многомодового волокна и 100GBase-PSM4 для одномодового. Уникальность технологии 100GBase-PSM4 заключается в том, что она позволяет разделить порт 100G на четыре потока 25 Гбит/с для конечных устройств. Это дает возможность увеличить плотность портов на коммутаторе: один порт будет работать одновременно с четырьмя клиентами.

Уже приняты стандарты для 200GE и 400GE. «Многие считают, что пройдет еще два-три года, прежде чем протоколы 200GE и 400GE начнут активно внедряться. Мои коллеги из Leviton, которые стояли у истоков разработки этих технологий, полагают, что это произойдет значительно быстрее. Не успеем оглянуться, как скорости 200 и 400 Гбит/с будут использоваться в крупных ЦОДах», -- говорит С. Логинов.

Понятно, что на одномодовом волокне достичь высоких скоростей проще. Но и многомод не сдается. Так, в прошлом году была создана новая рабочая группа IEEE 802.3cm для разработки технологии, которая позволит передавать 400 Гбит/с по 16 (протокол 400G-SR) и восьми (400G-SR4.2) многомодовым волокнам. Решение с восемью волокнами будет использовать спектральное уплотнение. Правда, эксперт Leviton скептически относится к этой технологии: «Пока спектральное уплотнение на многомодовой технике не приживается. Не дает выигрыша ни в расстоянии, ни в скорости». 

Если говорить о плюсах многомода, то это, конечно, его меньшая чувствительность к загрязнениям. «Поскольку у одномодового волокна очень маленький диаметр сердцевины (всего 9 мкм), то попадание в место соединения обычной пылинки (типичный размер офисной пыли 2,5–10 мкм) может заблокировать передачу сигнала, – объясняет С. Логинов. – Для многомодовых коннекторов это не проблема. Даже грязные коннекторы позволяют передавать сигнал, пусть и со снижением качества» (рис. 4).

Одна из особенностей одномодовой техники, которую некоторые считают ее недостатком, – небольшое число типов волокна. Но то, что в одномодовом мире нет таких серьезных изменений в части характеристик самой физической среды передачи, имеет и свои преимущества. С. Логинов приводит такой пример. Технология 100GE (протокол 100GBase-SR4) в принципе не сможет работать на устаревшем многомодовом волокне OM1 и OM2, на OM3 будет работать лишь на расстоянии до 70 м и только на OM4/OM5 – на полноценных 100 м. В случае же одномодовой техники 100-гигабитная технология (100GBase-DR) будет работать и на волокне OS1, выпущенном в далеком 1999 г., причем на тех же 500 м, и на современном OS2. Коннекторы придется заменить (перейти на соединители с угловой полировкой), но кабель трогать не понадобится. «Это показывает, насколько велик запас по пропускной способности и возможности применения в будущем у одномодовых волокон», – делает он вывод.

Сложности при работе с одномодовой техникой, конечно, есть. Так, вместе со стоимостью одномодового трансивера (дешевая электроника) снизилось и разрешенное затухание сигнала в линии. Если раньше, например, для протокола 100GBase-ER4 допускалось затухание 15 дБ, то для 100GBase-PSM4 – только 3,3 дБ. Об этом обязательно нужно помнить при проектировании сетевой инфраструктуры для новых дата-центров. В частности, сложности могут возникнуть, если в линии связи много коннекторов – элементов, вносящих в затухание наибольший вклад.

«Одномод – простой путь миграции к высоким скоростям в ЦОДах. На соответствующих продуктах проще и дешевле реализовывать скоростные протоколы передачи данных, – заключает специалист Leviton. – Многомод не умирает, но небольшая дальность действия – для скоростных протоколов не более 100 м – существенно ограничивает перспективы его применения». 

Для высокоскоростных подключений серверов и другого оборудования в ЦОДах приходится разрабатывать новые интерфейсы. По мнению Сергея Горюнова, менеджера по развитию продаж Molex MPN Structured Cabling, наиболее перспективны интерфейсы SFP-DD и QSFP-DD. Первый основан на дуплексной технологии (всего два волокна) и обеспечивает скорость до 100 Гбит/с. Второй использует технологию параллельной оптики (8 волокон) и позволяет получить скорость до 400 Гбит/с (8 x 50 Гбит/с).

Заказчиков уже сегодня волнуют вопросы миграции к 400G в будущем. Несмотря на наличие множества различных протоколов, как отмечает С. Горюнов, в части числа волокон все сводится к двум уже упомянутым вариантам: дуплексной или параллельной (многоволоконной, base-8) оптике. Причем это относится как к многомодовой, так и к одномодовой технике.

При выборе между этими двумя вариантами, как считает специалист Molex, важно учитывать энергопотребление подключений, которое может оказать существенное влияние на энергопотребление ЦОДа в целом. В дуплексных решениях одно подключение 10G потребляет 1 Вт. В случае параллельной оптики расход на подключение 10G при использовании интерфейсов 40G составляет 0,4 Вт. Экономия электроэнергии может доходить до 60%.

Еще один важный момент – удобство обслуживания. Здесь дуплекс тоже проигрывает. «При высокой плотности портов и использовании дуплексных подключений в кроссовых зонах возникают сложности с обслуживанием», – указывает С. Горюнов. Впрочем, производители готовы здесь помочь. Так, для полок, рассчитанных на подключение 192 волокон в высоте всего 1U, специалистами Molex был разработан специальный коммутационный шнур Molex Long Reach, который не требует задействования никаких дополнительных инструментов в процессе подключения/отключения.

На объектах с большим числом и высокой плотностью подключений встает вопрос эффективной прокладки огромного количества кабелей. Как отмечает С. Горюнов, использование обычных для многоволоконных подключений кабелей с 12 волокнами позволяет уложить в типовой лоток 4400 волокон. Переход на кабели с большим числом волокон дает возможность существенно увеличить этот показатель при том же уровне заполнения: до 13 680 волокон в случае 144-волоконных кабелей и до 16 128 волокон в случае 288-волоконных (рис. 5). Для удобства подключения кабели с большим числом волокон разводятся с каждой стороны по типу «гидра».

Довольно много высокоскоростных протоколов используют восемь волокон – четыре на прием, четыре на передачу (40GBASE-PLR4, 100GBASE-PSM4, 200GBASE-DR4, 400GBASE-DR4). Однако 8-волоконных соединителей MPO не существует. Обычно производители активного оборудования применяют 12-волоконные MPO, и четыре волокна простаивают. Соответственно, снижается эффективность инвестиций в СКС. 

Подобная ситуация наблюдается и при использовании 24-волоконных MPO для таких протоколов, как 100G-SR10, которые предполагают задействование 20 волокон. Нет четкого соответствия между возможностями СКС и требованиями протокола. 

Эксперты Leviton рекомендуют применять стандартные коннекторы на 12 или 24 волокна, но решать задачу с помощью кассет, устанавливаемых на коммутационном поле. Такие кассеты позволяют выбрать любой требуемый интерфейс MPO. Так, подключив к кассете два 12-волоконных кабеля с MPO-12 или один 24-волоконный кабель с MPO-24, можно получить на другой стороне кассеты три 8-волоконных интерфейса. Также с помощью кассет можно разделить 12- и 24-волоконные кабели с MPO на 6 или 12 дуплексных портов. При этом будут задействованы все волокна в кабелях, и в любой момент, заменив кассету, можно перейти на другой тип интерфейса.

В перспективных ЦОДах нового поколения значение высокоскоростных кабельных систем только вырастет. Одно из направлений развития ИТ-архитектуры ЦОДов – переход к дезагрегированным техническим решениям. В традиционных ИТ-системах оперативная память и процессор неразрывно связаны, что чревато неоптимальным использованием этих ценных ресурсов. Скажем, процессор использует только часть памяти, а остальная простаивает. Дезагрегация серверов и формирование процессорного пула отдельно от пула памяти обещает массу преимуществ. Отказ от фрагментации ресурсов позволит удовлетворить больше запросов при том же их объеме, раздельно обслуживать и модернизировать различные типы ресурсов.

В дезагрегированных ЦОДах важно обеспечить максимально скоростную связь между процессорами и элементами памяти. Такая связь должна динамически меняться, оставаясь при этом полностью оптической. Вот тут на арену и выходят полностью оптические коммутаторы, способные переключать потоки без преобразования сигнала в электрический формат. Одно из таких решений – Polatis – используется в прототипе дезагрегированного ЦОДа, создаваемом консорциумом dRedBox, куда входят, в частности, IBM, Университет Бристоля, Telefonica Group и Барселонский суперкомпьютерный центр.

Как рассказал Евгений Марьин, менеджер по развитию бизнеса компании Huber+Suhner AG, полностью оптический коммутатор Polatis был разработан одноименной компанией, которую в 2016 г. приобрела Huber+Suhner. В основе решений Polatis лежит фирменная технология DirectLight Optical Switch. Все входящие волокна внутри коммутатора собраны в матрицу, напротив которой располагается такая же матрица из исходящих волокон. На конце каждого волокна размещается фокусирующая линза (коллиматор). Каждое волокно в матрице снабжено пьезоэлементом, который может отклонять его по вертикали или горизонтали. Это позволяет «нацеливать» волокна из входящей и исходящей матрицы друг на друга (рис. 7).

В принципе Polatis можно назвать автоматизированной коммутационной панелью. Но если обычные панели статичны, на ручное переключение уходит значительное время (от минут до часов), то в Polatis перекоммутация осуществляется дистанционно и занимает миллисекунды, при этом исключены ошибки, связанные с человеческим фактором. 

Несмотря на кажущуюся абсолютную инновационность, Polatis выпускается уже 10 лет, на рынок поставлено порядка 10 тыс. изделий. Они применяются в тестовых установках, при производстве оптического оборудования, в оборонных и государственных структурах. Есть примеры использования Polatis и в сетях ЦОДов, где такие коммутаторы служат для установления прямых оптических соединений между коммутаторами ядра и уровня доступа. Если система управления «замечает», что два каких-либо приложения постоянно обмениваются друг с другом данными, оно может дать команду Polatis установить прямое оптическое соединение между этими приложениями. В дальнейшем будет достаточно время от времени проверять, остается ли такое соединение нужным или следует его разорвать.

По сути, такой коммутатор реализует функцию программно определяемой СКС, которая становится органическим элементом программно управляемых сетей (SDN) и программно определяемого ЦОДа в целом.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>