Сети для ЦОДов. Адаптация к росту числа волокон
Объем трафика, поступающего в ЦОДы, растет, а новое поколение приложений, развитие которых стимулируется достижениями в области искуственного интеллекта и M2M, требует снижения задержки до уровня миллисекунды. Эти тенденции формируют новые вызовы к инфраструктуре ЦОДов.
Удовлетворить растущие требования к снижению задержки и увеличению объема трафика в сети можно четырьмя основными способами:
- снизить уровень потерь сигнала в канале связи;
- сократить длину канала;
- увеличить скорость передачи сигнала;
- расширить размер сетевой «трубы».
В какой-то степени ЦОДы сегодня используют все эти подходы, но основное внимание – особенно в гиперЦОДах – уделяется увеличению числа оптических волокон. Исторически магистральные кабели содержали 24, 72, 144 или 288 волокон. Сегодня в таких кабелях используется уже 1728, 3456 или даже 6912 волокон – более чем в 20 раз больше, чем ранее.
Большое количество
волокон в сочетании с компактной конструкцией кабеля особенно важно при
организации соединений между ЦОДами (Data Center Interconnect, DCI). Магистральные DCI-кабели с более чем 3000 волокон стали уже
типовыми для соединения гиперЦОДов, и операторы планируют удвоить этот
показатель в ближайшем будущем. Внутри ЦОДа наиболее высокие требования
предъявляются к магистральным кабелям, которые соединяют коммутаторы ядра сети между
собой или телекоммуникационные комнаты (meet-me rooms) и коммутаторы spine, установленные в рядах стоек.
Независимо от того, требует ли конфигурация ЦОДа подключения типа «точка – точка» или «коммутатор – коммутатор», увеличение количества волокон очень важно для обеспечения более высокой пропускной способности и емкости там, где это необходимо.
Огромное количество оптоволокна создает две большие проблемы для ЦОДов. Во-первых, как развернуть кабели быстро и эффективно: как намотать на катушку, как снять с катушки, как протянуть между конечными точками, как уложить в кабель-каналы? Как только кабели будут проложены, встает вторая задача: как разобрать их на волокна и организовать подключения коммутаторов и серверов?
Рулонные ленточные волоконно-оптические кабели
Развитие оптических технологий стало ответом на потребность в более производительных каналах передачи данных. В частности, эволюция методов укладки волокон в кабеле позволяет ЦОДам использовать больше волокон без увеличения занимаемого кабельной проводкой пространства. Рулонные ленточные волоконно-оптические кабели – одно из последних звеньев в цепочке инноваций.
Конструкция рулонного ленточного кабеля
частично основывается на более ранней разработке, ленточном кабеле с
центральной трубкой, который был представлен в середине 1990-х гг. и
использовался главным образом для внешних сетей. Он содержал ленточные сборки
до 864 волокон в одной центральной буферной трубке. В таком кабеле волокна сгруппированы
и соединены непрерывно по всей его длине, что увеличивает жесткость
конструкции. Это мало влияет на развертывание во внешних сетях, но внутри ЦОДов
жесткий кабель нежелателен из-за серьезных ограничений на геометрию прокладки.
В рулонном ленточном кабеле точки скрепления волокон
расположены с некоторым промежутком, образуя структуру, напоминающую паутину. Такая структура делает ленту более гибкой, позволяя загружать до 3456 волокон в один двухдюймовый (примерно 5 см) канал, что вдвое превышает плотность укладки кабелей с традиционной упаковкой волокон. Это также позволяет уменьшить радиус изгиба, что облегчает работу с новыми кабелями в стесненных условиях ЦОДа.
Внутри кабеля
прерывисто связанные волокна приобретают физические характеристики свободно
уложенных волокон, которые легко изгибаются, что также облегчает прокладку в
ограниченном пространстве. Кроме того, в рулонных ленточных кабелях не
используется гель, благодаря чему подготовка к сращиванию выполняется быстрее и
проще и, следовательно, снижаются трудозатраты. При этом прерывистое скрепление
обеспечивает выравнивание волокон, необходимое для сращивания сразу множества
волокон в ленте.
Уменьшение диаметра кабеля
В течение десятилетий
номинальный диаметр почти всех оптических волокон для систем связи составлял
250 мкм. С ростом спроса на кабели меньшего диаметра ситуация начала меняться.
Многие конструкции кабелей практически достигли предела уменьшения диаметра при
использовании стандартного волокна. Но волокно меньшего диаметра позволяет дополнительно
уменьшить размеры кабеля. В настоящее время в рулонных ленточных кабелях и в
кабелях для прокладки в микроканалах применяются волокна диаметром 200 мкм.
Важно подчеркнуть,
что единственная часть волокна, которая подверглась изменению, – это буферное
покрытие. В волокнах толщиной 200 мкм диаметр сердцевины, как и в
обычных волокнах, составляет 125 мкм для сохранения оптических характеристик и совместимости
при сращивании. После снятия буферного покрытия процедура сращивания для
200-мкм волокна такая же, как и для его 250-мкм аналога.
Новые чипсеты еще больше усложняют задачу
Все серверы, расположенные в стойках одного ряда, обычно сконфигурированы для поддержки заданной скорости подключения. Но в современных сетях с архитектурой «фабрика» крайне редко все серверы в ряду работают с максимальной линейной скоростью одновременно. Отношение требуемой пропускной способностью восходящего канала (например, от сервера к коммутатору доступа) к выделенной пропускной способностью нисходящего канала (например, от уровня агрегации к коммутатору доступа) известно как коэффициент конкуренции, или переподписки. В некоторых сегментах сети, например, на межкоммутаторных линках, этот коэффициент может достигать значений 7:1 или 10:1. Более высокий коэффициент выбирается для снижения затрат на коммутаторы, но при этом повышает вероятность перегрузки сети.
Проблема избыточной подписки становится более существенной при построении больших серверных сетей. По мере увеличения пропускной способности каналов между коммутаторами число подключений к коммутатору уменьшается. Это требует объединения нескольких слоев сетей leaf – spine для достижения требуемого количества серверных подключений. Однако каждый уровень коммутаторов увеличивает стоимость решения, энергопотребление и задержку. Эти проблемы подстегнули эволюцию микросхем ASIC для коммутаторов. В декабре 2019 года компания Broadcom начала поставки новейшего коммутатора StrataXGS Tomahawk 4, обеспечивающего Ethernet-коммутацию со скоростью 25,6 Тбит/с в одной микросхеме ASIC. Это произошло менее чем через два года после появления Tomahawk 3, который работал со скоростью 12,8 Тбит/с.
Эти микросхемы ASIC увеличили не только скорость передачи данных одним потоком, но и количество поддерживаемых портов. Таким образом ЦОДы получили возможность лучше контролировать коэффициент переподписки. Коммутатор, построенный на основе микросхемы TH3, способен поддерживать работу 32 портов 400G. Каждый из них может быть разбит на восемь портов 50G для подключения серверов. В свою очередь, эти порты могут быть сгруппированы для формирования соединений 100G, 200G или 400G. Причем каждый порт может использовать одну, две, четыре или восемь пар волокон в пределах одного и того же форм-фактора QSFP.
Понятно, что полезно минимизировать или вообще устранить избыточную подписку. Коммутатор на базе TH3 может подключать до 192 серверов, сохраняя при этом уровень переподписки 3:1 и восемь портов 400G для подключения leaf – spine. Он может заменить шесть коммутаторов предыдущего поколения.
Новые коммутаторы TH4 будут иметь 32 порта по 800G. Линейная скорость ASIC (скорость одного потока) увеличилась до 100G. Сейчас разрабатываются новые электрические и оптические спецификации для поддержки линий по 100G. Новая экосистема на основе линейных скоростей 100G позволит оптимизировать инфраструктуру в соответствии с требованиями новых рабочих нагрузок, таких как машинное обучение и искусственный интеллект.
Эволюция роли поставщика кабельной инфраструктуры
В этой динамичной и более сложной среде роль поставщика кабельной продукции меняется. В свое время волоконно-оптические кабели считались простым продуктом, а не инженерным решением, но сейчас это уже не так. Когда столь многое поставлено на карту, поставщики кабельной продукции стали технологическими партнерами, столь же важными для успеха ЦОДа, как его архитекторы и системные интеграторы.
Владельцы и операторы ЦОДов все больше полагаются на производителей кабельных систем, на их опыт в области терминирования и сращивании волокон, в выборе оптимальной производительности приемопередатчиков, тестировании и многом другом. Эта возросшая роль требует от производителей развивать более тесные рабочие отношения с теми, кто участвует в инфраструктурной экосистеме, а также с органами по стандартизации.
По мере того как появляются все новые стандарты, определяющие увеличение скорости в одном потоке и их объединения, производитель кабельных систем играет все большую роль в реализации технологической «дорожной карты» развития ЦОДа. В настоящее время стандарты, касающиеся систем 100GE/400GE и развивающихся технологий 800G, включают в себя головокружительный набор альтернативных решений. В рамках каждого варианта существует несколько подходов, включая дуплексную и параллельную передачу, а также передачу со спектральным уплотнением. Проектирование кабельной инфраструктуры должно учитывать все эти многочисленные варианты.
В поисках баланса
По мере роста количества волокон объем свободного пространства в ЦОДах будет продолжать сокращаться. Необходимо рассматривать все компоненты, включая серверы и шкафы, чтобы обеспечить большую производительность на меньшей площади.
Пространство – далеко не единственный ресурс, утилизацию которого следует улучшить. Сочетая новые конфигурации волокон, такие как рулонные ленточные кабели с уменьшенными размерами, и передовые методы модуляции, сетевые специалисты получают в свое распоряжение множество эффективных инструментов. И надо уметь ими пользоваться.
Если ориентироваться на темпы технологического развития, особенно в облачных гиперЦОДах, то лучше хорошенько пристегнуться. По мере того, как требования к пропускной способности и предложению услуг увеличиваются, а задержка становится все более критичной для конечного пользователя, все больше волокон будет «проникать» в сеть.
Гипермасштабируемые и облачные ЦОДы находятся под растущим давлением, чтобы обеспечить сверхнадежную связь для все большего числа пользователей, устройств и приложений. Способность развертывать и обслуживать все большее количество волокон – важное условие для удовлетворения этих потребностей.
Цель состоит в том, чтобы достичь баланса, обеспечивая каждый элемент ЦОДа нужным количеством волокон, гарантируя при этом хорошее техническое обслуживание и управляемость, а также поддерживая будущий рост.
Джеймс
Янг, директор по
корпоративным ЦОДам, CommScope
Джейсон
Батиста,
архитектор ЦОДов, CommScope
Кен
Холл, архитектор решений
для облачных ЦОДов, CommScope
Мэтт
Бальдассано, технический директор, CommScope
Из электронной книги компании CommScope What’s Next for the
Data Center: 2021 Trends to
Watch.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!
Адрес: 105082, Россия, г. Москва, 2-й Ирининский пер, д. 3