Сетевая инфраструктура в ЦОДах. Что изменила пандемия

Пандемия не только не затормозила, а наоборот, ускорила развитие рынка коммерческих дата-центров в России. По данным iKS-Consulting, в 2020 г. объем предложения в стойко-местах увеличился на 13%, что превысило темпы роста рынка в предыдущие два года. Экспоненциальный рост объема данных и спроса на услуги ИТ-аутсорсинга станут основными факторами развития рынка коммерческих ЦОДов в ближайшие годы.

При выборе коммерческого ЦОДа заказчики в России сегодня в первую очередь уделяют внимание базовым факторам, связанным с надежностью и отказоустойчивостью (рис. 1). 

Растет спрос на ЦОДы с более высокими показателями надежности и отказоустойчивости. В Москве уже построен первый коммерческий ЦОД Tier IV – максимального уровня отказоустойчивости по классификации Uptime Institute. Еще два подобных объекта находятся в стадии строительства.

Пандемия повысила значимость надежной работы ЦОДов, поскольку от развернутых в них ИТ-систем зависят не только бизнес компаний, но и работа органов госуправления, здоровье и жизнь людей. При этом все более важной становится связность – надежность и производительность сетевой инфраструктуры как внутри ЦОДа, так и вне его, включая соединения между ЦОДами. 

Пандемия ускорила общий рост объемов передаваемого по сетям трафика. Так, в период с февраля по середину апреля 2020 г. глобальный интернет-трафик вырос почти на 40% (данные IEA), что обусловлено резким увеличением потребления таких сервисов, как видеостриминг, видеоконференцсвязь, онлайновые игры, социальные сети. Этот рост происходит на фоне общего подъема спроса на цифровые услуги за последнее десятилетие: с 2010 г. число пользователей интернета во всем мире удвоилось, а глобальный интернет-трафик вырос в 12 раз.

Объем трафика, циркулирующего внутри ЦОДа, т.е. между коммутаторами внутри сети (так называемый трафик «запад – восток»), существенно превосходит объем внешнего трафика – между ЦОДом и потребителями его сервисов (трафик «север – юг») (рис. 2). Главная причина такого доминирования – особенности архитектуры приложений, которые обычно разворачиваются на оборудовании, размещенном в ЦОДе. Например, пользователь, заходя на сайт, хостинг которого обеспечивает ЦОД, порождает всего один внешний запрос к веб-серверу (трафик «север – юг»). Но внутри ЦОДа он создает целый набор подключений: от балансировщика нагрузки к серверу front-end, от него к серверу back-end, от того к базе данных и обратно (трафик «запад – восток»).

На требования к сети ЦОДа помимо архитектуры приложений сильно влияет их виртуализация. Одиночное приложение, не связанное с хранением данных, редко может генерировать нагрузку на сеть больше 1 Гбит/c, но десятки приложений – запросто. Виртуализованные же приложения могут размещаться на серверах крайне плотно и должны быстро между ними перемещаться, значит, широкая полоса пропускания необходима везде.

Широкое применение виртуализации и облачных вычислений привело к тому, что для ЦОДов потребовалась новая сетевая архитектура, способная обеспечить меньшее время задержки и большую пропускную способность. Такая архитектура (рис. 3), получившая название сетевой фабрики, основана на соединениях между коммутаторами доступа (leaf) и ядра (spine).

Сетевая фабрика хорошо подходит для организации универсальных облачных услуг, обеспечивая соединения «каждый с каждым» с прогнозируемой пропускной способностью и с малым временем задержки. Ей присуще внутреннее резервирование благодаря множеству коммутационных ресурсов, распределенных по всему ЦОДу, что повышает доступность приложений. Развертывание и масштабирование такой сети может оказаться намного менее затратным по сравнению с развертыванием и масштабированием сетей на базе традиционных централизованных коммутаторов.

Несмотря на существенные различия, сетевые фабрики схожи с традиционными трех­уровневыми иерархическими сетями в том, что они должны быть масштабируемыми, управляемыми и надежными. Использование принципов структурированных кабельных систем позволяет обеспечить необходимое масштабирование и улучшить как показатель среднего времени ремонта (MTTR), так и общий уровень доступности систем. Организация сетевой фабрики с коммутационным полем кросс-коннекта заметно увеличивает гибкость при подключении оборудования.

На периферии сети, на уровне серверов, сегодня задействуются в основном интерфейсы 1, 10 и 25 Гбит/с. Здесь еще используются медножильные подключения: шнуры СКС или шнуры прямого подключения (DAС) – особенно когда коммутаторы leaf установлены в стойки с серверами (в архитектуре ToR). Если же коммутатор leaf располагается в середине ряда стоек (MoR) или в его конце (EoR), то для подключения серверов чаще применяют оптику (рис. 4). Следует заметить, что архитектуры MoR и EoR становятся все более популярными, поскольку позволяют уменьшить число коммутаторов, что дает возможность снизить сложность сети и задержку при передаче трафика. Переходу на схемы MoR и EoR способствуют и достижения в области микросхем, повышающие производительность отдельных коммутаторов.

Основная среда для связи между коммутаторами leaf и spine – вне всякого сомнения, оптика, а скорости постепенно приближаются к 200 и 400 Гбит/с (рис. 5). В список оптических решений, поддерживающих 200G и 400G, входят приложения 200GBASE-DR4, 200GBASE-LR4 и 400GBASE-DR4 для одномодовых сред и 400GBASE-SR16 для многомодовых. Для каждого из этих типов волокон есть дуплексные и параллельные варианты. Хотя показатели относительной стоимости меняются, но пока многомодовые системы продолжают требовать меньших капитальных затрат и по большей части остаются проще в поддержке и эксплуатации, чем одномодовые системы.

Помимо высокой производительности сетевой инфраструктуры, для современных ЦОДов важны ее хорошая масштабируемость и управляемость. Они необходимы для оперативного наращивания мощностей, быстрого подключения новых клиентов и развертывания новых сервисов. Чтобы ускорить выполнение подключений в ЦОДах, все чаще применяют претерминированные кабельные сборки, которые минимизируют объем работ «в полевых условиях» при гарантированном высоком качестве соединений на основе изготовленных на заводе сборок.

Необходимость повышения скорости передачи данных в ЦОДе заставляет увеличивать число оптических волокон. Связано это со все большим распространением параллельной оптики. Если раньше в ядре сети использовались 24-, 72-, 144- или 288-волоконные кабели, то сегодня применяют уже кабели, содержащие 1728, 3456 и даже 6912 волокон (Подробнее cм. «Готовимся к 400G, ждем 800G»). Инсталляция и обслуживание столь большого числа кабелей требует специальных высокоплотных кабельных систем, которые занимают минимум дорогостоящей полезной площади машинных залов ЦОДов. Например, это могут быть внестоечные ODF-шкафы высокой плотности, которые можно установить в углу серверного помещения. 

По мере роста скорости передачи данных максимально допустимые оптические бюджеты сокращаются. Скажем, если для канала 10GBASE-SR при длине 300 м допустимы потери 2,6 дБ, то для канала 100GBASE-SR4 при существенно меньшей длине (70 м) они снижаются до 1,8 дБ (в обоих случаях данные приведены для волокон OM3). Поэтому все более востребованы компоненты с низкими и сверхнизкими задержками: LL (Low-Loss) и ULL (Ultra-Low-Loss). Использование таких модульных претерминированных решений существенно повышает вариативность проектирования кабельной системы, позволяя, скажем, увеличить длину канала и/или число соединителей.

Для повышения вариативности важно и то, что названные решения поддерживают практически все комбинации типов волокон, количества соединений и вариантов топологии для различных архитектур. Это обеспечивает возможность организации высокоскоростных каналов большей дальности, свободу выбора топологий для масштабирования в очень больших и сложных средах и гарантированную производительность приложений как для стандартных, так и для проприетарных систем. В связи с большим числом вариантов подключений серверов, в том числе проприетарных, особую важность приобретают системы управления кабельной инфраструктурой класса AIM.

Инфраструктура ЦОДа должна быть способна к масштабированию, т.е. к переходу на более высокие скорости передачи данных. Поэтому поддержка в будущем 100G, 200G, 400G и даже более высоких скоростей – часть требований к проекту сети, которые влияют на выбор типа волокна (многомодовое или одномодовое), его класса (OM3, OM4 или OM5) и количества пар волокон, установленных на каждом участке.

Для перспективного проектирования сети необходимо рассмотреть целый ряд моментов, в частности:

Для помощи в проектировании, развертывании и модернизации (при переходе к более высоким скоростям) оптоволоконной инфраструктуры ЦОДов существует целый ряд инструментов. Они позволяют определить допустимые топологии кабельных каналов для широкого спектра приложений с учетом стандартов, соглашений между производителями и проприетарных спецификаций. Кроме того, предлагаемые производителями СКС калькуляторы выдают требования к затуханию для конкретного канала, одновременно показывая, какие приложения он будет поддерживать.

Конкурентоспособность коммерческих ЦОДов зависит, в частности, от скорости развертывания новых сервисов, отказоустойчивости физических линий передачи данных, наличия конкурентных предложений внешних каналов связи. Заранее подготовленная СКС обеспечивает гибкость в планировании и распределении полезной площади как для небольших клиентов, так и якорных арендаторов.

Уровень функциональности и доступности СКС может (и должен) стать одним из важных пунктов SLA, определяющих:

Стандарт EN 50600-2-4/ISO 22237-5 описывает четыре класса доступности и топологии СКС для ЦОДов:

Для ЦОДов, к которым предъявляются жесткие требования отказоустойчивости (т.е. для подавляющего большинства таких объектов), рекомендованы СКС класса 3 или 4. Для этих классов обязательна организация коммутационных полей по схеме кросс-коннекта, рекомендуется использование претерминированных решений.

Основные требования к СКС в коммерческих ЦОДах: 

Отношение ряда операторов коммерческих ЦОДов к СКС как к статье расходов (дополнительных затрат) принципиально неверно. Оператор может зарабатывать на СКС, например, взимая плату за выполнение коммутаций к операторам связи (для соответствующего биллинга может использоваться система класса AIM).

Грамотно организованная СКС помогает создавать добавленную стоимость и дополнительные сервисы, которые позволят оператору ЦОДа оптимизировать использование ресурсов и стать более привлекательным для клиентов.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>