Журнал ИКС

Разделы сайта

• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Ближайшие события

Денис МОРГУНОВ

09 марта 2011

Подключение высокопроизводительных коммутаторов в сетях SAN

Рост числа эксплуатируемых портов, скоростей и дальности передачи информации определяет новые требования к организации подключения портов оборудования и соответствующей СКС. Поставленные задачи решаются разработчиками и производителями кабельных систем, с одной стороны, и производителями активного оборудования – с другой.

Уже не первый год количество единиц серверного оборудования, систем хранения данных, портов SAN Fibre Channel в инфраструктуре современных ЦОДов стремительно растет (по некоторым оценкам, ежегодный прирост – от 10 до 100 раз). В свою очередь, миграция к более высоким скоростям передачи данных (мы ограничимся рассмотрением систем со скоростями до 10 Гбит/с) обусловлена закономерным развитием технологий передачи и хранения информации, требующих все большей доступной полосы и меньшей задержки сигнала, возникающей из-за разнесения оборудования на значительные расстояния. Третий немаловажный фактор – это переход от статичной к динамической, виртуализованной инфраструктуре.

Кабельная инфраструктура ЦОДа – в чем проблемы

Значительная часть владельцев ЦОДов до сих пор уделяет внимание организации кабельной инфраструктуры «по остаточному принципу», часто полагаясь на общепринятые централизованные методы проектирования подобных систем. Слабая развитость планирования инфраструктуры с учетом будущих задач и потребностей приводит к тому, что кабельные системы обычно организуются по простейшему варианту типа «точка – точка». Такой несистематизированный подход приводит к тому, что под фальш-полом, в кроссовых коммутационных стойках и в шкафах с активным оборудованием образуется хаос, причем с течением времени ситуация только ухудшается. В результате решение задач оптимизации кабельных соединений и соответствующих подключений, локализации неисправностей и горячей замены оборудования требует все больших физических усилий и финансовых и временных затрат, а итогом становится незапланированное ограничение работоспособности критически важных бизнес-приложений.

Описанная ситуация не только серьезно влияет на стоимость обслуживания кабельной проводки, но и затрагивает другие критически важные составляющие инфраструктуры ЦОДа. Так, в большинстве случаев увеличивается объем пространства под полом, занимаемого кабельными лотками и сопутствующими элементами; снижается эффективность использования полезной площади машинного зала под размещение активного оборудования. Затрудняется циркуляция холодного воздуха в пространстве под полом и вблизи кроссовых стоек, где сконцентрировано множество кабелей, а значит, снижается эффективность работы систем кондиционирования.

В конечном счете в условиях консолидации оборудования и приложений мы получаем ЦОД, не удовлетворяющий современным требованиям по эффективности. Попытки же оптимизации расходов за счет снижения категории проводки (в том числе использование соответствующих трансиверов) приводят к тому, что передаточные свойства каналов перестают отвечать требованиям приложений, когда ЦОД вводится в нормальный режим эксплуатации.

Подтверждением сказанному может служить тот факт, что сегодня все больше производителей активного оборудования уделяют пристальное внимание организации подключений, предлагая своим заказчикам решения, адаптированные под конструктивные особенности активного оборудования. Кроме того, из доступных отчетов и материалов международных профильных конференций можно сделать вывод о том, что более чем для половины частных и публичных ЦОДов в мире вопросы обновления кабельной инфраструктуры остро встанут уже в ближайшие два-три года.

Кабельные системы высокой емкости в SAN

При проектировании и внедрении структурированной кабельной системы, помимо обеспечения универсальности проводки, необходимо уделить внимание решению трех основных задач.

Масштабируемость проводки. Согласно требованиям стандартов, кабельная система должна позволять наращивать количество подключаемых портов. В случае инфраструктуры SAN Fibre Channel можно с уверенностью говорить о тысячах оптических портов или даже о десятках тысяч – в масштабных проектах.

Прозрачность и управляемость инфраструктуры. Внедряемая кабельная система должна обеспечивать простую локализацию неисправностей и позволять быстро вносить изменения в конфигурацию проводки и порядок подключения портов оборудования. Модульные кабельные системы должны допускать изменения на уровнях физического порта, группы портов, на уровне единицы оборудования и групп стоек – в отличие от традиционных подходов на основе кабельных систем малой плотности (дуплексные патчкорды и производные от них сборки на основе кабеля Breakout).

Дальность передачи и производительность. С ростом размеров машинных залов и разнообразия парка активного оборудования общая протяженность кабельной проводки также возрастает, следовательно, требуется использовать в тракте высококачественные оптические системы и пассивные компоненты.

Затраты на создание кабельной инфраструктуры в рамках комплексного проекта создания ЦОДа обычно составляют от 2 до 10% от общего объема инвестиций в оборудование. С другой стороны, современный высокопроизводительный SAN-коммутатор может объединять свыше 500 портов в од-ном шасси, что предъявляет дополнительные требования к размещению и компактности кабельной проводки для его подключения. Поэтому все более популярными становятся кабельные системы высокой емкости на основе оптического интерфейса MTP (рис. 1). Такие системы Plug & Play существенно сокращают время монтажа и общую стоимость работ, а также упрощают подключение портов коммутатора благодаря возможности одновременной коммутации до 72 оптических волокон в одном соединении.

Используемые кабельные сборки выполнены на основе компактного оптического кабеля круглого сечения. Существует два основных варианта организации стационарных линий: компактные сборки MTP – MTP (часто их называют jumper cable) или многоволоконные сборки с разъемами MTP емкостью от 48 до 144 волокон (trunk cable). Здесь необходимо отметить, что внесение некоторых изменений в конструкцию разъема позволило адаптировать его к использованию с кабелем круглого сечения емкостью 24 волокна при наружном диаметре менее 4 мм.

В реальных условиях в шкаф, где размещается коммутатор, прокладывают претерминированные сборки типа MTP – MTP (jumper или trunk cable), а для подключения к портам активного оборудования используют короткую кабельную сборку MTP – LC Fan-out (рис. 2), без коммутационных модулей и панелей на их основе. В качестве дополнительного преимущества здесь можно отметить максимальное использование полезного объема шкафа под размещение активного оборудования и сокращение количества разъемных соединений в линии, а значит, и соответствующее снижение суммарных потерь.

Подключение коммутаторов SAN

Отдельную инженерную задачу представляет собой организация физического подключения портов высокопроизводительных коммутаторов (рис. 3). Здесь необходимо отметить следующие особенности:

• кроме различных сервисных типов лезвий, интерфейсные карты отличаются по количеству физических портов;

• высока плотность монтажа трансиверов на лицевой стороне лезвия;

• лезвия в шасси коммутатора расположены крайне близко;

• возможно как вертикальное, так и горизонтальное расположение лезвий и соответствующих трансиверов на них;

• необходимо достаточное свободное пространство для подключения крупногабаритных медножильных кабелей ICL (Inter-Chassis Link);

• суммарное количество подключаемых портов на одном шасси достигает нескольких сотен.

При выборе конфигурации кабельной системы для подключения портов коммутатора в качестве отправной точки рассматривают особенности охлаждения коммутатора – направление поступления холодного воздуха и выхлопа горячего. Существует два варианта: первый – поступление воздуха сзади и выхлоп спереди; второй – поступление и выхлоп через боковые стенки шасси. Исходя из этих особенностей, кабельную проводку можно выкладывать снизу, сверху или сбоку шасси. В качестве примера рассмотрим схему на рис. 4.

В большинстве случаев трансиверы, независимо от общего количества портов на лезвии, сгруппированы по четыре, что позволяет определить емкость элементарной кабельной сборки как восемь волокон или четыре дуплексных соединения. Таким образом, можно определить общий объем подключаемой проводки на одно шасси в зависимости от типа/количества портов на одном лезвии:

• FC8-16 > 4 кабельных сборки (по 8 волокон)

• FC8-32 > 8 кабельных сборок (по 8 волокон)

• FC8-48 > 12 кабельных сборок (по 8 волокон)

• FC8-64 > 16 кабельных сборок (по 8 волокон)

При условии использования единого типа лезвий к шасси в предельном случае можно подключить до 128 сборок или до 256 сборок при размещении двух шасси в одной стойке. Это показывает, что общий объем проводки в стойке достаточно велик и можно в полной мере говорить о высокой плотности подключений. Вторым важным моментом является высокая чувствительность волноводной структуры световода к внешним механическим воздействиям, что существенно повышает требования к аккуратности и качеству исполнения монтажных работ.

Сегодня некоторые производители кабельных систем предлагают подключать лезвия, разместив различные типы коммутационных панелей в непосредственной близости от шасси коммутатора с последующим подключением портов при помощи дуплексных патчкордов или претерминированных сборок (рис. 5, а). Этот способ позволяет организовать подключение типа interconnect через промежуточную коммутационную панель.

Принимая во внимание ограниченность бюджета мощности в тракте, может быть целесообразно организовать прямое включение в порт при помощи кабельной сборки, проложенной непосредственно от центрального коммутационного шкафа в главной зоне ЦОДа (рис. 5, б). В данном случае сокращается количество промежуточных разъемных соединителей в тракте и снижаются суммарные оптические потери. Немаловажно также, что при этом снижается число источников селективных потерь (разъемных соединителей), которые проявляются в виде модового шума и могут существенно ограничить передаточные характеристики оптического тракта.

Проектный подход

В условиях реального проекта необходимо учитывать особенности последующей эксплуатации оборудования: предусматривается ли стационарное подключение портов (все они подключаются сразу) или необходимо подключать их постепенно. В этих случаях можно говорить о статических или динамических условиях эксплуатации оборудования с точки зрения изменений. Стоит также задать вопрос о том, какой подход целесообразен: с претерминированным решением MTP или традиционный, на основе дуплексных патчкордов.

Здесь однозначного решения быть не может, и при выборе следует исходить из баланса следующих интересов (табл. 1):

• необходимость и возможность горячей реконфигурации физических подключений портов;

• возможность локализации и устранения неполадок в кабельной проводке;

• компактность и емкость используемой проводки; стоимость компонентов проводки;

• возможность организации    выкладки проводки.

Использование дуплексных патчкордов для подключения – это, безусловно, самое бюджетное решение, и оно не накладывает дополнительных требований в процессе проектирования. Как следствие, основные сложности возникают в процессе эксплуатации оборудования, поскольку выкладка нескольких сотен патчкордов в ограниченных условиях традиционного шкафа представляется сложной задачей. С другой стороны, в случае использования оптических шнуров повреждение тракта достаточно легко локализуется независимо от остальных подключений, что делает процесс сравнительно простым.

Главным недостатком этого решения является его громоздкость в сравнении с вариантом на основе претерминированных кабельных сборок; последние компактны и их можно аккуратно выложить на соответствующих органайзерах.

Далее в процессе проектирования необходимо принять решение о конфигурации самого тракта: будет ли использоваться коммутационная панель или он будет подключаться непосредственно в порт оборудования (табл. 2).

Использование промежуточной коммутационной панели не требует прокладки новой кабельной сборки взамен поврежденной, поскольку достаточно замены только короткого патчкорда или MTP – LC fanout. Это единственное преимущество данного решения с практической точки зрения. В случае прямого подключения оборудования в порт главным плюсом является сокращение числа промежуточных разъемных соединений и возможность хранить излишек кабельной сборки вне шкафа, например на лотках под фальшполом.

Оба рассмотренных варианта реализуются на стандартных, типовых решениях и имеют один общий недостаток – образование излишка, слабины у подключаемых патчкордов или оконцованных разъемами LC полувилок претерминированной сборки. Слабина образуется из-за линейного расположения портов трансиверов по вертикали или по горизонтали – в зависимости от типа подключаемого оборудования. Таким образом, можно говорить о необходимости подбирать длину патчкордов или конфигурации оптических сборок с шагом, кратным шагу расположения групп подключаемых портов лезвия. С точки зрения пользователя необходимый комплект патчкордов или сборок для каждой конфигурации лезвий будет различным, что переводит данные изделия в разряд нестандартных с соответствующей ценовой премией производителя.

В качестве альтернативного решения можно рассматривать использование адаптированной сборки фиксированной конфигурации (рис. 6).

В сочетании с соответствующими элементами крепежа данное решение может устанавливаться с определенным шагом по глубине шкафа, что исключает привязку длин полувилок к шагу расположения портов на лезвии коммутатора.

В заключение необходимо отметить, что на рынке просматривается четкая тенденция к объединению усилий производителей активного оборудования и компаний – разработчиков кабельных систем. Насколько хорош окажется результат совместных усилий – покажут время и успешные проекты. 

Заметили ошибку в тексте? Выделите её мышью и нажмите Ctrl+Enter. Спасибо!