• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Оптические кроссы высокой плотности. Насколько они востребованы?

Центры обработки данных становятся сегодня опорными элементами ИТ-инфраструктуры. Насколько сильно на их эффективность влияет использование в составе организуемых в ЦОДе СКС коммутационной техники со сверхвысокой плотностью портов?

Особенности телекоммуникационной инфраструктуры ЦОДа

Центральный элемент ЦОДа – совокупность серверов различного назначения, которые реагируют на запросы, поступающие от внешних пользователей. За распределение запросов по отдельным серверам и передачу результатов их обработки обратно к пользователям отвечает ЛВС, которая представляет собой достаточно сложную структуру из коммутаторов разного уровня, маршрутизаторов, преобразователей среды и т.п. При недостатке собственной памяти серверы обращаются к оборудованию массовой памяти. Таким образом, ЦОД в первом приближении может рассматриваться как трехуровневая структура: ЛВС – серверы – сеть массовой памяти (см. рисунок).

Внутрисистемные каналы связи ЦОДа создаются на основе структурированной кабельной системы (СКС). Характерной особенностью СКС, организуемой в ЦОДе, является заметно большее количество линий проводной связи, непосредственно обслуживающих основных внутренних потребителей (серверы). Обусловлено это следующими факторами:

• необходимостью взаимодействия каждого сервера одновременно с двумя подсистемами: ЛВС и сетью массовой памяти;
• физическим резервированием отдельных линий по схеме по меньшей мере 2N, без чего требуемый коэффициент готовности серверов в ЦОДе высокого уровня надежности (Tier III–IV) не может быть обеспечен;
• целесообразностью дистанционного выполнения настроек, проверок и т.п. по отдельным физическим линиям, дабы не загружать дополнительно локальную сеть.

Почему ЦОД должен быть компактным

Технико-экономическая эффективность ЦОДа как инженерного сооружения будет высокой только в том случае, если он обладает минимально возможными размерами.

Во-первых, в большинстве случаев помещения ЦОДа представляют собой вспомогательный элемент общественного здания, обеспечивающий подачу информационных и телекоммуникационных сервисов в остальные помещения. Занимаемые им площади не могут сдаваться в аренду или использоваться для размещения собственного персонала. Немногочисленные коммерческие ЦОДы не меняют этой картины в целом.

Во-вторых, функционирование ЦОДа сопряжено с потреблением большого количества электроэнергии и соответствующим выделением тепла. Для его утилизации организуется система охлаждения, которая относится к основным инженерным системам аппаратного зала, т.е. фактически всего ЦОДа. Как правило, подобная система строится на принципе активного съема избыточного тепла за счет обдува его источника потоком предварительно охлажденного воздуха. А система воздушного охлаждения оказывается заметно проще и, самое главное, надежнее в тех ситуациях, когда обслуживает помещение минимально возможных размеров.

В-третьих, в ЦОДе хранятся и обрабатываются большие объемы критически важной информации, которая зачастую имеет степень конфиденциальности не ниже ДСП. В помещениях небольшого размера при прочих равных условиях гораздо проще организовать физическую защиту данных как от уничтожения в результате стихийных бедствий и диверсионных актов, так и от несанкционированного доступа неуполномоченных лиц.

Поэтому одним из главных требований к оборудованию ЦОДа, включая организуемую в нем инфраструктуру, становится геометрическая компактность. В качестве численного критерия компактности часто используются массогабаритные характеристики. В ряде случаев габариты корпусов устройств по крайней мере по одной координате задаются жестко. Примером может служить ширина крепежного поля 19-дюймового монтажного конструктива. Функцию меры также успешно выполняют удельные параметры, например, популярная в отношении коммутационного оборудования плотность портов.

Тренд на улучшение массогабаритных характеристик оборудования СКС

Как известно, все оборудование СКС вне зависимости от типа среды передачи можно разделить на три большие группы: линейные кабели, коммутационные панели и шнуры. Последние формально не входят в состав кабельной системы и используются для соединения портов панелей друг с другом и подключения к активному оборудованию. На основе данной элементной базы с соблюдением определенных ограничений, зафиксированных в стандартах, строятся стационарные линии и тракты. В обеспечение компактности и эффективности ЦОДа свой вклад вносит и оборудование СКС. Для этого к каждому из перечисленных компонентов выдвигаются требования по улучшению массогабаритных характеристик.

Улучшение массогабаритных характеристик линейных кабелей, т.е. уменьшение диаметра, интересно в первую очередь из соображений повышения эффективности системы охлаждения. Как уже говорилось, в большинстве случаев отвод тепла из аппаратного зала ЦОДа осуществляет система воздушного охлаждения. Жгуты линейных кабелей часто прокладываются под фальшполом, который одновременно служит камерой статического давления на входе в холодные коридоры. Поэтому уменьшение площади поперечного сечения жгута увеличивает эффективность функционирования системы воздушного охлаждения.

Уменьшение диаметра шнуровых кабелей положительно влияет и на эксплуатационную надежность СКС, поскольку уменьшает статическое усилие, воздействующее на элементы разъемного соединения и обусловленное их собственным весом. Определенное значение также имеет улучшение условий администрирования кабельной системы: более тонкие кабели при прочих равных условиях не так плотно перекрывают лицевую пластину коммутационных панелей и не мешают чтению нанесенной на них маркировки.

От коммутационных панелей СКС при их рассмотрении с точки зрения массогабаритных характеристик требуется высокая плотность портов. Стремление к улучшению этого параметра привело к разработке и внедрению в широкую инженерную практику панелей высокой плотности для медножильной подсистемы с 48 розеточными модулями на 1U монтажной высоты. Резервы в данном направлении далеко не исчерпаны. В частности, известны одноюнитовые панели с 52 розеточными модулями.

В волоконно-оптических подсистемах в случае применения SFF-коннекторов и групповых оптических разъемов количество обслуживаемых трактов передачи на единицу монтажной высоты увеличивается еще больше. Например, одноволоконные коннекторы типа MU, разработанные еще в начале 90-х гг. прошлого столетия, дают возможность поддерживать на одном юните высоты панели свыше 200 дуплексных оптических соединений. Заметное превосходство оптических панелей над медножильными – прямое следствие лучших массогабаритных характеристик волокна по сравнению с витой парой даже в неэкранированном исполнении.

Коммутационное оборудование оптической подсистемы СКС и оптические кроссы сетей связи общего пользования выполняют практически одинаковые функции. Причем телеком-операторы на своих сетях иногда используют оптическое коммутационное оборудование, плотность волокон в котором в пересчете на 1U монтажной высоты в разы превышает значения, типичные для оборудования СКС. Поэтому практическую важность приобретает вопрос о целесообразности разработки и внедрения новых типов оптического коммутационного оборудования со сверхвысокой плотностью портов, фокусной областью применения которых являются аппаратные залы ЦОДов.

Объем коммутационного оборудования в серверных шкафах

При дальнейшем анализе будем ориентироваться на ЦОД, имеющий по меньшей мере несколько десятков серверных стоек. Подразумевается, что в ЦОДе присутствуют ЛВС и сеть массовой памяти, а каждый сервер для достижения уровня надежности, задаваемого профильными стандартами, имеет по два соединения с указанными сетями. Особенность подобной структуры в том, что она требует от информационной кабельной системы максимального количества физических линий передачи. Сильная сторона такого ЦОДа – в возможности обеспечения полной неблокируемости его внутренней телекоммуникационной инфраструктуры.

Все прочие варианты реализации телекоммуникационной инфраструктуры требуют меньшего количества трактов передачи на заданное количество серверов, однако обладают худшими характеристиками. Например, в последнее время большую популярность получила концепция Top of Rack, согласно которой пограничный коммутатор устанавливается в верхней части каждого шкафа. Для такой архитектуры высок риск неполной загрузки пользовательских портов коммутатора, а это серьезно ухудшает экономические показатели объекта. Поэтому подобные структуры мы рассматривать не будем.

Предположим, что в нашем ЦОДе в монтажные конст-руктивы устанавливаются серверы в корпусах типа pizza-box высотой 1U. Каждый такой сервер в рамках использованной модели будет иметь в общей сложности пять разъемных соединителей: по два из них обслуживают процессы информационного обмена сервера с ЛВС и сетью массовой памяти, а последний предназначен для подключения к коммутатору KVM и служит для настройки и обслуживания. Пусть само соединение для определенности выполняется на скорости не свыше 10 Гбит/с, что соответствует сложившейся практике, которая сохранится по крайней мере в ближайшие несколько лет.

Для обслуживания коммутатора KVM используется обычная панель высокой плотности с розетками RJ45 (48 портов на 1U монтажной высоты). Обмен данными с внешними пользователями и сетью массовой памяти осуществляется по оптическим каналам.

Сделанные предположения позволяют оценить количество серверов n, которые могут быть установлены в одной стойке с монтажной высотой H юнитов. Оно находится как решение в целых числах следующего простого уравнения:

где R – количество пар волокон, обслуживаемых оптической коммутационной полкой высотой 1U.

В этом уравнении первый член правой части описывает количество коммутационных панелей, обслуживающих ЛВС, второй член – сети массовой памяти, третий – коммутаторов KVM, а четвертый – серверов.

Все без исключения ведущие производители СКС серийно выпускают оптические полки, рассчитанные на 72–96 волокон, что соответствует изменению параметра R в пределах от 36 до 48.

Приведенные выше данные позволяют констатировать, что в наиболее распространенных на практике шкафах с H = 42–47U серверами может быть заполнено до 90% посадочных мест монтажного конструктива. При типовой мощности потребления отдельного сервера 200 Вт тепло, выделяемое такой конструкцией, не превысит 10 кВт и его можно успешно утилизировать с помощью системы воздушного охлаждения.

Центральный кросс в аппаратном зале

Ситуация с требуемыми объемами оптического коммутационного оборудования радикально меняется в центральном кроссе аппаратного зала, в котором сходятся все линии от серверных шкафов. В этом месте применение оптического коммутационного оборудования с повышенной плотностью портов может дать определенный выигрыш просто из-за эффекта масштаба.

Для того чтобы понять, насколько целесообразно строить центральный кросс на коммутационных панелях или их аналогах со сверхвысокой плотностью конструкции, сравним такой вариант с кроссом, созданным на обычном оборудовании. В качестве численной меры эффективности используем относительную экономию площади аппаратного зала от внедрения оборудования с плотностью конструкции 200 волокон на 1U монтажной высоты. Для простоты будем считать, что серверный шкаф и шкаф центрального кросса требуют для своего размещения одинаковой площади.

Радикального выигрыша переход на более сложную технику со сверхвысокой плотностью портов не дает (см. таблицу). Расчетный выигрыш – чуть меньше 5%, а фактически он будет еще меньше из-за того, что использованная модель не учитывает ряд особенностей построения аппаратного зала, т.е. для величины экономии площади дает оценку сверху.

Итак, мы видим, что в правильно спроектированном ЦОДе плотность портов современного коммутационного оборудования СКС вполне достаточна для решения текущих задач.

Наращивание количества одновременно обслуживаемых волокон на 1U монтажной высоты свыше 100 не дает особых выгод в смысле увеличения плотности компоновки ЦОДа, но существенно затрудняет текущую эксплуатацию кабельной системы как с точки зрения сложности выполнения операций переключения коммутационных шнуров, так и с точки зрения чтения маркировки.

Оптическое коммутационное оборудование, обеспечивающее конструктивную плотность свыше 100 волокон на 1U монтажной высоты, может применяться в тех немногих случаях, когда речь идет о построении центральных кроссов крупных ЦОДов. Однако при равном количестве обслуживаемых волокон его потребуется почти на два порядка меньше, чем для традиционной коммутационной техники.