Rambler's Top100
Статьи ИКС № 4 2009
Александр БАРСКОВ  07 апреля 2009

Кабельная инфраструктура ЦОДов

Кабельная инфраструктура – кровеносная система любого сетевого организма. В ЦОДах, сосредоточении важнейших данных и средств поддержки ключевых бизнес-процессов, эта система работает с высочайшей нагрузкой.

К кабельной инфраструктуре ЦОДов предъявляются очень жесткие требования.

Во-первых, такая система должна иметь максимальный уровень надежности и пропускной способности. В ЦОДах оконечное оборудование – это не ПК пользователей (как в офисной СКС), а серверы, которым уже сегодня необходимы гигабитные и даже более скоростные соединения. Если в офисах СКС категории 5е хватит еще надолго, то в ЦОДах для подключения серверов нужно прокладывать медные кабели категории 6А или волоконно-оптические кабели (ВОК).

Во-вторых, кабельная система ЦОДа должна обеспечивать высокую плотность портов при минимальном заполнении кабельных трасс. Высокая плотность важна для максимально полного использования дорогостоящих площадей ЦОДов, а порядок на кабельных трассах позволяет холодному воздуху беспрепятственно поступать к оборудованию.

В-третьих, время инсталляции кабельной системы ЦОДа и внесения изменений в работающую систему (перекоммутации, замены оборудования и пр.) должно быть минимальным. Необходимо гарантировать возможность оперативного добавления кабельных соединений в случае расширения ЦОДа и/или наращивания его вычислительных мощностей.

Наконец, в-четвертых, кабельная система ЦОДа должна быть совместима с разнообразным активным оборудованием, применяемым на таких объектах. Если в офисных ЛВС доминирует протокол Ethernet, то в ЦОДах заметную роль играют технологии Infiniband и Fiber Channel. Медные сети Ethernet отождествляются с обычными витыми парами и разъемами типа RJ45, тогда как для соединения коммутаторов и серверов Infiniband применяются специальные восьмипарные двухосевые кабели типа twinax и разъемы CX4.

Означает ли все это, что ЦОДам необходимы специализированные кабельные решения?

«Безусловно, в ЦОДах могут применяться классические компоненты офисных СКС и соответствующие приемы монтажа – заделка медножильных кабелей в разъемы коммутационных панелей, присоединение полушнуров к ВОК путем сварки волокон и т.п. Такие СКС подходят для небольших серверных комнат и распределительных узлов (до 1 тыс. портов, 2–3 монтажных шкафа), но неэффективны в полноценных ЦОДах, где тысячи портов размещены в десятках монтажных шкафов», – считает Владимир Стыцько, менеджер по России компании AMP Netconnect, входящей в корпорацию Tyco Electronics.

«В принципе, обычные офисные СКС используются в ЦОДах. Однако построенное на их базе решение может оказаться неоптимальным, например по плотности портов или скорости реконфигурации, – утверждает Роман Китаев, глава представительства компании Systimax Solutions (входит в корпорацию CommScope). – Мы советуем заказчику сначала внимательно рассмотреть специализированные решения для ЦОДов и провести их технико-экономическую оценку. Если по каким-либо причинам такое решение не подходит, то имеет смысл мигрировать к обычным компонентам».

А вот Гордей Бабаевский, заместитель директора компании «Линдекс Технолоджис», полагает, что специфика СКС для ЦОДов достаточно надуманна. «Чего-то принципиально нового я здесь не вижу. Все те же разговоры о переходе на оптику или на очередную более высокую категорию, о повышении плотности портов и использовании претерминированных сборок. Формально у офисных СКС и кабельных систем ЦОДов не различаются ни идеология, структура и топология, ни электромагнитные характеристики линий и каналов», – говорит он.

Разберемся, кто из них прав, копнув поглубже.

Обобщая стандарты

Структура и основные принципы построения кабельной системы ЦОДа определены в нескольких стандартах. В последнее время наиболее популярным у российских специалистов стал принятый в США стандарт TIA-942. Он охватывает широкий круг вопросов, связанных с построением ЦОДов, в том числе дает рекомендации по выбору помещения (размеры, высота потолка, нагрузка на пол и т.п.), организации систем кондиционирования и электропитания, по резервированию компонентов. В европейском стандарте EN 50173-5 (на его базе построен и международный стандарт ISO/IEC 24764) рассматриваются только вопросы, связанные с кабельной системой. Хотя положения стандартов TIA-942 и EN 50173-5 в деталях различаются, в основном они схожи.

Анализ рекомендаций названных стандартов и конкретных проектов позволяет описать типовую структуру кабельной системы ЦОДов. Подключение ЦОДа к внешним сетям осуществляется, как правило, в отдельной комнате, где установлено активное оборудование для доступа к службам сервис-провайдера или корпоративной WAN-сети. Поступивший извне (как правило, по одномодовым ВОК) трафик обрабатывается этим оборудованием и далее направляется уже по кабельной системе ЦОДа.

Первый ее участок – подсистема доступа к внешним сетям – ведет к главному коммутационному центру (КЦ), где располагаются кроссы и активное оборудование ядра ЛВС. Для повышения отказоустойчивости главные КЦ часто дублируют, как и связывающие их оптические каналы (они обычно основаны на многомодовом волокне ОМ3). Второй участок – магистральная подсистема распределения – находится между главными КЦ и коммутационными центрами горизонтальной (по терминологии стандарта TIA-942), или зонной (в стандарте EN 50173-5), подсистемы. В этих центрах помимо коммутационных панелей расположены агрегирующие и/или оконечные коммутаторы, непосредственно обслуживающие основное оборудование.

Как видим, отличия от обычных СКС имеются. Если «классическая» структура СКС предусматривает наличие двух магистральных уровней (внешняя магистраль, как правило, связывает близко расположенные строения, а внутренняя – этажи здания), то в кабельной системе ЦОДов имеется единственный магистральный уровень, обычно локализованный в одном помещении. Более того, если в офисной сети оконечные коммутаторы устанавливают в коммутационной комнате этажа, то при построении инфраструктуры ЦОДа их часто стараются приблизить к основному оборудованию, например установить вверху каждой стойки.

Для строящегося коммерческого дата-центра компании DataLine выбран именно этот вариант. «Он позволит многократно снизить общее число со-единений по сравнению с классическим вариантом установки в стойку коммутационной панели, каждое гнездо которой соединяется отдельной линией с панелью в КЦ», – рассказывает Сергей Мищук, технический директор DataLine. Согласно проекту, в ЦОДе каждый из двух резервирующих друг друга коммутаторов зала будет связан с каждой стойкой оптоволоконным каналом 1 Гбит/с, а магистральные соединения между коммутаторами залов и ядром сети ЦОДа станут поддерживать скорость 10 Гбит/с.

Этот пример иллюстрирует общую тенденцию: в ЦОДах оптика подбирается все ближе к основному оборудованию. Тем не менее медь продолжает удерживать позиции наиболее экономичного транспорта горизонтальной (зонной) подсистемы.

Медь: новые горизонты

Претерминированные решения: вверху – медножильные, внизу – оптические многоволоконные (на примере продуктов Panduit)В качестве медножильных кабельных систем для ЦОДов ведущие производители СКС предлагают решения, которые отвечают требованиям класса EA (категории 6A), что гарантирует поддержку технологии 10-Gigabit Ethernet (10GE). Большинство таких решений основано на экранированных кабелях и компонентах. Начинают активно продвигаться и решения класса FA (категории 7A), дающие дорогу еще более скоростным сетевым технологиям, стандартизация которых еще не завершена.

Так, характеристики новой системы LANmark-7A компании Nexans, по утверждению менеджера по ЛВС-решениям ее российского представительства Евгения Власова, превосходят требования класса FA, и эта система способна поддерживать работу будущих 40-гигабитных протоколов в трактах длиной до 100 м. Она основана на стандартизованном IEC еще в 2002 г. разъеме GG45, который был доработан инженерами Nexans в прошлом году. Важно, что разъем Nexans GG45 обеспечивает обратную совместимость с вилками RJ45.

«При выборе между экранированным и неэкранированным вариантами системы 6А компания Siemon рекомендует применять экранирование, которое позволяет экономить пространство в трассах и стойках, – говорит Екатерина Оганесян, директор учебного центра телекоммуникаций ГК ICS и сертифицированный инструктор Siemon. – Экранированный кабель имеет меньший диаметр, чем неэкранированный с такими же характеристиками. К тому же для обеспечения высокой производительности пучки кабеля не надо разносить, а в экранированных коммутационных панелях можно более плотно разместить порты». Помимо медножильных систем категории 6А, компания Siemon предлагает и систему TERA, отвечающую требованиям категории 7A/класса FA.

Блейд-коммутатор с портами MRJ21Фирма Systimax, одна из немногих, продолжает активно предлагать для сетей 10GE неэкранированные решения (система GigaSpeed X10D), которые позволяют организовывать скоростные подключения на базе привычной технологии UTP без необходимости заземления элементов СКС.

Не требует заземления и кабельная система Real10 UTP, при изготовлении которой компания Reichle & De-Massari (R&M) воспользовалась технологией WARP (Wave Reduction Patters), обеспечивающей что-то вроде виртуального заземления. В кабель встраиваются изолированные друг от друга отрезки фольги, которые снижают как емкостную, так и индуктивную связь между парами соседних кабелей и значительно уменьшают уровень межкабельных наводок, гарантируя работу сетей 10GBase-T при максимальной длине линии (100 м). Монтируется система Real10 UTP так же, как обычные UTP-продукты, – не требуется специальных ухищрений для пространственного разнесения кабелей, шнуров или розеток, что зачастую необходимо при построении сетей 10GE на базе кабелей UTP.

Большинство экспертов подчеркивают преимущества использования в ЦОДах готовых кабельных сегментов, претерминированных на заводе. Они не только обеспечивают быстрый монтаж, больший запас по характеристикам и гарантированное качество, но и позволяют защищать окружающую среду (нет отходов и обрезков кабеля), т.е. в полной мере соответствуют концепции «зеленых» ЦОДов. Готовые сборки на основе медножильных кабелей предлагают AMP Netconnect, Panduit, Siemon, Systimax и др.

Претерминированные решения AMP Netconnect, отвечающие требованиям категорий 6А и 7А, интересны тем, что их разъемы предустановлены в шестипортовые кассеты, которые, в свою очередь, защелкиваются в наборную коммутационную панель с тыльной стороны (одна панель высотой 1U вмещает четыре кассеты). Там, где достаточно гигабитной скорости, можно использовать другое предложение AMP – претерминированные 24-парные кабели с разъемами MRJ21. Один такой кабель обеспечивает одновременную передачу до шести гигабитных потоков на расстояние до 100 м. Проложенные кабели подключаются к разветвительным панелям MRJ21, обеспечивающим переход на разъемы RJ45.

В комплект системы QuickNet компании Panduit входят кассеты, модульные разъемы и/или вилки. Кассеты оснащены механизмом, позволяющим легко устанавливать их в коммутационные панели. В случае повреждения одного из установленных в кассету модулей можно открыть ее и заменить этот модуль. Использование блочных вилок QuickNet значительно ускоряет подключение коммутационных шнуров к коммутаторам. Конструкция такой вилки позволяет при необходимости отсоединять шнуры по отдельности, не прерывая работы всей сети.

Оптика: подавай готовенькое

Если претерминированные медные кабельные системы только начинают завоевывать рынок, то для оптических сегментов кабельных систем ЦОДов претерминированные сборки становятся едва ли не основным решением. Причина, видимо, состоит в том, что терминирование оптики в полевых условиях – процедура более сложная и требующая высокой квалификации монтажника. Оптические сборки предлагают все основные производители СКС (AMP Netconnect, Brand-Rex, Eurolan, Nexans, Panduit, R&M, RiT, Siemon, Systimax и др.), а также компании, больше известные телекоммуникационными решениями (например, Corning и Huber-Suhner). Большинство таких решений построено на основе многоволоконных разъемов типа MPO или MTP.

Кабельные системы на базе претерминированных компонентов, будь то оптический разъем MPO или медный MRJ21, инсталлируются в несколько раз быстрее классических СКС. По сути, весь монтаж сводится к прокладке соединительных кабелей, оконцованных разъемами в заводских условиях, и подключению кабельных разъемов к кассетам-переходникам, установленным в 19-дюймовые монтажные конструктивы. При необходимости кабель можно отсоединить от кассеты или разветвительной панели и повторно подключить на новом месте. Это позволяет персоналу ЦОДа (без привлечения сторонних специалистов) организовывать новые подключения и реконфигурировать уже имеющиеся в очень сжатые сроки.

По данным Владимира Стыцько, подключение 12-волоконного соединительного кабеля к МРО-кассете занимает несколько секунд, а монтаж одной панели MRJ21 с 48 гигабитными портами RJ45 – менее 15 мин. Стыцько отмечает, что в одном из ЦОДовских проектов монтаж оптической подсистемы на 400 дуплексных портов с применением MPO-систем был выполнен в 12 раз быстрее, чем при использовании традиционной технологии сварки оптических волокон. На другом объекте за счет комплексной интеграции систем MPO и MRJ21 удалось завершить монтаж СКС на 800 электрических и 1300 оптических портов в 5 раз быстрее, чем позволяют традиционные технологии монтажа.

«Горячая» тема

Большое внимание сегодня уделяется энергосберегающим («зеленым») технологиям. Ведущие производители решают задачи снижения энергопотребления в ЦОДах, в том числе за счет более эффективного охлаждения оборудования. Из-за меньшего внешнего диаметра кабели MRJ21 и МРО занимают меньше места в кабельных лотках, проходящих под фальшполом. Благодаря этому холодный воздух беспрепятственно подводится к оборудованию и повышается эффективность работы системы охлаждения ЦОДа.

«Разъем МРО изначально разрабатывался под ленточные линейные кабели, которые отличаются уменьшенной площадью поперечного сечения. В связи с тем что холодный воздух для охлаждения серверов и накопителей систем хранения данных подается под фальшполом, компактность кабелей становится одним из главных критериев выбора решения», – комментирует ситуацию Андрей Семенов, директор по развитию «АйТи-СКС».

Производители коммутаторов тоже стремятся повышать плотность портов и снижать энергопотребление своего оборудования. Например, в коммутаторах компаний Foundry Networks и Force 10 уже используются 48-контактные разъемы типа MiniRJ21 (MRJ21). По сравнению с RJ45 разъемы MRJ21 обеспечивают увеличение плотности портов в 2–2,5 раза и снижение энергопотребления на 1–1,5 Вт в расчете на один гигабитный порт. Стыковка с коммутационными панелями выполняется 24-проводными соединительными (MRJ21–MRJ21) или разветвительными (MRJ21–RJ45) кабелями.

Борьба за десятые доли децибела…

Разветвительный кабель MRJ21–RJ45Преимущества претерминированных MPO-решений очевидны. Однако Сергей Логинов, глава московского офиса R&M, обращает внимание и на их недостаток – значительную величину затухания (минимум 0,5 дБ). Наряду с решением MPOmodul, обеспечивающим плотность 288 волокон с дуплексными разъемами LC в панели высотой 3U, компания R&M предлагает и претерминированное решение Varioline, у которого, по утверждению ее сотрудников, этот недостаток отсутствует. Данное решение может применяться с модулем FiberModul – аналогом MPOmodul.

Другие компании тоже борются с затуханием. Так, AMP Netconnect предлагает кабельную систему МPOptimate, состоящую из претерминированных кабелей и кассет МРО со сниженными вносимыми потерями (менее 0,35 дБ на кассету). Кабельный тракт из шести MPO-кассет протяженностью 200 м укладывается в бюджет потерь оптической мощности, нормированный для 10GE (< 2,6 дБ). Это позволяет создавать 10-гигабитные каналы без использования активного оборудования на промежуточных коммутационных узлах, что заодно дает возможность снизить общее энергопотребление (и, как следствие, тепловую нагрузку) ЦОДа.

Обращает на себя внимание и претерминированная система PARA-OPTIX XG той же AMP. Если в классическом MPO-соединителе – «всего» 12 волокон, то в соединителе системы PARA-OPTIX – 72 волокна, расположенных в шесть рядов по 12 волокон в каждом. Такая сверхвысокая плотность оптических соединений особенно актуальна для заказчиков, испытывающих трудности с наращиванием аппаратных ресурсов из-за нехватки места в ЦОДе. При использовании системы PARA-OPTIX XG  прокладка лишь одного соединительного кабеля нужной длины и установка двух распределительных панелей обеспечивают 36 новых дуплексных каналов LC для 10GE.

Описывая систему LANmark-OF MPO, Евгений Власов из компании Nexans подчеркивает: диаметр 12-волоконного кабеля составляет всего 2,3 мм, что при большом количестве кабелей позволяет уменьшить заполнение кабельных каналов. В состав LANmark-OF MPO входят оптические коммутационные панели модульного типа. В панель устанавливают до четырех модулей, которые имеют как порты типа SC или LC, так и многоволоконные порты MPO. Максимальная плотность решения – 96 волокон на 1U.

Использование решений с многоволоконными разъемами типа MPO – только один из путей экономного расходования технологического пространства ЦОДов. Есть и другие.

…и за пространство

Борясь за дорогостоящее монтажное пространство, многие компании предлагают специальные коммутационные панели с угловой (клиновидной) формой передней части и вертикальные организаторы. Угловые панели исключают потребность в горизонтальных организаторах: шнуры, подключенные к портам такой панели, отводятся непосредственно на вертикальные организаторы, за счет чего  высвобождается место в монтажной стойке или в монтажном шкафу. Это позволяет сэкономить 30–50% места в шкафу.

Угловые коммутационные панели (показан продукт Nexans)«Дефицит площади предполагает применение в ЦОДах компактных решений и продуктов, позволяющих использовать внешкафное пространство при организации кроссовых полей», – считает Игорь Авдей, менеджер проектов компании «Интелайн Про Консалт». Для организации медных кроссов с большим количеством портов он рекомендует задействовать настенные решения (например, VisiPatch компании CommScope, GP6 Plus производства Panduit, коммутационную систему на основе разъема S210 фирмы Siemon). Это дает возможность освободить технологические шкафы под активное оборудование и эффективнее использовать пространство серверных помещений ЦОДа.

Повышение плотности соединений обычно приводит к тому, что обслуживать кабельную систему становится неудобно. Для облегчения жизни обслуживающего персонала некоторые производители создали оригинальные решения. Так, Siemon предлагает коммутационные шнуры BladePatch, в которых нет торчащей защелки, – их можно подключать/отключать не за вилку, а за хвостовик. Эта запатентованная конструкция была разработана несколько лет назад, при появлении блейд-серверов, но оказалась особенно эффективной в высокоплотной среде ЦОДов. Шнуры BladePatch выпускаются в экранированном и неэкранированном вариантах.

А вот RiT Technologies предлагает решение для организации коммутационных полей вообще без коммутационных шнуров. Технический директор московского офиса этой компании Дмитрий Никулин по нашей просьбе продемонстрировал работу коммутационной панели с переключателями, которые обеспечивают соединение ее верхнего и нижнего портов, заменяя обычный коммутационный шнур. Нет коммутационных шнуров, нет и связанных с ними проблем (нельзя случайно выдернуть не тот шнур, не нарушится контакт из-за повреждения вилки и т.п.), а значит, повышается надежность физической инфраструктуры. Еще одно удобное для ЦОДов решение RiT – коммутационные панели, оснащенные разъемами RJ45 не только с фронтальной, но и с тыльной стороны. Такая конструкция значительно упрощает подключение активного оборудования к обратной стороне панелей.

  


Особенности представленных нами технических решений позволяют понять основные тенденции развития кабельных инфраструктур ЦОДов. Конечно, эти продукты можно использовать и на других объектах, но их ЦОДовская специфика очевидна. Высокая производительность, высокая плотность соединений и высокая скорость развертывания – вот три условия, критически важных для современных дата-центров и далеко не всегда обязательных для офисных СКС. Использование последних в ЦОДах оправданно только как «антикризисное решение», реализуемое при очень ограниченном бюджете проекта. Но даже в непростых экономических условиях не стоит забывать о том, что срок жизни кабельной инфраструктуры (более 10 лет) соответствует нескольким циклам смены основного оборудования, поэтому и строить такую инфраструктуру надо с прицелом на перспективу.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!