Rambler's Top100
Статьи ИКС № 11 2010
Андрей БОГАЧЕВ  09 ноября 2010

Оптимальная горизонталь, или В ЦОДах все по-другому

Наращивание ИТ-ресурсов современных предприятий обычно приводит к их консолидации в центрах обработки данных. Каким техническим и компоновочным решениям целесообразно отдать предпочтение при организации коммуникационной сети ЦОДа?

Андрей БОГАЧЕВ, руководитель направления AVAYA компании CompTekСети ЦОДов, как известно, отличаются высокими требованиями к пропускной способности и отказоустойчивости. В дата-центрах оконечными узлами сети являются серверы и системы хранения данных, компактно размещенные в стандартных монтажных стойках или шкафах. Такой контингент «пользователей» нуждается в значительно более скоростных каналах и высокой плотности соединений по сравнению с настольными компьютерами и IP-телефонами, «разбросанными» по офису. Не случайно в ЦОДах доля оптических каналов существенно больше, чем в офисных сетях, не говоря уже о том, что там используются высокоплотные кабельные решения и дорогостоящие системы охлаждения для снятия повышенных тепловых нагрузок.

 

Типичные элементы уровня доступа офисных сетей – стековые коммутаторы: их устанавливают в специальный шкаф или небольшую комнату, подключая к ним все оконечные устройства, находящиеся на данном этаже. При увеличении числа пользователей емкость сети наращивают добавлением в стек необходимого числа устройств. Стек при этом «растет» вверх: один коммутатор ставят на другой.

 

Растягивая стек

 

В ЦОДах применение вертикальных стеков неэффективно. Ряд производителей – Alcatel-Lucent, Avaya, Cisco, HP, Huawei и др. – предложили использовать так называемые горизонтальные стеки, оптимально вписывающиеся в рядную структуру ЦОДов. По сути, этот подход меняет лишь пространственную ориентацию обычного стека: в горизонтальном стеке коммутаторы устанавливают не друг на друга, а связывают в цепочку. При этом каждый коммутатор размещают наверху монтажной стойки (принцип Top of Rack, ToR) и соединяют внутристековыми соединениями с коммутаторами в соседних стойках. Для повышения отказоустойчивости в каждую стойку может быть установлено по два коммутатора.

 

 Объединение коммутаторов уровня доступа в высокоскоростной горизонтальный стек снижает потребность в числе uplink-каналов, служащих для подключения к коммутаторам уровня распределения (distribution) и/или ядра сети (core). Более того, такой стек может взять на себя функции, традиционно выполняемые коммутаторами уровня распределения, что позволяет перейти от трехуровневой (доступ–распределение–ядро) к двухуровневой (доступ–ядро) структуре сети (см. рисунок). Для этого, правда, необходимо более скоростное подключение стека к ядру, но с учетом того, что сегодня выпускаются модели стековых коммутаторов, которые поддерживают скорость 10 Гбит/с, это не представляет особых сложностей. Такое упрощение структуры сети означает сокращение числа единиц сетевого оборудования, а, следовательно, снижение капитальных затрат и расходов на обслуживание.

 

Кроме того, переход к двухуровневой структуре уменьшает задержку передачи трафика в сети. А задержку трафика между серверами помогает снизить применение в горизонтальных стеках специальных архитектурных решений, например архитектуры FAST (Flexible Advanced Stacking Technology), разработанной в свое время компанией Nortel. Если в обычных стеках взаимодействие осуществляется по кольцу, то архитектура FAST обеспечивает выбор кратчайшего пути для каждого потока данных, причем логическая структура внутристекового взаимодействия представляет собой звезду. В результате задержка при передаче трафика между любыми двумя портами стека не превышает 9 мкс.

 

Меньше кабелей – больше воздуха

 

Еще одно преимущество горизонтальных стеков – значительное упрощение кабельной инфраструктуры. Возьмем в качестве примера типовую серверную стойку с блейд-серверами. В нее можно установить четыре блейд-корзины высотой 10U каждая, в каждой корзине – 16 серверов, на каждый сервер – три канала Ethernet. Простой расчет показывает, что для подключения серверов к одной стойке требуется подвести около 200 кабелей. Когда в ряд установлены восемь стоек, получается порядка 1500 кабелей. Если все эти кабели подводить к одному коммутатору, установленному в конце ряда стоек (принцип End of Row, EoR), то потребуются гигантские кабель-каналы, специальные кабельные органайзеры и коммутационные панели с высокой плотностью портов. Все это дорого и неудобно в обслуживании, к тому же требует дополнительного монтажного пространства, а этот ресурс в любом ЦОДе – на вес золота.

 

При использовании же горизонтального стека в каждую стойку устанавливается свой коммутатор (или два), и подключение серверов осуществляется короткими кабельными шнурами в рамках стойки. Между стойками прокладывается только небольшое число кабелей, служащих для соединения коммутаторов в стек. Упрощение кабельной проводки устраняет и еще одну серьезную проблему. В современных ЦОДах требуется отводить большие объемы тепла от стоек с серверами. Обилие кабелей часто этому мешает: толстые связки кабелей, уложенные под фальшполом, препятствуют поступлению охлаждающего воздуха, что чревато перегревом и выходом из строя дорогостоящего оборудования. Малое число кабелей – это уже меньшее препятствие, к тому же их легко разместить поверх стоек, где они вообще не будут мешать работе системы охлаждения.

 

Коммутаторы – в кластер

 

Стековые системы традиционно обеспечивают простое масштабирование системы при постепенном капиталовложении по принципу «плати по мере роста» – этим они отличаются от модульных решений, для которых изначально требуется приобретать довольно дорогое шасси. В горизонтальных стеках это преимущество полностью сохранено. Для ЦОДов особенно важно, что коммутаторы можно добавлять в стек без остановки работы его остальной части.

 

Также целесообразно иметь возможность осуществлять замену коммутаторов в стеке в «горячем» режиме. В этом случае при выходе из строя одного из коммутаторов его «соседи» автоматически сворачивают все сеансы связи, проходящие через отказавший блок. Аварийное устройство заменяется новым, производится его диагностика и настройка, и работа затронутой аварией части сети восстанавливается. Такой подход допускает, например, стековая архитектура Avaya.

 

Однако высокий уровень бесперебойности и отказоустойчивости нельзя гарантировать, только реализовав возможность «горячей» замены. На наиболее ответственных участках необходимо полное резервирование оборудования в режиме «активный–активный». С этой целью компания Avaya предлагает объединять коммутаторы в кластер (Switch Cluster), функционирующий как логически единое устройство. Технологической основой такой кластеризации служит протокол SMLT (Split Multi-Link Trunking), который, в частности, обеспечивает одновременную передачу трафика по нескольким параллельным каналам связи.

 

Вперед в будущее

 

В последнее время популярность горизонтальных стеков растет, а составляющие его коммутаторы делаются все мощнее. Сегодня скорости подключения горизонтальных стеков к ядру сети достигают 10 Гбит/с (при этом в самом ядре востребованы скорости 40 или даже 100 Гбит/с). На повестке дня – поддержка технологий виртуализации ИТ-ресурсов, т.е. правил обеспечения безопасности, обработки приоритетов для гарантии качества обслуживания (QoS) и пр. Работа над формированием стандартов для подобных задач уже ведется.  икс 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!