Rambler's Top100
Статьи ИКС № 4 2022
Андрей СЕМЕНОВ  27 октября 2022

Архитектура Spine – Leaf в ЦОДах: зачем нужна и как реализовать

Применение архитектуры Spine – Leaf при построении локальной сети ЦОДа уменьшает задержку передачи сигнала между вычислительными узлами. Для повышения эксплуатационной гибкости и улучшения экономических характеристик целесообразно выбирать вариант с центральным кроссом.

Традиционная архитектура информационной системы ЦОДа и ее недостатки

Аппаратная часть информационной системы машинного зала ЦОДа – это комплекс компьютерного и сетевого оборудования, а также дополняющей его информационной проводки. Активная часть этого комплекса состоит из трех функциональных блоков:
  • локальной вычислительной сети (ЛВС);
  • сети системы хранения данных (массовой памяти) (СХД);
  • совокупности серверов, которые, собственно, и обрабатывают информацию.
Многочисленные серверы этого комплекса представляют собой терминальное оборудование информационной инфраструктуры машзала ЦОДа. По разным направлениям они взаимодействуют с ЛВС и СХД, находясь между ними.

Физический уровень информационной инфраструктуры машзала ЦОД реализуется согласно требованиям и рекомендациям американского стандарта ANSI/TIA-942A, его международного аналога ISO/IEC-11801-5 и отечественного стандарта ГОСТ Р 59486:2021. Информационная проводка выполняется в форме СКС, причем для ее создания безальтернативно применяется волоконная оптика. Медножильная элементная база в состоянии обеспечить скорость передачи данных не более 25–40 Гбит/с, что не соответствует современным требованиям (необходимо как минимум 100 Гбит/с). Поэтому электропроводные линии целесообразно использовать только для создания второстепенных внутрирядных соединений.

ЛВС и СХД обслуживают большое количество серверов, и строить их целесообразно оп иерархическому принципу, чтобы полноценно воспользоваться теми преимуществами, которые дает мультиплексирование при переходе на более высокий уровень иерархии.
Рис. 1. Классическая схема информационной сети крупных ЦОДов

В общем случае в классической структуре выделяются верхние уровни ядра и следующего за ним уровня агрегации (распределения), которые дополнены уровнем доступа (рис. 1). Популярность такой схемы обусловлена эксплуатационной гибкостью, простотой формирования резервных связей и неплохими стоимостными показателями благодаря высокой связности отдельных серверов. Это позволяет не закладывать в систему избыточную пропускную способность каналов связи и использовать при формировании временных связей простейшие средства маршрутизации нижнего уровня.

Главный и принципиально неустранимый недостаток классической архитектуры – большое время задержки сигнала вследствие передачи сообщения через множество промежуточных узлов. Сегодня же очень важна малая задержка, поскольку ЦОДы зачастую обеспечивают работу приложений, для которых используются виртуализация и программное определение вычислительной структуры, из-за чего серверы вычислений и СХД могут располагаться в любых местах машзала. 

Основная идея архитектуры Spine – Leaf

Значимого снижения времени задержки при существующем уровне техники можно добиться только уменьшением количества промежуточных узлов между произвольно взятой парой серверов. Это, в свою очередь, можно сделать, если свести количество уровней локальной сети машзала к двум.
Рис. 2. Построение нижнего уровня ЛВС машзала ЦОДа на основе архитектуры Spine – Leaf при установке пограничных коммутаторов по схеме Top of Rack

Двухуровневая архитектура, называемая также децентрализованной ячеистой (mesh) архитектурой, обладает рядом достоинств, благодаря чему она получила широкое распространение и даже специальное наименование – Spine – Leaf. Ее идея предельно проста: в этой архитектуре каждый коммутатор нижнего уровня (Leaf) соединен выделенной неблокируемой связью с каждым коммутатором верхнего уровня (Spine). Основное достоинство архитектуры Spine – Leaf заключается в том, что при обмене данными между двумя произвольно взятыми серверами трафик проходит только через один коммутатор верхнего уровня Spine и задержка сигнала становится предсказуемой и согласованной.

Таким образом, выигрыш по ключевому параметру времени задержки достигается резким увеличением количества связей для обмена данными между отдельными узлами.

Spine – Leaf и структура информационной системы машзала ЦОДа

Архитектура Spine – Leaf практически идеально соответствует традиционной структуре информационной системы машзала ЦОДа. Здесь, в отличие от офисных систем, данные передаются преимущественно между серверами (направление «восток – запад»), а не от терминального устройства пользователя-человека к серверу и обратно («север – юг»).

Структура Spine – Leaf без проблем создается также при построении ЛВС по популярной схеме Top of Rack (ToR). В этом случае увеличивается количество пограничных коммутаторов, которые устанавливаются непосредственно в серверный шкаф (или размещаются непосредственно над ним, что с системной точки зрения то же самое) и выполняют в дальнейшем функции коммутаторов уровня Leaf (рис. 2).

Пожалуй, наиболее серьезная особенность подобной переконфигурации сети состоит в том, что схема Top of Rack экономически привлекательна только при высокой степени утилизации портов пограничных коммутаторов. В момент запуска ЦОДа в эксплуатацию это условие выполняется далеко не всегда, и ресурсы, направленные на упреждающее развертывание дорогостоящего высокоскоростного сетевого оборудования, оказываются на длительное время заморожены. Ситуацию можно частично исправить объединением пограничных и магистральных коммутаторов в одном аппаратном шкафу. Тогда коммутация оборудования разных уровней осуществляется обычными аппаратными шнурами или активными кабельными сборками.
Рис. 3. Построение нижнего уровня ЛВС машзала ЦОДа при реализации архитектуры Spine – Leaf с выносом коммутаторов в отдельный шкаф (группу шкафов)

Немаловажное достоинство топологии с применением выделенных аппаратных шкафов (рис. 3) – простота разграничения прав доступа к оборудованию специалистов различных служб, что положительно сказывается на коэффициенте готовности объекта.

Особенности кабельной системы для поддержки архитектуры Spine – Leaf

Архитектура Spine – Leaf открыта на транспортном уровне. При необходимости нарастить производительность ЛВС машзала на уровнях Spine и Leaf в нее без проблем добавляются соответствующие коммутаторы.

В то же время рассматриваемая архитектура полностью совместима с созданными ранее и ставшими уже классическими решениями сетевых интерфейсов и кабельных трактов. Таким образом, новых разработок не требуется.

Физический уровень Spine – Leaf сложнее традиционной архитектуры в первую очередь в количественном смысле: требуется больше кабелей и точек коммутации, что затрудняет текущее администрирование. Тем не менее даже при жестких бюджетных ограничениях сравнительно высокие по сравнению с традиционными офисными сетями затраты на реализацию физического уровня несущественны с системной точки зрения, не говоря уже об их малости по сравнению с расходами на строительство или подготовку здания ЦОДа, реализацию электроснабжения, кондиционирования и иных инженерных систем.

Достижение эксплуатационной гибкости архитектуры Spine – Leaf

Единственный существенный недостаток физического уровня архитектуры Spine – Leaf в случае его реализации как СКС стандарта ISO/IEC 11801-5 – малая эксплуатационная гибкость: добавление новых коммутаторов в первую очередь нижнего уровня Leaf вне зависимости от выбранной топологии влечет за собой необходимость прокладки новых линий. В действующем ЦОДе это крайне нежелательно из-за высокого риска нарушения нормального кондиционирования машинного зала.

Устранить этот недостаток можно, модернизировав топологию кабельной системы, а именно, добавив вспомогательный главный кросс К, в который сводятся соединительные линии для подключения серверов и коммутаторов нижнего уровня Leaf (рис. 4). Сами линии вместо упреждающей прокладки в процессе строительства ЦОДа вполне могут создаваться по мере необходимости, что намного выгоднее с финансовой точки зрения.
Рис. 4. Построение нижнего уровня ЛВС машзала при реализации архитектуры Spine-Leaf с дополнительным главным кроссом (К)

Структура с дополнительным центральным кроссом сохраняет все преимущества модульно-кассетного подхода к реализации кабельных трактов. Транковые кабели и кассеты можно вводить в состав кабельной системы по мере необходимости. Это преимущество распространяется и на процесс изменения схемы передачи, что требуется при наращивании скорости информационного обмена и решается заменой кассет. Последние фактически выполняют функцию корпусного адаптера и позволяют перейти на новую схему реализации трактов передачи кабельной системы. Это весьма удобно с эксплуатационной точки зрения.

Архитектура рис. 4 основана на формировании составных трактов на участке от любого из серверов до произвольного коммутатора Leaf. Они не могут быть реализованы на стандартной элементной базе из-за превышения допустимого бюджета потерь основной массы высокоскоростного сетевого оборудования. Данная проблема, однако, легко решается использованием более качественных разъемов класса Elite или их аналогов.

* * *
Архитектура Spine – Leaf – продукт естественного развития классических подходов к построению физического и транспортного уровня информационной инфраструктуры ЦОДа. Благодаря существенному снижению задержки передачи сигнала она имеет широкие перспективы практического применения при условии использования на физическом уровне сети волоконной оптики. Причем реализовать архитектуру Spine – Leaf можно на известной элементной базе, новых разработок не требуется.

Модернизация на физическом уровне сводится к установке дополнительного центрального кросса, наличие которого значительнотувеличивает эксплуатационную гибкость физического уровня информационной инфраструктуры машзала ЦОДа. Двойное сокращение средней длины кабелей сборки несколько упрощает развертывание линейной части информационной проводки.

Главный недостаток архитектуры Spine – Leaf – удвоение количества оптических претерминированных сборок на физическом уровне. Поэтому ее применение ужесточает требования к планированию кабельных трасс с учетом перспектив развития ЦОДа.

Андрей Семенов, профессор, МТУСИ
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!