Rambler's Top100
Статьи ИКС № 07-08 2011
Андрей ПАВЛОВ  26 июля 2011

5-10-15… Сколько киловатт на стойку нужно в ЦОДе?

Спор о том, какую энергомощность подавать в стойку, начался с появлением первого ЦОДа, и до сих пор однозначного решения нет.

Андрей ПАВЛОВ, генеральный директор компании «ДатаДом»Попробуем разобраться в сути проблемы. Во-первых, определимся, у кого ответ на вопрос «сколько вешать в граммах» может вызвать затруднения. По опыту можно сказать, что заказчики корпоративных ЦОДов с той или иной долей уверенности могут определить свою потребность в мощности на основании собственной же статистики и прогнозов развития вычислительной инфраструктуры предприятия. В данном случае вопрос скорее в выбранной ИТ-стратегии, в параметрах помещения под ЦОД и тенденциях производства вычислительной техники.

Сложнее ситуация с операторами коммерческих дата-центров. Как угадать, что потребует рынок через год, два, четыре? На наш взгляд, есть простой алгоритм выбора решения. В условиях конкуренции и рыночных отношений покупатель голосует рублем. При размещении оборудования в аутсорсинговом ЦОДе для заказчика в большинстве случаев нет разницы, будет ли размещено 20 кВт его вычислительной техники в одной стойке или в четырех, стоящих рядом. На практике с точки зрения топологии размещения вычислительной техники в ЦОДе «не все равно» бывает только в случае таких систем, как суперкомпьютеры и кластеры, связность которых имеет первостепенное значение, и телекоммуникационные решения, трассы которых имеют определенную, зачастую ограниченную длину. Исходя из этого предположения, необходимо просто посчитать все капитальные и операционные затраты на одну стойку (исключая энергетику) и определить, по какой цене оператор коммерческого ЦОДа сможет предложить свои услуги клиенту в том или ином случае.

 
 
Возможны варианты

Разберем три потенциальных варианта дата-центра:

1) с классической технологией «холодных» и «горячих» коридоров с допустимой нагрузкой 5 кВт на стойку и раздачей воздуха из-под фальш-пола (рис. 1);

2) с аналогичной технологией «горячих» и «холодных» коридоров, но с закрытым «холодным» коридором, с межрядными кондиционерами и допустимой нагрузкой 10 кВт на стойку (рис. 2);

3) с закрытыми водоохлаждаемыми стойками и допустимой нагрузкой 20 кВт на стойку (рис. 3).

Для приведения  этих вариантов к единому знаменателю условимся, что мы рассматриваем ЦОД на 1000 кВт общего бесперебойного энергопотребления. Исходя из полученных данных, мы сможем для каждого варианта посчитать удельную стоимость строительства одной стойки и удельную стоимость владения.

На приведенных планировках показаны активные и коммутационные стойки, а также внутренние блоки системы кондиционирования (в случае стоек 20 кВт внутренние блоки кондиционирования размещены в самой стойке). Мы не берем в расчет площади, занимаемые ИБП, дизель-генераторной установкой, ГРЩ и чиллерами, так как для всех трех случаев они будут примерно одинаковыми. Точно так же в расчете капитальных затрат на строительство при сравнении вариантов можно не учитывать стоимости данных инженерных систем, но мы все же приведем ориентировочную стоимость, исходя из средней удельной цены в 20 тыс. евро за одну стойку в ЦОДе.

Существенно будут различаться затраты на строительство для самих монтажных стоек, внутренних блоков системы кондиционирования, системы газового пожаротушения и фальшпола.

При расчете операционных затрат основное различие будет в стоимости аренды помещений. Фонд оплаты труда, цена электроэнергии и расходы на техническое обслуживание инженерных систем будут отличаться незначительно и не внесут весомый вклад в разницу в стоимости этих трех вариантов. Тем не менее в расчете мы сделаем некоторую поправку на б'ольшую эффективность систем с межрядным кондиционированием и водоохлаждаемыми стойками.

Для стоек 5 кВт при размере стойки 600×1000 мм (таково среднее значение для коммерческого ЦОДа) площадь помещения под размещение двухсот стоек составляет примерно 29,4×15,6 = 460 кв. м, а в пересчете на одно стойкоместо выходит около 2,3 кв. м. Это хорошо коррелирует с эмпирическими цифрами 2–2,5 кв. м на стойку (в зависимости от размера ЦОДа) при расчете по традиционной схеме холодоснабжения.

Для стоек 10 кВт путем аналогичных расчетов получаем площадь 2,8 кв. м под один монтажный шкаф. Для стоек 20 кВт под один монтажный шкаф требуется примерно 4,5 кв. м.

Беспристрастные цифры

Теперь приступим к расчетам. В примере 1 в зале расположено 15 кондиционеров, и если принять, что систему холодоснабжения мы строим по схеме N+1, то активных кондиционеров будет 14 штук, с мощностью 80 кВт явной холодопроизводительности. Таким образом, мы учитываем небольшой запас по холодоснабжению – около 10%. Также учтем в расчете 200 стоек габаритами 600×1000 мм и высотой 42U. Соответственно потребуется 460 кв. м фальшпола высотой примерно в 50 см.

В примере 2 в зале мы расположим 100 стоек габаритами 600×1000 мм и высотой 42U. Необходимо будет также смонтировать конструкции «холодных» коридоров и установить 30 межрядных кондиционеров полной холодопроизводительностью порядка 40 кВт, что соответствует приблизительно 36 кВт явной холодопроизводительности. И в данном случае у нас получается запас системы кондиционирования около 10%.

В третьем случае мы устанавливаем 50 водяных стоек, каждая из которых может снять с оборудования до 20 кВт тепла, а также четыре резервных шкафных кондиционера, отводящих тепловую энергию, которая выделяется водоохлаждаемыми стойками, и резервирующих ситуацию выхода из строя одной стойки при автоматическом раскрытии ее дверей.

Ориентировочные цены на перечисленное выше оборудование и монтаж приведены в табл. 1.

Данный расчет не претендует на статус абсолютной истины, но он четко отражает основную тенденцию – полная стоимость владения одной высоконагруженной стойкой больше стоимости владения традиционной стойкой 5 кВт пропорционально разнице в электрической нагрузке на них. Заказчику при выборе того или иного варианта необходимо провести детальный расчет всех возможностей в рамках конкретного проекта и на основании этого расчета принимать решение о стратегии развития.

А что на практике?

Опрос, проведенный среди московских игроков рынка ЦОДов, выявил, что в большинстве случаев клиенту достаточно 5–6 кВт на стойку, и даже если он хочет установить оборудование с большим энергопотреблением, фактически данное оборудование расходует не более 70% от заявленной мощности.

Реальные данные о количестве стоек с разным энергопотреблением, полученные у операторов ЦОДов, сопоставлены в табл. 2. Данные приведены с учетом достаточно плотной установки серверного оборудования в стойках – до 35 одноюнитовых серверов и установки блейд-серверов до четырех корзин в одну стойку.

Очевидно, что с развитием облачных вычислений и распространением виртуализации плотность энергопотребления стоек будет расти, но в данный момент стойки с энергопотреблением до 7 кВт являются самыми востребованными. К тому же 7 кВт – это граничное значение, максимум, который при нормальном функционировании оборудования можно снять с использованием традиционной схемы холодоснабжения.

Если же в коммерческом ЦОДе появляется клиент, желающий разместить высоконагруженную стойку, можно установить такую стойку в ряд менее нагруженных, что не слишком существенно повлияет на общий теплообмен ЦОДа, либо разделить данное оборудование на несколько частей, что, как видно из нашего расчета, с экономической точки зрения будет равноэффективно его установке в ЦОДе с возможностью большего среднего теплосъема с одной стойки.

Парадоксальный итог

Исходя из проделанных расчетов, можно однозначно сказать, что на сегодня вполне достаточно строить коммерческие ЦОДы с потреблением до 7 кВт на стойку, что позволит в 90% случаев разместить клиентское оборудование в одной стойке и при этом иметь возможность предоставлять клиентам с высоконагруженным оборудованием ценовую политику не хуже, чем в ЦОДах с теплосъемом на одну стойку в 20 кВт, при иных вариантах размещения данного оборудования.

Несомненно, на выбор того или иного решения в значительной степени влияют доступные для строительства ЦОДа площади. И если заказчик ограничен в площадях, вероятнее всего, имеет смысл повышать средний теплосъем со стойки, но тенденция развития вычислительной техники такова, что средние значения в 20 кВт на стойку могут быть достигнуты к тому времени, когда инженерное оборудование конкретного ЦОДа необходимо будет полностью менять.

Единственный негативный аспект ЦОДа с низким потреблением на одну стойку – в том, что при недостаточной наполняемости ЦОДа на этапе начальных продаж экономические параметры будут несколько хуже из-за простоя большего количества площадей, взятых в аренду.

Основные выводы таковы: выбирая между площадками под коммерческий  ЦОД при определенном бюджете строительства, необходимо учитывать, что разница в экономической эффективности дата-центра с высоконагруженными и малонагруженными стойками может оказаться не столь большой, а вот спрос на стойки в 10–15–20 кВт еще недостаточно велик, чтобы делать на него ставку.  

 
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!