• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Макропоказатели ЦОДа: проектируем на коленке

Многие сталкивались с ситуацией, когда нужно оперативно рассмотреть возможность строительства ЦОДа на той или иной площадке. Как приблизительно оценить технические характеристики будущего объекта и его стоимость?

Работая более 15 лет в отрасли ЦОДов и не владея глубоко приемами проектирования инженерных систем, я вывел для себя ряд эмпирических закономерностей, позволяющих существенно упростить решение данной задачи на уровне руководителя.

Как правило, при осмотре объекта у заказчика возникают такие вопросы: «сколько здесь можно разместить оборудования?», «каковы необходимые площадь и энергомощность?», «сколько это может стоить?». Очевидно, что без разработки детального технического задания, без полного понимания разнообразия вариантов технических решений для реализации инженерных систем ЦОДа и без формирования проектной документации точные ответы на поставленные вопросы получить затруднительно. Но порядок цифр, который, собственно, и интересует заказчика, оценить вполне можно. Часто достаточно таких ответов, как «20–25 стоек», «300–350 кВт» или «17–19 млн руб.».

Последовательность действий при подобной оценке следующая:

• определение мощности, требуемой на одну стойку;
• определение количества стоек, которое можно разместить в выбранных помещениях;
• определение общей мощности, потребляемой ЦОДом, и номиналов оборудования отдельных инженерных подсистем;
• определение площадей, требуемых для внешних блоков инженерных систем;
• и наконец, определение бюджета строительства объекта.

Следует сразу оговорить некоторые детали подобной оценки, особенно ее финансовой составляющей. Стоимость разных моделей инженерного оборудования для дата-центров может существенно различаться в зависимости от бренда, страны производства, применяемых технологий и материалов. Различия могут быть также обусловлены комплектацией и дополнительными опциями. Поэтому точно определить стоимость строительства ЦОДа без разработки технического задания и хотя бы предварительной проработки проектных решений невозможно.

Например, стоимость системы мониторинга сильно зависит от требований к объему контролируемых параметров. Так, в ЦОДе, состоящем из 20 стоек, могут контролироваться такие параметры, как температура и влажность в коридорах, наличие напряжения на энерговводах. По протоколу SNMP могут собираться данные с оборудования ИБП, ДГУ и системы кондиционирования. Эта информация будет предоставляться пользователю через веб-интерфейс, а сообщения об авариях могут передаваться по GSM-каналу. Стоимость подобной системы может колебаться в пределах 300–800 тыс. руб. в зависимости от производителя и дополнительного функционала.

Но если заказчик захочет осуществлять мо­ниторинг каждого блока розеток в каждой стойке, не говоря уже о контроле каждой розетки или управлении ими, то стоимость системы мониторинга может возрасти многократно, поскольку стоимость блока розеток на 20–25 портов с возможностью контроля только общего энергопотребления начинается от 40–60 тыс. руб. А таких блоков розеток нужно 40 штук, общей стоимостью порядка 2 млн руб.

Определение мощности потребления одной серверной стойки

По большому счету этот параметр должен задать заказчик, но нередко он сам не представляет четко, что собирается строить. В таком случае рекомендуется исходить из следующих предпосылок: если заказчик не планирует массово размещать в ЦОДе облачные структуры, виртуальные машины или оборудование для научных исследований, «крутящее» сложные вычисления, а предполагает устанавливать клиентское оборудование или собственные информационные системы, то мощность стойки принимается равной 5 кВт. Целесообразность такого выбора подтверждена многочисленными статистическими данными, полученными от коммерческих дата-центров.

При необходимости увеличить мощность, потребляемую одной стойкой, количество стоек, которые можно разместить в конкретном помещении, и иные характеристики ЦОДа можно будет пересчитать с помощью несложного алгоритма.

Определение количества стоек для размещения в выбранных помещениях

Я неоднократно сталкивался с желанием заказчика создать ЦОД в самых необычных помещениях, например на этажах недостроенной телебашни круглого сечения, в эркерах, подвалах неправильной формы и т.д. Оценивать такие помещения с точки зрения количества устанавливаемых в них серверных стоек существенно сложнее, чем обычные прямоугольные, – здесь нужна немалая инженерная фантазия. Поэтому остановимся на традиционных площадках. Следует только иметь в виду, что вместимость любых помещений неправильной формы будет на 20–50% меньше, нежели обычных.

Рассмотрим планировку типового ЦОДа на 96 стоек размером 600×1000 мм (рис. 1). Помещения для ИБП и АКБ на данном этапе не учитываем.

Для простоты расчетов предположим, что ряды стоек будут располагаться параллельно короткой стороне помещения. Для больших помещений такой подход с высокой долей вероятности приводит к более удобной компоновке оборудования в машинном зале. Кроме того, он облегчает соблюдение ограничения на максимальное расстояние от серверного оборудования до внутренних блоков системы кондиционирования. Для небольших помещений данное ограничение несущественно, и погрешность в оценке количества стоек становится небольшой.

Следующий этап – расположение холодных и горячих коридоров. Расстановка стоек по коридорам ограничивается традиционными размерами выпускаемых плит фальшпола, габаритами стоек и эргономическими требованиями к ширине проходов между рядами. Как правило, размеры плит фальшпола составляют 600×600 мм, габариты (Ш×Г) серверных стоек – 600–800 × 800–1200 мм. Для стоек мощностью до 5–7 кВт ши­рину холодного коридора принимают равной ширине двух рядов вентиляционных плит, а ширину горячего коридора – 1000 мм для стоек глубиной также 1000 мм (рис. 2).

Безусловно, при выборе ширины коридоров между рядами стоек возможна масса вариаций. Можно уменьшить горячий коридор до 800 мм и даже до 600 мм, используя двойные распашные двери и забывая об удобстве обслуживания. Можно устанавливать стойки не по линии стыка двух рядов плит фальшпола. Но все эти варианты стоит рассматривать лишь в ходе детального проектирования, при нехватке пространства для размещения оборудования.

Расположение рядов стоек описывается следующим образом:

• не менее 3,2 м для одного ряда стоек;
• не менее 5,2 м для полноценного холодного коридора (т.е. холодный коридор, два ряда стоек и два горячих коридора);
• каждый следующий холодный коридор (два ряда стоек, холодный коридор и горячий коридор) – плюс 4,2 м;
• каждый следующий ряд стоек (и холодный коридор) – плюс 2,2 м.

На основании этих данных при первичной оценке вместимости помещения можно рассчитать количество N холодных коридоров (два ряда стоек на коридор), которые можно разместить в помещении заданной длины L, используя формулу:

N = (L – 5,2) / 4,2 + 1.

Например, в помещении длиной 19 м можно сформировать минимум (19 – 5,2) / 4,2 + 1 = 4 холодных коридора (восемь рядов стоек).

Теперь подсчитаем, сколько стоек можно разместить в каждом ряду. Мы приняли, что ширина стойки 600 мм, соответственно ширина каждого ряда будет составлять 0,6×К, где K – количество стоек в ряду. Кроме того, в торце каждого ряда могут быть установлены электрические распреде­лительные щиты глубиной 300–400 мм. Далее нужно предусмотреть коридор для прохода персонала и проноса оборудования шириной не менее 1000–1200 мм и разместить внутренний блок системы кондиционирования глубиной 800–900 мм.

В итоге приблизительно 2–2,4 м по короткой стороне помещения занимают коридор для прохода, кондиционер и электрощит, а остальное пространство можно использовать под установку серверных стоек (рис. 3).

Количество стоек в ряду можно определить по следующей формуле:

K = (S – 2,4) / 0,6,

где S – ширина помещения.

Например, при ширине помещения S = 9,6 м количество стоек в ряду составит (9,6 – 2,4) / 0,6 = 12.

Однако необходимо помнить, что последнюю стойку в ряду рекомендуется располагать не далее 10–12 м от блока кондиционера. Это ограничение обусловлено физическими характеристиками распределения воздуха в подфальшпольном пространстве. Данные цифры не являются константой и зависят от высоты фальшпола, наличия препятствий воздушному потоку, напора кондиционера, но в большинстве типовых случаев их можно брать за основу. При расстоянии между последней стойкой и кондиционером более 10–12 м от следует запастись местом под установку второго ряда кондиционеров (+ 2 м к ширине зала).

В итоге получаем, что в нашем гипотетическом ЦОДе размерами 19×9,6 м можно разместить 12×4×2 = 96 стоек габаритами 600×1000 мм, и этот расчет совпадает с изначальным планировочным решением.

Есть более простой способ оценки вместимости ЦОДа. Он основан на статистических данных, полученных из реализованных проектов (табл. 1), и хотя он менее точен, чем произведенный нами расчет, но его погрешность вполне допустима для приблизительной оценки.

Построенные дата-центры (примеры 1–3) подтверждают статистические данные табл. 1. Однако не следует полагаться на приведенные цифры безоглядно, поскольку геометрия машинного зала – не единственный фактор, определяющий емкость ЦОДа. Нужное место в дата-центре занимает еще целый ряд объектов:

• пандусы и колонны;
• ИБП и системы АГПТ;
• помещения кроссовых;
• ГРЩ ЦОДа;
• хладоцентр.

В частности, по грубым прикидкам, площадь, необходимая для размещения ИБП и ГРЩ, составляет до 20% площади машинных залов.

Кроме того, на плотность установки оборудования могут повлиять такие факторы, как увеличение времени автономии ИБП и мощности одной стойки: повышение мощности с 5 до 10 кВт повлечет за собой увеличение площади машинных залов и технических помещений внутри здания на 40–60%.

Оценка общей мощности ЦОДа

Для начала проведем верхнеуровневую оценку общей максимальной мощности потребления ЦОДа исходя из количества стоек, рассчитанного на предыдущем этапе, и средней мощности серверной стойки. Для упрощения расчетов сделаем несколько «директорских» допущений. В частности, примем, что потери на ИБП составляют 8–10%, потребление системы кондиционирования – 35% потребления стоек и ИБП (для фреоновых систем) и 45% – для чиллер

ных систем. Потребление остальных инженерных систем – 5% потребления стоек и ИБП.

Общее максимальное потребление ЦОДа (P_общ) рассчитывается по следующей формуле:

P_общ = количество стоек × мощность стоек + потери на ИБП + потребление системы кондиционирования + потребление остальных систем.

Предположим, что у нас 30 стоек по 6 кВт. В этом случае:

потребление ИТ-оборудования = 30×6 = 180 кВт

потери на ИБП = 1800,08 = 14,4 кВт

общее потребление ИБП + стойки = 180 + 14,4 = 194,4 кВт

потребление фреоновой системы кондиционирования = 194,4×0,35 = 68,04 кВт

потребление остальных систем 194,4 × 0,05 = 9,72 кВт

общее потребление ЦОДа = 194,4 + 68,04 + 9,72 = 272 кВт.

Оценка мощности системы кондиционирования и ее габаритов

Общая мощность охлаждения системы кондиционирования (P_к) рассчитывается по формуле:

P_к = (потребление ИТ-оборудования + потери ИБП)×1,1, где 1,1 – это запас.

При этом следует учитывать, что мощность одного шкафного фреонового кондиционера составляет в среднем 10–90 кВт. Кондиционеры мощностью до 40–50 кВт традиционно выпускаются в одноконтурном исполнении, что означает наличие одного компрессора и соответственно одного внешнего блока. Кондиционеры мощностью более 40–50 кВт – это уже двухконтурные машины (т.е. два компрессора и два внешних блока).

Средние размеры внутренних блоков фреоновых кондиционеров приведены в табл. 2 (у разных производителей эти параметры могут незначительно различаться).

Размер внешнего блока кондиционера мощностью 40–50 кВт составляет порядка 0,8–1×2,0–2,5 м. С учетом зоны обслуживания минимальная площадь, необходимая для установки внешнего блока мощностью 40–50 кВт, – 4 кв. м (2,5×1,5).

Исходя из опыта реализованных проектов (см. примеры 4 и 5), можно принять, что для размещения внешних блоков фреоновых кондиционеров требуется 30–35% площади машинных залов ЦОДа.

Расчет мощности ИБП и ДГУ

При расчете требуемой мощности источников бесперебойного питания (ИБП) и дизель-генераторной установки (ДГУ) будем использовать все те же «директорские» допущения.

Модель ИБП в общем случае подбирается исходя из мощности, потребляемой серверным оборудованием, с учетом параметра cos(f), который в среднем равен 0,85–0,95. Параметр cos(f) варьируется в зависимости от марки и модели оборудования. С мощностью ДГУ ситуация несколько более сложная. Для успешного запуска ДГУ в случае, когда одной из нагрузок является ИБП, следует учитывать коэффициент согласования (множитель), который колеблется в диапазоне 1,2–2. Такое требование обусловлено нелинейностью нагрузки ИБП, которая может оказывать существенное сопротивление запуску дизеля. Современные ИБП, построенные на IGBT-тран­зисторах, сократили необходимый запас мощности при выборе ДГУ, снизив коэффициент согласования до 1,2–1,5. Однако у разных производителей он может различаться. Чтобы уменьшить риск выбора ДГУ недостаточной мощности, в предварительных расчетах я рекомендую принимать коэффициент согласования равным 1,4.

Расчет мощности ИБП проводится по формуле:

Р_ибп (кВА) = количество стоек×мощность стойки (кВт) / cos(f).

Значение cos(f) выбирается равным 0,9.

Мощность ДГУ рассчитывается по формуле:

Р_дгу (кВА) = Р_ибп (кВА)×1,4 + потребление кондиционеров (кВт) / 0,7.

В данном случае 0,7 – это типичное значение cos(f) кондиционеров.

Площадь, необходимая для размещения ДГУ на прилежащей к ЦОДу территории, зависит от ее мощности (табл. 3).

Целесообразность использования межрядных фреоновых кондиционеров

Как правило, при строительстве традиционного ЦОДа, рассчитанного на установку стоек мощностью 5–7 кВт, целесообразнее использовать шкафные фреоновые кондиционеры в силу существенно более низкой стоимости 1 кВт их холодопроизводительности. Но в ряде случаев приходится прибегать к альтернативным техническим решениям. К этому могут вынудить следующие обстоятельства:

• высота помещения менее 2,8 м;
• расстояние от кондиционера до потолка меньше, чем высота фальшпола;
• тепловыделение на 1 стойку больше 8–9 кВт;
• невозможно организовать фальшпол;
• затруднен пронос оборудования системы кондиционирования (габариты самого большого межрядного кондиционера мощностью 35 кВт 0,6×2×1,2 м, в то время как габариты шкафного кондиционера (90 кВт) – 2,5×2×0,9 м).

Перед финальной (финансовой) частью статьи хотелось бы сделать несколько замечаний, которые помогут упростить оценку возможности строительства ЦОДа на обследуемой площадке.

Рассматривая систему кондиционирования, следует иметь в виду, что обычно производители рекомендуют ограничивать трассу фреоновых систем 35–40 м. На практике нередки случаи реализации систем с протяженностью трассы до 50–60 м, но при выполнении дополнительных технических условий. Ряд производителей заявляют о возможности прокладки трассы длиной до 100 м, однако примеров применения подобных экспериментальных решений в ЦОДах замечено не было. Если место установки внешних блоков системы кондиционирования находится на расстоянии 50 м от машинного зала, то нужно задуматься о переходе на чиллерные системы.

При выборе схемы резервирования основного инженерного оборудования, особенно в небольших ЦОДах, не стоит забывать о том, что порой решение 2N может оказаться дешевле решения N + 1 (или сравнимым с ним по цене), так как, например, для изготовления трех кондиционеров необходимо использовать три контроллера, три компрессора, три корпуса и т.д., а при изготовлении двух кондиционеров понадобится всего по два, хотя и большей мощности.

Оценка бюджета строительства объекта

В табл. 4 приведена удельная стоимость отдельных подсистем ЦОДа, реализованного с применением наиболее популярных технических решений.

При составлении таблицы были сделаны следующие допущения:

• вместимость ЦОДа – от 50 стоек;
• длина трассы кондиционеров – 20–30 м;
• фреоновое охлаждение;
• резервирование не выше N + 1 (ДГУ – без резервирования);
• выбор оборудования среднего ценового диапазона;
• мониторинг среднего уровня глубины.

Как отмечалось выше, стоимостные характеристики можно оценить только «в среднем по больнице», с существенными оговорками. Но даже такие оценки могут стать точкой, от которой можно будет отталкиваться при принятии решения о целесообразности строительства ЦОДа.