Журнал ИКС

Разделы сайта

• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Ближайшие события

Хусейн ШЕХАТА

29 мая 2015

Резервирование и холодопроизводительность систем охлаждения ЦОДа: критерии выбора

Как влияют энергетическая плотность стойки и схема резервирования системы охлаждения на эффективность использования площадей ЦОДа?

Архитектура ЦОДов эволюционирует в направлении увеличения энергетической плотности и мощности оборудования. Достаточно быстро высокопроизводительные и высокомощные модели становятся стандартным решением. При проектировании эффективного ЦОДа цель состоит в максимальном увеличении числа стоек и совокупной ИТ-нагрузки при минимальной поддерживающей инфраструктуре охлаждения на единицу площади дата-центра.

Рис. 1. Системы отвода горячего воздуха – устанавливаемые на стойки вентиляционные каналы

В этой статье рассматриваются ограничения систем охлаждения, использующих прецизионное оборудование кондиционирования и обработки воздуха в серверных (CRAC/CRAH) с нисходящими воздушными потоками и специальными решениями для отвода тепла в стойках высокой плотности; поясняется, как повышение степени резервирования может увеличивать совокупную стоимость владения, но лишь незначительно увеличивать поддерживаемые нагрузки, а также предлагаются метрики, помогающие сбалансировать требования роста мощности ИТ-оборудования и эффективного использования площади ЦОДа.

CRAC-системы против внутрирядных кондиционеров

Андрей СОКОЛИК, системный инженер подразделения IT Business, Schneider Electric Создавая решение для охлаждения высокоплотной ИТ-нагрузки в дата-центре, нужно принимать во внимание равномерность распределения воздуха по залу и по высоте стойки, а также потенциал роста энергопотребления в расчете на одну стойку. У систем кондиционирования на базе периметральных кондиционеров есть существенный недостаток – ограниченные возможности для наращивания ИТ-нагрузки, обусловленные как фиксированной высотой фальшпола, так и пропускной способностью фальшпольной плитки. Кроме того, необходимо учитывать, что стойки с высоким энергопотреблением обычно работают с большим перепадом температур воздуха на входе и выходе стойки. А это, в свою очередь, накладывает ограничения на применение кондиционеров, работающих по DX-схеме, в которых температура воздуха на входе, как правило, не должна превышать +35°С. Главным преимуществом CRAC-систем является невысокая (относительно внутрирядных кондиционеров) стоимость. Типичные условия их использования – большие машинные залы со сравнительно малой плотностью мощности в расчете на одну стойку (до 4–6 кВт). В такой ситуации можно задействовать традиционную схему с подачей охлажденного воздуха под фальшпол и с его забором кондиционерами непосредственно из помещения серверного зала. Причем в этом случае количество стоек не будет ограничено практически ничем. Возможно применение CRAC-систем и для стоек с большей плотностью нагрузки (до 7–8 кВт), но в этом случае необходимо организовывать контейнеризацию холодного коридора и устанавливать фальшпольные плитки с более высоким процентом перфорации. С точки зрения энергоэффективности и коэффициента утилизации площади дата-центра наиболее удачным вариантом представляется использование периметральных кондиционеров с вентиляторами, вынесенными под фальшпол (сейчас практически у всех вендоров в линейке оборудования подобные кондиционеры присутствуют), в сочетании с высоким фальшполом (1000–1200 мм), активными плитками для доставки воздуха непосредственно к ИТ-оборудованию и контейнеризацией холодного коридора. Такое решение будет занимать минимальную площадь и обеспечит максимальную энергоэффективность. Однако с точки зрения дальнейшего увеличения мощности ИТ-оборудования подобный подход упирается в высоту фальшпола, которую в большинстве случаев невозможно нарастить по мере роста ИТ-нагрузки (к тому же зачастую под дата-центры переоборудуют подвальные помещения с низким потолком, где физически невозможно организовать фальшпол высотой более 800 мм). Главными ограничениями для применения CRAC-систем в дата-центрах как раз и являются энергопотребление в расчете на стойку и высота фальшпола. Поэтому при установке в машзале стоек мощностью более 6 кВт оптимальным представляется использование внутрирядных кондиционеров. Тогда по мере роста энергопотребления стоек или увеличения их количества можно просто добавлять необходимое количество кондиционеров без значительных изменений в планировке дата-центра. Резюмируя вышесказанное, отметим, что при выборе того или иного решения при проектировании системы кондиционирования дата-центра нужно исходить из текущих возможностей площадки и перспектив дальнейшего роста ИТ-нагрузки. В одной ситуации выигрывают CRAC-системы, а в другой – внутрирядные кондиционеры. Универсального решения на все случаи жизни нет.

Пассивные системы отвода горячего воздуха

Некоторые вендоры предлагают технологии пассивного охлаждения стоек высокой плотности, например системы для отвода горячего воздуха. Но анализ показывает, что эти решения годятся только в том случае, когда в каждом ряду таких стоек лишь несколько, но они не подходят для полномасштабного развертывания высокоплотных ЦОДов. Эти вендоры заявляют, что данные технологии позволяют отводить более 20 кВт с каждой стойки, однако исследования опровергают их утверждение. Модули пассивного охлаждения не способны отвести больше тепла, чем это позволяет сделать поступающий от прецизионных кондиционеров холодный воздух.

Рис. 2. Индивидуальные системы охлаждения с вентиляторами

Рис. 3. Зоны охлаждения холодным воздухом, подаваемым CRAC из-под фальшпола

Для охлаждения ЦОДов высокой плотности обычно применяются пассивные и активные системы отвода горячего воздуха (Hot Air Removal, HAR) (рис. 1) или индивидуальные системы охлаждения с вентиляторами (рис. 2), например стойки с водяным охлаждением.

В данной статье основное внимание уделяется технологии HAR/CRAC, использующей для подачи и распределения воздуха в помещении ЦОДа пространство под фальшполом.

Метрики

В ЦОДе высокой плотности необходимы системы охлаждения, способные обеспечить самую высокую холодопроизводительность при минимальной занимаемой площади. Мощные системы CRAC компактной конструкции от ведущих производителей имеют «чистую» холодопроизводительность около 90 кВт и занимают площадь примерно 3 x 1 м.

Необходимую холодопроизводительность CRAC можно приближенно определить по формуле:

холодопроизводительность CRAC = число ИТ-стоек x 1 кВт/стойку.

Поэтому если CRAC с холодопроизводительностью 90 кВт охлаждает 90 стоек, то средняя мощность охлаждения на стойку составит 1 кВт:

90 кВт = 90 стоек x 1 кВт/стойку.

Если система CRAC с холодопроизводительностью 90 кВт охлаждает две стойки, то средняя мощность охлаждения на стойку составит 45 кВт:

90 кВт = 2 стойки x 45 кВт/стойку.

Однако этот упрощенный подход не дает представления о пространстве, занимаемом оборудованием, и возможностях отвода тепла. В первом примере оборудованию CRAC для эффективной работы нужно равномерно охлаждать все 90 стоек. Но на практике дальние стойки обычно получают меньше воздуха, чем ближние, даже если препятствия на пути воздушных потоков в подпольном пространстве минимальны.

Современные тенденции теплоотвода от высоконагруженных стоек

Алексей НИКИШИН, руководитель отдела сопровождения продаж, OOO «АМДтехнологии», канд. техн. наук Напомним, еще лет 15 назад высоконагруженными считались стойки с тепловыделением более 5–7 кВт. Затем довольно продолжительное время к таковым относились стойки с тепловыделением, превышающим 15 кВт. Что мы видим сегодня? Практически никого, кто работает в области ИT и цодостроения, уже не удивляют и не пугают стойки с тепловыделением 50 и более киловатт. А если говорить о суперкомпьютерах, то здесь встречается оборудование со 100-киловаттным и даже значительно более высоким тепловыделением. При обзоре современного оборудования, применяемого для теплоотвода от высоконагруженных стоек, стоит упомянуть и внутрирядные кондиционеры, и системы охлаждения, монтируемые прямо на двери стоек, и стойки с интегрированными непосредственно в них системами фреонового охлаждения с замкнутым циклом. Но здесь хочется высказать мысль, может быть, крамольную с точки зрения кондиционерщика-холодильщика. На протяжении ряда лет складывается впечатление, что создатели и разработчики электронной и компьютерной техники задались целью (и успешно ее достигают) отказаться от услуг специалистов в области холодильной техники. Подкреплю свои слова статистикой: в мире существуют уже не один и не два, а десятки дата-центров, в которых для отвода теплоизбытков от ИT-оборудования холодильная техника не задействуется вообще. Современные высокопроизводительные процессоры вполне способны надежно и устойчиво работать при собственной температуре 65–85оС и более, используя для теплоотвода только воздух с температурой до 45оС. Ни о какой холодильной технике речь тут не идет. Теплоотвод только через воздух в окружающую среду. Для проектирования таких ЦОДов нужны не специалисты в области кондиционирования, а специалисты по вентиляции. И чем дальше, тем таких объектов будет больше. Если же из-за своих теплофизических свойств или по каким-то иным причинам, например из-за архитектурно-строительного решения объекта, воздух не подходит как хладо/теплоноситель, в дело вступает другой природный хладагент – вода. Применение воды, причем воды, не охлажденной в чиллере, для отвода теплоты от стоек с теплоизбытками более 150 кВт – уже свершившийся факт! И в скором времени, поверьте, никого из специалистов-электронщиков не будет пугать тот факт, что в самом сердце стойки, в процессоре, циркулирует вода. Технология, как известно, не стоит на месте, а эффект от применения прямого водяного охлаждения, тем более при нормальных и повышенных температурах, перевесит все опасения и предрассудки. Конечно, для водяного охлаждения нужны и насосные станции, и промежуточные теплообменники, и охладители жидкости снаружи ЦОДа. Но это задача для инженеров-гидравликов и теплотехников, а не холодильщиков. Обозначив современные тенденции теплоотвода (язык не поворачивается сказать «охлаждения») от стоек с высокой плотностью теплового потока, мы совершенно не ставили своей целью «похоронить» традиционные системы охлаждения, использующие те или иные холодильные циклы с хладагентами-фреонами и саму профессию кондиционерщика и холодильщика. Эти системы (и профессии) еще долго будут существовать и будут востребованы, находя и своих приверженцев, и области применения в ИT. Но тренд отказа от холодильной техники для ЦОДов, причем усиливающийся с каждым годом, мы считаем своим долгом подчеркнуть.

Во втором примере одной системы прецизионного охлаждения/кондиционирования вполне достаточно для обеих стоек, однако с учетом площади, занимаемой системой CRAC, необходимого свободного пространства для обслуживания и буфера отвода воздушных потоков данная инфраструктура охлаждения будет использовать больше пространства ЦОДа, чем сами стойки с ИТ-оборудованием. Другие ограничения, включая достаточное количество перфорированных плиток фальшпола или решеток (в случае подачи холодного воздуха из-под фальшпола) или дополнительное перекрытие холодного коридора для максимально эффективного распределения холодного воздуха, могут привести к необходимости создания очень больших холодных коридоров, что также ведет к неэффективному использованию площади ЦОДа.

В типовом случае у CRAC можно выделить три зоны охлаждения (рис. 3), и это следует учитывать при размещении стоек разной энергетической плотности. Предполагается, что ряды стоек перпендикулярны CRAC (согласно рекомендациям ASHRAE TC9.9, система охлаждения может устанавливаться с одной или с двух сторон помещения ЦОДа), продуваются воздухом спереди назад и скомпонованы по схеме с горячими и холодными коридорами (рис. 4). В приводимых ниже примерах подразумевается, что пространство для обслуживания и электрического оборудования во всех случаях одно и то же (рис. 5), однако производитель может предъявлять иные требования.

Ближайшая стойка должна располагаться не ближе 2 м от модуля CRAC. Рекомендуемая документами ASHRAE TC9.9 ширина холодного коридора составляет примерно 1 м, а горячего – 1,2 м.

Рис. 4. Стандартная установка стоек по схеме с горячими и холодными коридорами

Рис. 5. Размеры зоны обслуживания системы кондиционирования и охлаждения

Будем считать, что площадь CRAC – это площадь, занимаемая самим модулем охлаждения, плюс зона обслуживания и буферная зона для выброса воздуха, а площади стоек включают также их коридоры. ЦОДы уровней отказоустойчивости Tier II, III и IV требуют резервирования CRAC – конфигураций N + 1 или N + 2.

Пусть модуль CRAC вместе с буфером занимает 14 кв.м (рис. 6) и имеет в конфигурации без резервирования холодопроизводительность 25,7 кВт на каждый метр активного периметра; 19,3 кВт – при одностороннем расположении и резервировании N + 1 или двухстороннем расположении и резервировании N + 2; 22,5 кВт – при двухстороннем расположении и резервировании N + 1 и 12,9 кВт при одностороннем расположении и резервировании N + 2. Отметим, что помещения ЦОДов обычно выбираются и проектируются исходя из их площади, а не периметра.

Рис. 6. Пример одностороннего размещения стоек и модулей CRAC в ЦОДе Tier I (без резервирования)

Интерес представляет отношение площади, занимаемой модулями CRAC (с учетом резервирования систем охлаждения), к площади стоек с ИТ-оборудованием – C2C, а также отношение потребляемой стойкой мощности к ее площади – C2F:

C2C= площадь CRAC/площадь стоек,

C2F = 1 кВт на стойку/C2C.

Для большинства конфигураций чем больше значение C2F, тем большую ИТ-мощность можно вместить в пространство ЦОДа. Более высокая «емкость» дата-центра может означать размещение большего числа стоек малой плотности или возможность увеличить плотность оборудования в самих стойках. Отношение C2F тесно связано с площадью, которая требуется для оборудования CRAC, и это может быть основным ограничивающим фактором для увеличения мощности размещаемого в ЦОДе оборудования.

Результаты моделирования

Для определения наиболее эффективного сочетания конфигурации системы охлаждения и уровня нагруженности стоек ИТ-оборудованием было проведено моделирование, в котором рассматривались конфигурации CRAC без резервирования, с одним и с двумя резервными модулями, и для каждой из них изучались три варианта расположения стоек – с максимальным количеством стоек, со стойками средней и высокой плотности.

Максимальное значение C2F (когда площадь ЦОДа используется наиболее эффективно) для этих вариантов равно 13:

Tier I (N) – размещение CRAC с одной стороны зала: C2F = 13;

Tier II–IV (N + 1) – двухстороннее расположение CRAC: C2F = 11,44

Tier II–IV (N + 2 и выше) – двухстороннее расположение CRAC: C2F = 9,8.

Рис. 7. Зависимость C2F от энергетической плотности стойки для разных уровней резервирования при размещении стоек разной мощности в типовом ЦОДе

Площадь ЦОДа принималась равной 186 кв.м, площадь стойки равна 2,3 кв.м. Отметим, что максимальное значение C2F во всех моделируемых вариантах (рис. 7) было получено для ЦОДов Tier II–IV при высокой плотности размещения стоек (C2C = 0,46, т.е. модули CRAC занимают 32% всей площади). Это говорит о том, что, хотя стойки высокой плотности требуют больше площади для модулей охлаждения, в такой конфигурации ИТ-оборудование эффективнее использует площади ЦОДа в расчете на 1 кВт потребляемой стойкой мощности.

Выберем, например, резервирование N + 2 (C2F = 9,8, C2C = 0,5). Для стоек выделим 124 кв.м, а для модулей CRAC – 62 кв.м. В этом случае максимальная мощность составит 4,5 кВт/стойку. Если используются четыре модуля CRAC по 90 кВт (из них два в резерве), то на данной площади можно разместить 180/4,5 = 40 стоек. Эффективная площадь стоек – 40 х 2,3 = 92 кв.м, что составляет 72% выделенной для них площади.

В конфигурации N + 1 для данного примера максимальная мощность получится равной 5,2 кВт/стойку. Доступная холодопроизводительность – 270 кВт (три модуля CRAC по 90 кВт, один в резерве). На площади 186 кв.м можно разместить 270/5,2 = 52 стойки. Они займут эффективную площадь 120 кв.м (52 x 2,3 кв.м) – 95%. То есть чем меньше резервирование, тем эффективнее используются площади.

Однако для стоек мощностью 20 кВт в конфигурации CRAC N + 2 потребуются дополнительные модули охлаждения, занимающие больше места, чем ИТ-оборудование, и в результате эффективность использования площади ЦОДа снизится.

Для рассмотренного примера один резервный модуль CRAC – это примерно на 50% более высокая холодопроизводительность, на 30% больше стоек и 16%-ное увеличение плотности размещения стоек по сравнению с более надежным (N + 2) резервированием систем охлаждения. Тем не менее такая конфигурация может соответствовать требованиям резервирования компонентов ЦОДа для уровня Tier II–IV. Это достигается без дополнительных затрат и увеличения количества модулей CRAC на той же площади. Анализ показывает также, что если за оптимальное значение взять C2C = 0,46, то для эффективного использования площади ЦОДа средняя мощность на стойку не должна превышать 6 кВт. Применение только CRAC или CRAC в сочетании с пассивными системами отвода горячего воздуха может не обеспечивать охлаждение стоек высокой плотности. В таких случаях нужны системы активного охлаждения.

При проектировании ЦОДа можно использовать дополнительные метрики, например холодопроизводительность на периметр (кВт/м), в которой учитываются чистая холодопроизводительность CRAC, длина CRAC, требуемая зона обслуживания, резервирование CRAC (избыточность) и расположение модулей системы (с одной или с двух сторон).

  

В первых суперкомпьютерах использовалось водяное охлаждение. Однако затем широкое распространение получили дата-центры с низкой плотностью оборудования (2 кВт на стойку), и о водяном охлаждении почти забыли, тем более что возможные протечки – это дополнительный риск для такого критически важного ресурса, как ЦОД.

Сегодня в ЦОДах все чаще размещается ИТ-оборудование средней плотности, когда энергопотребление стойки не превышает 4 кВт. Для стоек высокой плотности владельцы и операторы ЦОДов в лучшем случае, руководствуясь требованиями заказчиков или желая быть впереди рынка, выделяют лишь часть площади дата-центра.

Тем временем плотность серверов постоянно увеличивается, и стойки высокой энергетической плотности, потребляющие 40 кВт и более, будут устанавливаться все чаще. Весьма вероятно, тепловая нагрузка в ЦОДе резко вырастет, что потребует применения полностью жидкостного охлаждения. В этом случае модули CRAC будут играть лишь вспомогательную роль либо и вовсе устареют как оборудование охлаждения.    

Заметили ошибку в тексте? Выделите её мышью и нажмите Ctrl+Enter. Спасибо!