Rambler's Top100
Статьи ИКС № 04 2011
05 апреля 2011

Термодинамическое моделирование при проектировании и эксплуатации дата-центров

Термодинамическое моделирование, обеспечивающее глубокий анализ потоков жидкостей и газа, позволяет проектировать новые ЦОДы и оптимизировать работу действующих на высоком профессиональном уровне.

Дмитрий Олегович Мацкевич, консультант по проектированию ЦОДов, руководитель интернет-проекта Dcnt.ruТепловая нагрузка в центрах обработки данных за последние несколько лет ощутимо выросла. И она будет расти и дальше, так как габариты электронного оборудования уменьшаются и одновременно увеличивается его вычислительная мощность, что ведет к выделению большего количества тепла в пересчете на один юнит (единица высоты серверной стойки – Unit, U). Если еще два года назад казалось, что холодопроизводительности 5 кВт на одну серверную стойку вполне достаточно, чтобы покрыть все существующие и прогнозируемые на ближайшую перспективу потребности заказчиков, то уже сегодня на рынке имеется оборудование, которое даже при неполном заполнении серверной стойки выделяет более 10 кВт тепла. Такое оборудование есть почти у всех производителей блейд-серверов. За примером далеко ходить не надо. Компания Cisco предлагает унифицированную вычислительную систему (Unified Computing System), у которой энергопотребление на 6U достигает в рабочем режиме 2 кВт и выше. Напомним, что в ЦОДах для серверных стоек стандартом де-факто стали 19-дюймовые телекоммуникационные шкафы высотой 42U. Если в одну такую стойку установить пять блейд-корзин UCS, которые заполнят 30 юнитов из 42, то ее тепловыделение может превысить 10 кВт.

 

Усугубляет ситуацию технология виртуализации серверов, которая позволяет значительно увеличить их загрузку. Если раньше процессоры простаивали 75–85% времени, то при грамотном использовании виртуализации загрузка процессоров в серверах возрастает в разы и, как следствие, тепла на один сервер выделяется в несколько раз больше. По прогнозу ассоциации ASHRAE1, к 2014 г. тепловыделение одной стойки с установленными серверами с дисковыми массивами превысит 10 кВт; с серверами размером от 2U и выше – 20 кВт; с серверами 1U, используемыми для вычислений, блейд-серверами и др. – 35 кВт.

 

Поэтому при проектировании современного центра обработки данных необходимо ориентироваться на тепловые нагрузки от 10 кВт на одну серверную стойку. Или в крайнем случае нужно выделять в машинном зале ЦОДа области, в которых будет обеспечено охлаждение от 10 кВт на стойку.

 

У проектировщика возникает закономерный вопрос: а будет ли система кондиционирования справляться с такой тепловой нагрузкой на 100%? Чтобы получить точный ответ на этот вопрос, уравнения теплового баланса с добавлением 10–20%-ного запаса по холодопроизводительности и программы Excel уже недостаточно.

 

Проблемы могут также возникнуть на этапе эксплуатации действующего дата-центра даже с невысокими тепловыми нагрузками. Например, после установки дополнительного оборудования могут появиться локальные области перегрева оборудования (так называемые hot spot) или, наоборот, в ЦОДе могут образоваться области с достаточно низкой температурой. Понятно, что перегрев серверов, систем хранения данных, сетевого и телекоммуникационного оборудования – это плохо. Рано или поздно высокая температура приведет к сбоям и выходу из строя электроники. Однако и переохлаждение негативно сказывается на работе оборудования. Низкая температура ведет к повышению влажности, которая может превысить допустимый стандартами порог. Относительная влажность, согласно рекомендациям ассоциации ASHRAE, ни в коем случае не должна превышать 80%. Поэтому на температуру в помещениях, где установлено и работает компьютерное оборудование, стандарты накладывают ограничения не только сверху, но и снизу. Согласно последним требованиям технического комитета TC 9.9 ассоциации ASHRAE, опубликованным в 2009 г., температура в помещении машинного зала не должна быть ниже 18°C. Дальнейшее понижение ведет к неэффективному использованию электроэнергии и увеличению операционных расходов ЦОДа. Кстати, некоторые производители встраивают в серверы и системы хранения данных датчики температуры и относительной влажности, и программные агенты могут отключить оборудование при выходе этих параметров за допустимые пределы.

 

Чтобы бороться с локальными точками перегрева, заказчик вынужден устанавливать напольные вентиляторы около стоек, монтировать дополнительные блоки воздушного или жидкостного охлаждения (если, конечно, есть место для их установки). Однако проблема может и не решиться такими «радикальными» способами. А потом оказывается, что всего-то надо было где-то заменить, убрать или добавить плитки фальшпола, и проблема была бы решена. Однако без специальных программных средств выявить узкие места практически невозможно, и заказчику приходится фактически использовать место в ЦОДе не «на полную катушку». Этого можно избежать, если создать термодинамическую модель дата-центра.

 

При проектировании нового ЦОДа необходимо решить, какова должна быть высота фальшпола. Понятно, что чем больше, тем лучше – меньше сопротивление воздушному потоку, больше можно провести различных коммуникаций (трубопроводов, кабельных каналов и кабелей) и даже разместить под фальшполом дополнительные конструкции и оборудование, например блоки распределения электропитания или консолидационные точки структурированной кабельной системы. Однако при увеличении высоты фальшпола будет возрастать стоимость строительной конструкции и, кстати, уменьшаться пространство между фальшполом и потолком, что может затруднить создание системы воздуховодов для подачи горячего воздуха в блоки воздушного охлаждения. Несколько лет назад появилась эмпирическая рекомендация по выбору высоты фальшпола в зависимости от площади машинного зала ЦОДа. При площади зала до 70 м2 высота фальшпола должна быть не менее 400–500 мм; если площадь свыше 100 м2, то не менее 500–700 мм; если же машинный зал больше 300 м2, то высота фальшпола должна быть не менее 700 мм. Это правило работало, когда нагрузка на одну стойку не превышала 5 кВт и не использовалась технология изоляции горячего и холодного воздуха. Чтобы правильно определить высоту фальшпола сегодня, необходимо провести компьютерное моделирование воздушных потоков, рассчитать несколько вариантов и выбрать наиболее подходящий.

 

Что такое компьютерное моделирование потоков CFD?

 

Аббревиатура CFD (Computational Fluid Dynamics) на русский переводится по-разному, но в любом случае речь идет о моделировании при помощи вычислительной техники физических процессов, возникающих в потоках жидкостей и/или газов.

 

Пользователь генерирует с помощью специализированной программы трехмерную модель объекта, задает граничные условия, выбирает модели физических явлений, происходящих в газовых и жидких средах (теплопередача, течение сред, теплопроводность, радиация, конвекция и др.), выбирает метод расчета и производит вычисления. На основе полученных результатов делается оценка, при необходимости изменяется компьютерная модель и снова выполняются расчеты. Результаты моделирования используются при принятии проектного решения, для последующего совершенствования созданной модели объекта, выявления узких мест на действующем объекте и оптимизации работающей системы.

 

Термодинамическое моделирование основано на формулировании и решении системы уравнений, которая включает в себя:

 

• уравнения сохранения массы;

 

• уравнения сохранения количества движения;

 

• уравнения сохранения энергии;

 

• уравнения газового и жидкого состояния;

 

• уравнения сохранения момента количества движения.

 

Система уравнений дополняется граничными условиями, задающими значения параметров, их производных или линейных комбинаций. Система уравнений является незамкнутой – количество неизвестных превышает количество уравнений. То есть решить ее можно только вычислительными методами.

 

Компьютерное моделирование потоков в ЦОДах

 

Дата-центры – идеальный объект для компьютерного моделирования, так как создать прототип или физическую модель ЦОДа невозможно. А без модели нельзя с достаточной точностью спрогнозировать, как будет функционировать система кондиционирования на реальном объекте, как она поведет себя при изменении нагрузки, как будет меняться температура в ряду серверных стоек и по высоте каждой стойки. В июне 2010 г. ассоциация BICSI опубликовала стандарт (BISCI 002-2010 Data Center Design and Implementation Best Practices), в ст. 5.5.1.1.1 которого содержится рекомендация при проектировании системы кондиционирования «создать компьютерную модель и выполнить расчеты, чтобы убедиться в правильности размещения плит фальшпола и чтобы проект системы охлаждения отвечал проектным требованиям» (перевод мой. – Д.М.). Итак, одно из последних выпущенных по теме ЦОДов руководств рекомендует прибегать при проектировании дата-центров к компьютерному моделированию.

 

При проектировании системы кондиционирования в ЦОДе необходимо учитывать множество параметров. Приведу лишь некоторые из них: размеры и объем помещения; расстановка телекоммуникационных шкафов и стоек в серверном помещении; высота фальшпола; направление, объем и скорость движения потоков холодного воздуха; расположение оборудования системы кондиционирования; типы используемых вентиляторов и направление подачи воздушного потока; препятствия на пути потоков холодного воздуха; тип используемых плиток фальш-пола и геометрия выходных отверстий. Если система кондиционирования проектируется без применения CFD-анализа, то большая часть этих параметров не учитывается или учитывается, но реальное влияние на распределение температуры и влажности в помещении ЦОДа выбранного параметра не оценивается достоверно, что приводит к закладыванию в проект недостаточной либо избыточной холодильной мощности.

 

CFD-программы

 

В настоящее время на рынке присутствует достаточно много программ, позволяющих проводить моделирование потоков жидкостей и газов. В числе таких программ отметим следующие: ANSYS, Phoenics, FlowVent, STAR-CD, FASTEST-3, Flow Vision, TileFlow, Sigma6, Gas Dynamics Tool. Однако не все программы термодинамического моделирования потоков имеют готовые модули и встроенные библиотеки элементов, учитывающие специфику центров обработки данных. Такие встроенные модули, программы и библиотеки есть, в частности, в программных пакетах TileFlow и Sigma6.

 

Если у вас нет практики работы с CFD-программами, то целесообразно обратить внимание на пакеты, в которые уже заложены готовые модели для расчета воздушных потоков в дата-центре, имеются библиотеки оборудования (например, вентиляторов, насосов, блоков воздушного кондиционирования).

 

Этапы моделирования ЦОДа

 

Перед моделированием действующего ЦОДа необходимо провести его комплексное обследование: измерить скорости воздушных потоков, давление, температуру, определить каналы прохождения воздушных потоков и найти возможные препятствия и места просачивания воздуха. Такое обследование – весьма трудоемкая, но очень полезная задача, так как в процессе сбора данных выявляются узкие места. Для моделирования нового дата-центра необходимо собрать данные о моделируемом объекте и сделать предположения относительно применяемых технологий и устройств.

 

Затем необходимо построить геометрическую модель (чаще трехмерную) ЦОДа и элементов, входящих в его состав. 3D-модель объекта можно создать при помощи программ CAD и SCADA, а потом экспортировать данные в модуль CFD-моделирования. Правда, нужно предварительно выяснить, поддерживает ли программа моделирования экспортируемый формат.

 

Далее необходимо сгенерировать расчетную сетку. Этот этап осуществляется при помощи встроенных модулей генерации сетки или отдельных программных продуктов. От качества сетки зависят точность, сходимость и скорость расчета, а также качество получаемых результатов. В специализированных программах для решения разных задач можно использовать разные типы сеток. Пользователь может проверить качество построенной сетки по разным параметрам (скошенность элементов, соотношение сторон).

 

На следующем этапе в программу вносятся граничные условия и выбираются модели на основе допущений и предположений, а затем выполняется расчет, который может сходиться, а может расходиться (т.е. не приводить к конечному результату).

 

В случае сходимости результаты расчета могут быть обработаны специальными программами и выданы в виде графика, таблицы или даже анимации, наглядно демонстрирующей изменения физических параметров. Для ЦОДа обычно используется визуальное представление расчетных данных в виде распределения температуры по площади машинного зала и по высоте серверных стоек. Результаты расчетов анализируются, при необходимости модели объектов изменяются, и снова выполняются расчеты. На основе полученных данных выбирается наилучший вариант.

 

Цена вопроса

 

Программные продукты для моделирования и анализа ЦОДов стоят очень недешево, от нескольких десятков тысяч долларов в год за лицензию на один компьютер. Например, цена годовой лицензии на пакет Sigma6 для моделирования дата-центра превышает $50 тыс. Моделирование потоков требует высокой квалификации, и специалисты в этой области имеют соответствующую зарплату. Создание модели центра обработки данных может занять больше месяца. Поэтому моделирование ЦОДа и выполнение расчетов обойдется конечным заказчикам в сумму порядка $5–10 тыс. Однако не надо забывать, что имея под руками модель, можно как снизить затраты на создание ЦОДа, так и сократить операционные расходы в дальнейшем.

 

 

CFD-программы позволяют моделировать поведение потоков жидкостей и газа, а также связанные с ними физические явления, например перенос тепла. Без термодинамического моделирования ЦОДа невозможно получить точные ответы, касающиеся таких принципиально важных характеристик, как распределение температуры и влажности по периметру и высоте помещения и серверных стоек в зависимости от тепловой нагрузки, от места установки кондиционерных блоков, температуры теплоносителей и хладагентов, высоты фальшпола, типов вентиляторов и других параметров.

 

Проектирование систем кондиционирования дата-центров в России будет переходить с «наколеночной» стадии на профессиональный уровень. При этом обязательно будут использоваться CFD-программы, позволяющие создавать и рассчитывать термодинамическую модель ЦОДа и находить оптимальное решение.

 

Автор выражает благодарность Алексею Нестеркину, техническому директору компании «ВентСтрой Груп», за помощь в подготовке данной статьи.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!