Rambler's Top100
Статьи ИКС № 3 2018
Александра ЭРЛИХ   12 ноября 2018

Кругом вода, или Соблюдение коридора влажности в системах круглогодичного фрикулинга

Какие нюансы нужно принять во внимание при проектировании системы круглогодичного фрикулинга, чтобы оптимизировать энергопотребление и в то же время создать комфортные условия для работы как ИТ-оборудования, так и персонала?

До поры до времени ЦОДы работали в определенном режиме влажности и температуры и чувствовали себя в нем довольно комфортно. Но Американская ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха (American Society of Heating, Refrigerating and Air-Conditioning Engineers, ASHRAE) провела ряд исследований, позволивших -- ура! -- снова повысить температуру в ЦОДах.

А тут еще выход на рынок систем охлаждения Kyoto Cooling, которые так замечательно работают в ряде стран северо-запада Европы. Возникло понятное желание применить подобные системы в России. Появились первые аналоги, а вместе с ними и первые проблемы.

С Kyoto Cooling у меня особые отношения. Я как раз заканчивала Одесскую академию холода, когда общество всколыхнул феномен так называемой озоновой дыры. Тогда, в 1995--1997 гг., мир науки и техники тоже жил относительно уравновешенно, без революционных скачков и резкого роста выпуска холодильного и климатического оборудования. Киотский протокол буквально взорвал привычный порядок и на долгие десятилетия дал повод менять отличную технику на более современные, но менее совершенные аналоги. Было проведено огромное количество исследований, защищены десятки тысяч диссертаций и обеспечены сотни тысяч рабочих мест в производстве холодильного и климатического оборудования.

Когда в 2010 г. началось массированное продвижение новой технологии фрикулинга -- Kyoto Cooling, -- понятно, что первой реакцией у меня, как, возможно, и у вас, был скепсис.

Тем не менее технология живет, развивается и довольно успешно применяется, например, в Риге, в ЦОДе Lattelecom. Особенности местного климата в виде постоянных ветров усиливают энергосберегающий эффект такого вида охлаждения -- большую часть времени года вентиляторы вращаются естественным путем, не потребляя электричества.

За последние годы технологию развили и адаптировали под разные климатические зоны и требования. Например, в Мюнхене, где температуру воздуха летом можно сравнить с температурами на российском Черноморском побережье, фрикулинг работает 90% времени в году без применения дополнительного компрессорного охлаждения. Снижаются затраты на эксплуатацию ЦОДа, улучшаются показатели PUE, можно красиво рекламировать себя и радовать клиентов ощутимо низкими ценами предоставляемых услуг.

Но у таких систем есть одна проблема -- влажность. Этот параметр для дата-центра не менее важен, чем температура.

Какая влажность должна быть в ЦОДе

Если влажность слишком низкая, возникает опасность накопления статического электричества. Считается, что в момент разряда оно может повредить электронные компоненты серверов. Последние исследования ASHRAE доказали, что нижний порог влажности можно снизить до 15% при условии соблюдения элементарных правил безопасности, таких как специальное покрытие пола, обувь, антистатические браслеты и соблюдение температурных норм, рекомендованных той же ASHRAE.

Правда, встает вопрос, насколько вы хотите заниматься соблюдением всех предписанных мер предосторожности, рискуя сбоем самого ненадежного звена любой технологии – пресловутого человеческого фактора.

Однако тема этой статьи не пониженная влажность, которую в худшем случае можно повысить с помощью обычных увлажнителей. Сегодня мы поговорим о верхнем пороге влажности, а именно о том, как соблюсти его в условиях круглогодичного фрикулинга.

Повышенная влажность чревата выпадением конденсата, формированием дождевых облаков, как однажды произошло в ЦОДе Facebook (согласно данным The Register, инцидент имел место в ЦОДе в Прайнвилле (шт. Орегон, США) летом 2011 г.), в экстремальных случаях -- коротким замыканием. В Германии при применении свободного охлаждения вместе с влажностью в ЦОДы пришла еще одна проблема, типичная для развитого капитализма, -- плесень. Запад загнивает, причем в буквальном смысле.

Не забудьте также ограничения, в том числе по влажности, которые накладывают на рабочие режимы серверов их производители. И, конечно, коррозию металлов никто не отменял.

Но даже если вы используете материалы, устойчивые к плесени и коррозии, работаете на серверном оборудовании, спроектированном специально для вас, не боитесь короткого замыкания, то вам все равно важно энергопотребление ЦОДа. Иначе вы не затевали бы круглогодичный фрикулинг, верно? А вот как раз этот показатель при повышенной влажности сильно возрастает, поскольку аппаратное обеспечение, пытаясь регулировать конденсацию, серьезно увеличивает потребление электроэнергии по сравнению с «нормальным» режимом.

Речь идет не о кратковременных скачках влажности, а о постоянном ее повышении в машинном зале. В 99% случаев причиной является не сам круглогодичный фрикулинг как способ охлаждения, а ошибки, допущенные при проектировании такой системы. Все-таки системы круглогодичного фрикулинга -- явление в мире ЦОДов относительно новое, количество подобных систем и, следовательно, накопленный опыт невелики.

А как в Германии?

Возможно, в такой ситуации проще отказаться от идеи и применить традиционную схему. А можно воспользоваться опытом зарубежных коллег, например, из Германии. Почему именно из Германии? В данном случае не столько потому, что я здесь живу и имею возможность общаться с практиками лично, сколько потому, что именно в этой, самой консервативной и задавленной нормами и законами по строительству и проектированию ЦОДов (их тут более 20) стране Западной Европы, стране с совсем не северным климатом, системы круглогодичного фрикулинга получили широкое распространение.

Посмотрим, на какие аспекты при проектировании обращают внимание немецкие коллеги. Для примера возьмем климатическую зону Мюнхена и принятый в Германии диапазон влажности 25--60%. Имеет значение каждая мелочь, включая количество процессоров с малой / большой тепловой нагрузкой, верхний температурный порог их работы, воздушные потоки в серверном шкафу и в машинном зале, достижимую степень изоляции помещения и отдельных его участков, экстремально возможные значения температуры и влажности наружного воздуха, невозможность полностью избежать подмешивания наружного воздуха, теплопритоки, в том числе и от самого климатического оборудования, и многое, многое другое.

Разработка концепции

Проще всего было бы спроектировать систему со стабильным воздушным потоком, подобрать и настроить технику один раз и больше не менять настройки. Но снова вмешивается человеческий фактор: люди, находяшиеся в серверной комнате, затрудняют оптимизацию системы, направленную на значительное снижение потребности в энергии для кондиционирования воздуха посредством фрикулинга. Людям нужно дышать, они выделяют определенное количество тепла и углекислого газа, температурно-влажностный режим в машинном зале должен быть для них комфортным, они могут задержаться в дверях дольше, чем считается нужным, забыть что-то и вернуться. Да и количество посещений машзала точно предсказать невозможно.

Кроме того, зачастую в разных частях зала необходимо поддерживать разные температурно-влажностные режимы, определяемые непосредственно ИТ-оборудованием (например, в коммерческом ЦОДе). С этой целью в Германии создают систему так называемого двойного фрикулинга.

Суть заключается в следующем: для каждого ЦОДа создается индивидуальная система plug-and-play, способная работать как в режимах прямого и непрямого фрикулинга, так и в режиме компрессорного охлаждения. Она включает в себя системы увлажнения и осушения и способна одинаково хорошо функционировать в режиме и частичной, и полной нагрузки. При этом система обеспечивает значение PUE = 1,2 и ниже.

Вводные для проектирования установки

Самое важное -- правильно определить разность между температурой на выходе из горячего коридора и температурой на входе в холодный коридор (Δt). В случае, когда нужно перейти на компрессорное охлаждение, Δt выбирается равной 12 K. При фрикулинге Δt можно и нужно взять больше (но не более 20 К), чтобы сократить объем требуемого воздуха и, как следствие, энергопотребление системы. И конечно, совершенно необходимо собственно разделение коридоров.

Система вентиляции должна быть спланирована таким образом, чтобы, используя различные пути воздушного потока, направлять воздух только туда, где он в настоящее время нужен, и уменьшать за счет этого внутреннее сопротивление потока. Благодаря как минимум двум параллельным воздушным потокам можно, например, создать различные воздушные смеси с различными температурно-влажностными режимами. Обязательно нужно предусмотреть возможность работы установок в режиме частичной загрузки. По возможности задействовать бОльшее количество малых установок.

Важно: системы прямого фрикулинга могут обеспечивать те же показатели при более высоких температурах наружного воздуха, чем системы непрямого фрикулинга.

Требования к геометрии зала

Как уже говорилось ранее, разделение коридоров является абсолютной необходимостью для создания подобного рода систем. В настоящее время уже следует идти дальше и разграничивать не только коридоры, но и зоны с разными температурно-влажностными режимами.

Второе необходимое условие -- переход от фальшпола к фальшпотолку. Вспомним школьную физику: теплый воздух поднимается вверх сам по себе, не требуя дополнительных энергетических затрат. Поэтому выдуваем холодный воздух непосредственно в холодный коридор, позволяем ему подниматься вверх и регулируем воздушные потоки системой клапанов и воздуховодов. Подобное решение круглогодичного фрикулинга уже несколько лет успешно применяется, в частности, в центрах обработки данных одной из крупнейших российских интернет-компаний.

В Германии поток воздуха регулируют не только с помощью механических систем, но и изменяя Δt в соответствии с изменением холодильной нагрузки.

От стандартной установки – к «индпошиву»

Если внимательно изучить требования к системе, становится понятным, что ни одна стандартная установка таким требованиям полностью соответствовать не может. Поэтому не жалеем денег на CAPEX, понимая, что получим замечательно низкий OPEX, и разрабатываем индивидуальную установку. Тем более что даже индивидуальная установка для системы круглогодичного фрикулинга обойдется дешевле, чем стандартный набор, включающий в себя чиллеры, прецизионные кондиционеры, драйкулеры и вспомогательное оборудование.

Возьмем в качестве примера относительно простую установку, например, для ЦОДа общественной организации с гомогенным ИТ-оборудованием.

Для круглогодичной работы установки определяют восемь различных штатных режимов и маркируют в h,x-диаграмме. Для каждого из штатных режимов рассчитываются оптимальные параметры, которые учитываются при разработке установки и вносятся в программное обеспечение автоматики. Вентиляторы, теплообменники и клапаны для каждого из этих режимов регулируются отдельно, с акцентом на минимизацию энергопотребления, причем для снижения энергопотребления вентиляторов проводят смешение различных параллельных воздушных потоков.

В качестве штатных режимов могут быть выбраны, например, следующие:

Непрямой фрикулинг. Этот режим (рис. 1) хорош при низких температурах наружного воздуха и соответственно низкой абсолютной влажности. Весь объем воздуха проходит через рекуператор, отбирая через стенку тепло у внутреннего воздуха машзала и отводя его на улицу. Небольшое количество наружного воздуха подмешивается к внутреннему. В таком режиме практически не нужно увлажнение либо осушение.

Рис. 1. Непрямой фрикулинг

Прямой фрикулинг. Этот режим применяется при средних температурах наружного воздуха и абсолютной влажности не более 10 г/кг. В климатических условиях Мюнхена в режиме прямого фрикулинга работают примерно полгода. При разработке климатической установки под этот режим нужно учитывать потери давления потока и стараться сделать их минимальными. Наружный воздух в этом режиме не проходит через рекуператор, а параллельным путем через систему фильтров К7 заходит в машинный зал.

Прямой фрикулинг с увлажнением. В случае, когда абсолютная влажность падает ниже 4 г/кг, наружный воздух дополнительно увлажняется (рис. 2).

Рис. 2. Фрикулинг с увлажнением

Адиабатическое увлажнение. Как только температура наружного воздуха становится выше допустимой температуры входящего воздуха, включается режим адиабатического увлажнения, позволяющий дополнительно снизить температуру на 5К.

Испарительное увлажнение. В последнее время вместо адиабатического увлажнения все шире используют непосредственное испарение на рекуператоре специальной конструкции, позволяющее сбить температуру наружного воздуха на 10--12 К. Системы с сотовыми увлажнителями из-за возникновения больших потерь в воздушном потоке (и, как следствие, высокого энергопотребления), а также из-за необходимости частой замены получили менее широкое распространение.

Компрессорное (до)охлаждение. Когда температура наружного воздуха даже после испарения поднимается выше допустимой температуры входящего воздуха, возникает необходимость в компрессорном (до)охлаждении. При этом воздух охлаждается до температуры ниже необходимой, проходя через встроенный конденсатор, охлаждает теплообменный аппарат и параллельно «подсушивается».

Полное компрессорное охлаждение. Если температура воздуха на улице поднялась выше температуры в горячем коридоре, подача наружного воздуха перекрывается, и внутренний воздух охлаждается исключительно встроенной холодильной машиной.

Осушение. В случае, когда содержание водяных паров в воздухе превышает 12 г/кг, наружный воздух принудительно осушается. Для осушения можно задействовать разные системы, начиная с применяемых в бассейнах и заканчивая приборами, разработанными для специальных лабораторий. Но самый простой и дешевый способ – использовать в качестве осушителя встроенную в установку холодильную машину.

Циркуляционное воздушное охлаждение. Предусматривается в качестве аварийного на тот случай, если по каким-либо причинам (например, пожар на улице) наружный воздух независимо от его температуры использовать невозможно.

Александра Эрлих, сеньор-консультант, CABERO
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!