• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Жидкостное охлаждение ИТ-инфраструктуры

Жидкостное охлаждение серверов вызывает многочисленные споры в профессиональных кругах. Действительно ли это еще один шаг на пути совершенствования систем охлаждения или очередной пиар-ход?

Какие преимущества выделяют сторонники жидкостного (водяного) охлаждения? Это, во-первых, высокая теплоемкость воды, значительно большая, чем у воздуха, что позволяет переносить в 3463 раза больше тепла одним и тем же объемом теплоносителя. Во-вторых, это использование закрытого водяного контура – а значит, исключено попадание в него пыли и других загрязняющих веществ. Кроме того, возможно повысить допустимую температуру воды, чтобы использовать свободное охлаждение в более широком диапазоне температур.

Сторонники же воздушного охлаждения в первую очередь, как ни парадоксально, отмечают традиционность этого подхода. И возразить здесь нечего – действительно, воздушное охлаждение используется с момента создания первых ЭВМ и до сегодняшнего дня, накоплен огромный опыт реализации таких систем, имеется широкий ассортимент оборудования, как охлаждающего, так и охлаждаемого воздухом. Второй довод в пользу воздушного охлаждения – это различные технологические трудности, которые возникают при использовании охлаждения жидкостного.

Мы рассмотрим здесь некоторые варианты жидкостного охлаждения, чтобы читатели могли самостоятельно оценить будущее разных типов систем.

Особенности жидкостного охлаждения

Для начала немного теории. В чем коренное отличие жидкостных систем охлаждения от воздушных? Все довольно просто: в воздушных системах тепло процессоров, жестких дисков, видеокарт и прочей «начинки» сервера отводится исключительно потоком воздуха, но потом все равно передается какой-либо другой среде, например холодоносителю в теплообменниках прецизионных кондиционеров. При использовании жидкостной системы тепло отводится либо сразу жидкостью (непосредственно), либо через твердую стенку (косвенно). В обоих вариантах жидкостного охлаждения для снятия теплоизбытков с ИТ-оборудования воздух включается в процесс только в самом конце – при сбросе тепла в окружающую среду.

Чтобы выделить основное преимущество жидкостных систем, сравним традиционную и оптимизированную системы холодоснабжения и системы жидкостного охлаждения ИТ-оборудования при помощи диаграмм движения тепла (на рис. 1 они показаны применительно к условиям Москвы). В традиционной системе используются кондиционеры с температурой воздуха 18/25°С и жидкости 7/12°С и холодильные машины внутренней установки с температурами жидкости, охлаждающей конденсаторы, 42/47°С. В оптимизированной системе это кондиционеры с температурами воздуха 23/32°С, жидкости – 15/20°С и с холодильными машинами внешней установки со встроенным свободным охлаждением. Остальные четыре диаграммы отображают работу жидкостной системы охлаждения при различных разрешенных температурах охлаждающей воды. На всех четырех графиках для жидкостного охлаждения взят температурный перепад, равный 5°C, хотя в конкретном случае он может быть другим.

Как известно, тепло переходит от более нагретого материала к менее нагретому, на диаграммах такое движение отображено синими линиями. В остальных случаях требуется совершение работы (оранжевые линии) – и эта работа в нашем случае совершается холодильными машинами. Как видно из рис. 1, наибольшая величина работы – в традиционной системе. В системах же жидкостного охлаждения величину работы удается значительно снизить, а в ряде случаев мы вообще могли бы отказаться от использования холодильных машин.

Следующим положительным моментом в использовании жидкостных систем охлаждения является повышение температуры начала частичного свободного охлаждения и температуры перехода на полное свободное охлаждение. Повышая температуру охлаждающей воды, мы снижаем количество часов в году, при которых работает механическое охлаждение.

Еще одна особенность жидкостных систем – возможность создания значительного перепада температур охлаждающей жидкости. Это позволит существенно снизить расход жидкости, а значит, энергопотребление насосов, и уменьшить размеры коммуникаций (зависимость перепада температур от расхода жидкости и мощности системы показана на рис. 2).

Теперь поговорим о классах систем охлаждения, точнее, о том, какое оборудование соответствует классам систем жидкостного охлаждения. Классификацию ввело сообщество ASHRAE в стандарте для жидкостных систем охлаждения – 2011 Thermal Guidelines for Liquid Cooled Data Processing Environments (см. таблицу).

В дополнение к данной таблице ASHRAE рекомендует применять схемы систем охлаждения, показанные на рис. 3. Отметим, что при использовании 4-го класса систем жидкостного охлаждения можно отказаться от применения холодильных машин.

Технические решения

Жидкостное охлаждение горячих компонентов компьютера впервые было применено в американском суперкомпьютере Cray-2 еще в 1982 г.: платы этого суперкомпьютера были погружены в охлаждающую диэлектрическую жидкость. В дальнейшем технологии жидкостного охлаждения практически не развивали – можно сказать, создали работающий концепт и оставили «до поры». И вот пора пришла.

Небезызвестная компания IBM создала систему косвенного отвода тепла, суть которой в том, что наиболее «горячие» точки серверного оборудования контактируют с теплоотводящими пластинами. В результате объединения нескольких таких горячих точек и пластин получается вычислительный узел (рис. 4), который затем объединяется еще с несколькими серверами в полноценную серверную стойку. Данный подход обеспечивает съем тепла только с наиболее горячих компонентов, но многие другие остаются без внимания. Множество таких компонентов, включая проводники печатной платы, по которым течет ток, необходимо дополнительно охлаждать воздухом. Формирование каналов циркуляции воздуха внутри системы сказывается на ее общей плотности, хотя этот показатель у нее все же лучше, чем у систем с воздушным охлаждением. Но необходимость организации комбинированного охлаждения внутри сервера значительно усложняет и, скорее всего, увеличивает себестоимость этого подхода.

Решение, предложенное российской компанией «РСК Технологии», – тоже косвенная система охлаждения, но в ней используется всего одна охлаждающая пластина, которая полностью покрывает всю поверхность вычислительного узла (рис. 5). Этот подход обеспечивает полный теплосъем со всей площади компонентов узла, тем самым исключая лишние воздушные компоненты. Такая реализация отвода тепла позволила увеличить температурный перепад и за счет уменьшения расхода жидкости сделать систему более эффективной и максимально плотной.

Но в ассортименте систем жидкостного охлаждения есть решения не только с косвенным, но и с непосредственным охлаждением серверов. Производитель одной из таких систем – компания Iceotope. Ни для кого не секрет, что жидкости на основе воды нельзя использовать для непосредственного охлаждения процессоров и плат, для этого применяют жидкости-диэлектрики. В данном случае используется Novec 1230 от компании 3M. Тепло отводится через стенку емкости, в которую погружен сервер, к жидкости, далее отводящей тепло в атмосферу (рис. 6). Подход интересен тем, что диэлектрическая жидкость Novec 1230 за счет естественной конвекции внутри изолированного объема омывает все горячие компоненты. С другой стороны, пассивная конвекция в сочетании с необходимостью передачи тепла через стенку накладывает ограничения на мощность процессоров и энергетическую плотность такого решения.

Другая разработка на основе погружения в жидкий диэлектрик принадлежит компании Green Revolu-tion Cooling. Здесь оборудование погружается в жидкость GreenDEF, схожую по свойствам с трансформаторным маслом. Серверы помещаются в ванну с такими же габаритами, как у обыкновенной телекоммуникационной стойки, но расположенную горизонтально (рис. 7).

К очевидным недостаткам таких систем можно отнести охлаждение высоконагруженных компонентов с помощью потока вязкой жидкости. А взаимодействие гидрофильной жидкости с атмосферой подразумевает регулярные процедуры ее очистки и осушения. В то же время значительная масса и площадь горизонтально расположенного резервуара, заполненного теплоносителем, накладывает определенные ограничения на выбор помещения. Но при всех перечисленных недостатках система имеет и ряд явных преимуществ, таких как возможность использования стандартных ИТ-компонентов в среде жидкого диэлектрика, низкая стоимость жидкости и простота конструкции, реализовать которую можно и не имея производственной базы.

  

Представленные в статье решения не единственные, но довольно показательные. К примеру, решения, аналогичные разработкам компаний IBM и «РСК Технологии», применяют и другие производители оборудования: Dell, Fujitsu, SGI и т.д. А к решениям, аналогичным системам Iceotope и Green Revolution Cooling, приходят другие группы разработчиков. У любого из них, будь то прямое жидкостное или косвенное охлаждение, есть свои достоинства и недостатки. Но выбор оптимального варианта, как и в случае с воздушным кондиционированием, должен быть индивидуальным. В каждом конкретном случае любой фактор может оказаться как преимуществом, так и недостатком.

Применение систем с жидкостным охлаждением в основном обусловливается потребностями заказчика. В 2012 г. о начале промышленной эксплуатации вычислительной системы с жидкостным охлаждением объявила европейская компания из нефтегазового сектора. В России наиболее яркий пример системы с жидкостным охлаждением в промышленной эксплуатации – Главный вычислительный центр Росгидромета.

Вероятно, в недалеком будущем в создаваемых коммерческих дата-центрах будет предусматриваться возможность установки систем как с воздушным, так и с жидкостным охлаждением. Тем более что технологическая база для реализации жидкостного охлаждения имеется, а преимущества таких систем уже не раз склоняли чашу весов в их сторону.