Выбор оптимальной концепции охлаждения майнингового ЦОДа

Именно с таким нестандартным запросом обратился к нам заказчик. 

Наша задача как консультантов состояла в анализе уже предложенных для объекта инженерных решений, их коррекции и дополнительной проверке на основе нашего опыта и с применением CFD-моделирования воздушных потоков.

Разумеется, мы представляем себе все достоинства и особенности стремительно набирающего популярность иммерсионного охлаждения, однако в данном проекте по целому ряду причин задача охлаждения майнеров должна была решаться именно обдувом воздухом. 

Майнеры, производимые ведущими компаниями, можно разделить на две основные группы – устройства на базе специализированных чипов (ASIC) и на базе графических ускорителей (GPU). С точки зрения охлаждения они различаются незначительно. Вместе с тем в отличие от серверного оборудования, которое снабжено сервисным процессором, осуществляющим диагностику состояния устройства, измерение температуры, управление вентиляторами и пр., сервисный процессор майнера существенно упрощен и служит для настройки майнера и его подключения к планировщику заданий. Таким образом, система управления продувкой сведена к абсолютному минимуму, и вентиляторы все время работают на полных оборотах.

Что представляет собой один из наиболее популярных майнеров ASIC AntMiner S19 Pro в цифрах? На скромные габариты 370 х 195,5 х 290 мм (Д х Ш х В) приходится 3,25 кВт постоянного тепловыделения. Допустимый для бесперебойной работы температурный диапазон – 0–40°С при относительной влажности воздуха не более 90% без выпадения конденсата. Установленные вентиляторы обеспечивают объемный расход воздуха порядка 700 куб. м/ч. Механическая фильтрация воздуха, поступающего на вход устройства, не предусмотрена, поэтому поддерживать рекомендуемые условия эксплуатации необходимо на уровне машинного зала.

Искушенный в майнинге читатель скажет, что эти устройства работают в любых, самых жестких условиях. Согласны, это не бизнес-ориентированное ИТ-оборудование со свойственными ему SLA и заботой о доступности, но акцент сделаем на том, что в то время, когда майнер не работает, он не приносит ожидаемую прибыль, да и при массовых отказах устройств проявится нехватка обслуживающего персонала для восстановления работоспособности оборудования.

Вернемся к проектируемому объекту, который был задуман в виде легковозводимого ангара. Предложенное нам для анализа проектное решение для охлаждения ЦОДа было следующим: наружный воздух после минимальной фильтрации с помощью нагнетающих осевых вентиляторов, расположенных в боковых стенах ангара, подавался в пространство холодных коридоров машинного зала. Нагретый майнерами воздух поступал в центральный горячий коридор, откуда отводился наружу вытяжными осевыми вентиляторами.

Изучив это решение, мы увидели, что оно обладает рядом недостатков, поскольку не учитывает следующие аспекты:

Сведя исходные данные воедино, мы предложили альтернативную схему воздухообмена в ЦОДе. Так, в рамках уже сформированной архитектурной концепции ангара было решено организовать центральный холодный коридор в виде камеры нагнетания, куда очищенный фильтрами наружный воздух подается из верхней зоны ангара с помощью осевых вентиляторов (рис. 2). Далее после адиабатического охлаждения подготовленный воздух поступает во вторичные холодные коридоры для подачи к майнерам. Нагретый майнерами воздух попадает в горячие коридоры, откуда удаляется наружу или подается на рециркуляцию. Рециркуляция может быть полной или частичной в зависимости от температуры наружного воздуха.

Основные преимущества такой компоновки заключаются в существенном снижении нагрузки на систему фильтрации вследствие забора воздуха из верхней части ангара, а также в уменьшении энергопотребления системы из-за отсутствия потребности в вытяжных вентиляторах.

Далее мы приступили к построению CFD-моделей обоих компоновочных решений, для того чтобы наглядно представить заказчику все их особенности.

Технология вычислительной гидрогазодинамики дает возможность безопасно и экономично проверить планируемые технологические решения на цифровом двойнике объекта. А верификация CFD-моделей, проводимая на уже построенных объектах, позволяет и нам, и заказчикам быть уверенными в точности прогнозов поведения окружения при конкретных нагрузках и настройках инженерных систем.

Поскольку геометрические размеры майнингового ЦОДа оказались значительны, для построения двух CFD-моделей была выбрана одна секция ангара. На рис. 3 и 4 представлены общие виды моделей секции ЦОДа: исходный вариант с общим горячим коридором и альтернативное решение с общим холодным коридором.

В список ключевых параметров, по которым предполагалось сравнивать две CFD-модели, мы включили: 

На картах распределения потоков воздуха (рис. 5 и 6) ясно видно, что в модели с общим горячим коридором ярко выражено зацикливание выбрасываемого воздуха в области воздухозабора.

 

 

Зацикливание выбрасываемого воздуха приводит к дополнительному нагреву наружного воздуха в области воздухозабора. Этот эффект можно наблюдать на карте распределения температур модели с общим горячим коридором (рис. 7).

 

При этом в модели с общим холодным коридором карты распределения потоков воздуха и температур (рис. 6 и 8) показывают отсутствие зацикливания выбрасываемого воздуха и дополнительного нагрева наружного воздуха в местах воздухозабора. Стоит заметить, что внутри вторичных холодных коридоров воздух в верхней части более нагрет не только по причине конвективного разделения, но и вследствие эжекции в верхней части фильтров. Это явление следует учесть при подборе оборудования.

Анализ карт распределения параметров обеих CFD-моделей, а также эксплуатационных особенностей объекта позволил сделать вывод, что оптимальным решением для данного майнингового ЦОДа является компоновка с общим холодным коридором. Она обладает следующими преимуществами:

Более того, опыт этого проекта свидетельствует о том, что чем раньше производится анализ концептуальных решений, схем воздухообмена и компоновки объекта, тем больше узких мест в проекте можно обнаружить. А объединив усилия проектировщиков и CFD-моделирование, можно добиться оптимального результата. 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>