Rambler's Top100
Статьи
Григорий ЮДИН  Анастасия КУЗНЕЦОВА  20 сентября 2022

Выбор оптимальной концепции охлаждения майнингового ЦОДа

Представьте, что вам необходимо создать систему охлаждения для майнингового ЦОДа с ИT-мощностью 200 МВт. Как организовать воздухообмен на таком объекте? 

Именно с таким нестандартным запросом обратился к нам заказчик. 

Наша задача как консультантов состояла в анализе уже предложенных для объекта инженерных решений, их коррекции и дополнительной проверке на основе нашего опыта и с применением CFD-моделирования воздушных потоков.

Разумеется, мы представляем себе все достоинства и особенности стремительно набирающего популярность иммерсионного охлаждения, однако в данном проекте по целому ряду причин задача охлаждения майнеров должна была решаться именно обдувом воздухом. 

Конструктивные особенности майнеров

Майнеры, производимые ведущими компаниями, можно разделить на две основные группы – устройства на базе специализированных чипов (ASIC) и на базе графических ускорителей (GPU). С точки зрения охлаждения они различаются незначительно. Вместе с тем в отличие от серверного оборудования, которое снабжено сервисным процессором, осуществляющим диагностику состояния устройства, измерение температуры, управление вентиляторами и пр., сервисный процессор майнера существенно упрощен и служит для настройки майнера и его подключения к планировщику заданий. Таким образом, система управления продувкой сведена к абсолютному минимуму, и вентиляторы все время работают на полных оборотах.

 
            Рис. 1. ASIC BItmain AntMiner S19 Pro.
            Вид спереди
Что представляет собой один из наиболее популярных майнеров ASIC AntMiner S19 Pro в цифрах? На скромные габариты 370 х 195,5 х 290 мм (Д х Ш х В) приходится 3,25 кВт постоянного тепловыделения. Допустимый для бесперебойной работы температурный диапазон – 0–40°С при относительной влажности воздуха не более 90% без выпадения конденсата. Установленные вентиляторы обеспечивают объемный расход воздуха порядка 700 куб. м/ч. Механическая фильтрация воздуха, поступающего на вход устройства, не предусмотрена, поэтому поддерживать рекомендуемые условия эксплуатации необходимо на уровне машинного зала.

Искушенный в майнинге читатель скажет, что эти устройства работают в любых, самых жестких условиях. Согласны, это не бизнес-ориентированное ИТ-оборудование со свойственными ему SLA и заботой о доступности, но акцент сделаем на том, что в то время, когда майнер не работает, он не приносит ожидаемую прибыль, да и при массовых отказах устройств проявится нехватка обслуживающего персонала для восстановления работоспособности оборудования.

Каков он, ЦОД для майнинга?

Вернемся к проектируемому объекту, который был задуман в виде легковозводимого ангара. Предложенное нам для анализа проектное решение для охлаждения ЦОДа было следующим: наружный воздух после минимальной фильтрации с помощью нагнетающих осевых вентиляторов, расположенных в боковых стенах ангара, подавался в пространство холодных коридоров машинного зала. Нагретый майнерами воздух поступал в центральный горячий коридор, откуда отводился наружу вытяжными осевыми вентиляторами.

Изучив это решение, мы увидели, что оно обладает рядом недостатков, поскольку не учитывает следующие аспекты:
  • повышенную запыленность вследствие близости выбранной для ЦОДа площадки к районам лесозаготовок и угольным развалам ГРЭС;
  • высокую сейсмичность региона;
  • высокие экстремумы (положительные и отрицательные) температуры наружного воздуха при низкой среднегодовой температуре.
Сведя исходные данные воедино, мы предложили альтернативную схему воздухообмена в ЦОДе. Так, в рамках уже сформированной архитектурной концепции ангара было решено организовать центральный холодный коридор в виде камеры нагнетания, куда очищенный фильтрами наружный воздух подается из верхней зоны ангара с помощью осевых вентиляторов (рис. 2). Далее после адиабатического охлаждения подготовленный воздух поступает во вторичные холодные коридоры для подачи к майнерам. Нагретый майнерами воздух попадает в горячие коридоры, откуда удаляется наружу или подается на рециркуляцию. Рециркуляция может быть полной или частичной в зависимости от температуры наружного воздуха.
Рис. 2. Концепция майнингового ЦОДа с центральным холодным коридором

Основные преимущества такой компоновки заключаются в существенном снижении нагрузки на систему фильтрации вследствие забора воздуха из верхней части ангара, а также в уменьшении энергопотребления системы из-за отсутствия потребности в вытяжных вентиляторах.

Что показало CFD-моделирование 

Далее мы приступили к построению CFD-моделей обоих компоновочных решений, для того чтобы наглядно представить заказчику все их особенности.

Технология вычислительной гидрогазодинамики дает возможность безопасно и экономично проверить планируемые технологические решения на цифровом двойнике объекта. А верификация CFD-моделей, проводимая на уже построенных объектах, позволяет и нам, и заказчикам быть уверенными в точности прогнозов поведения окружения при конкретных нагрузках и настройках инженерных систем.

Поскольку геометрические размеры майнингового ЦОДа оказались значительны, для построения двух CFD-моделей была выбрана одна секция ангара. На рис. 3 и 4 представлены общие виды моделей секции ЦОДа: исходный вариант с общим горячим коридором и альтернативное решение с общим холодным коридором.
Рис. 3. Общий вид модели секции майнингового ЦОДа с общим горячим коридором
Рис. 4. Общий вид модели секции майнингового ЦОДа с общим холодным коридором

В список ключевых параметров, по которым предполагалось сравнивать две CFD-модели, мы включили: 
  • обеспечение требуемого объемного расхода воздуха;
  • перепад давления на фильтрах;
  • отсутствие зацикливания выбрасываемого воздуха на воздухозабор;
  • потребность в вытяжных вентиляторах;
  • ремонтопригодность;
  • удобство обслуживания системы фильтрации.
На картах распределения потоков воздуха (рис. 5 и 6) ясно видно, что в модели с общим горячим коридором ярко выражено зацикливание выбрасываемого воздуха в области воздухозабора.
 
Рис. 5. Карта распределения потоков воздуха для модели с общим горячим коридором 
 
Рис. 6. Карта распределения потоков воздуха для модели с общим холодным коридором 

Зацикливание выбрасываемого воздуха приводит к дополнительному нагреву наружного воздуха в области воздухозабора. Этот эффект можно наблюдать на карте распределения температур модели с общим горячим коридором (рис. 7).
 
Рис. 7. Карта распределения температур в вертикальной плоскости для модели с общим горячим коридором 

При этом в модели с общим холодным коридором карты распределения потоков воздуха и температур (рис. 6 и 8) показывают отсутствие зацикливания выбрасываемого воздуха и дополнительного нагрева наружного воздуха в местах воздухозабора. Стоит заметить, что внутри вторичных холодных коридоров воздух в верхней части более нагрет не только по причине конвективного разделения, но и вследствие эжекции в верхней части фильтров. Это явление следует учесть при подборе оборудования.
Рис. 8. Карта распределения температур в вертикальной плоскости для модели с общим холодным коридором

Анализ карт распределения параметров обеих CFD-моделей, а также эксплуатационных особенностей объекта позволил сделать вывод, что оптимальным решением для данного майнингового ЦОДа является компоновка с общим холодным коридором. Она обладает следующими преимуществами:
  • отсутствие зацикливания выбрасываемого воздуха и как следствие отсутствие перегрева наружного воздуха в области воздухозабора;
  • отсутствие потребности в вытяжных вентиляторах;
  • снижение нагрузки на систему фильтрации;
  • отсутствие необходимости балансировки воздухообмена нагрузки по сторонам сооружения;
  • возможность поэтапного ввода оборудования.
Более того, опыт этого проекта свидетельствует о том, что чем раньше производится анализ концептуальных решений, схем воздухообмена и компоновки объекта, тем больше узких мест в проекте можно обнаружить. А объединив усилия проектировщиков и CFD-моделирование, можно добиться оптимального результата. 

Григорий Юдин, технический директор, DCConsult
Анастасия Кузнецова, главный специалист по механическим системам, DCConsult
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!