Надвигается буря. Изменение климата и отказоустойчивость ЦОДов

При создании ЦОДа обычно в первую очередь тщательно анализируется пригодность площадки, и объекты проектируются и строятся таким образом, чтобы все риски, связанные с землетрясениями, наводнениями, оседанием грунта и т.п., были сведены к минимуму. Но проблема заключается в том, что частота возникновения и суровость экстремальных погодных условий возрастают. Например, 10 лет назад при строительстве ЦОДов, скорее всего, использовались данные, которые существенно недооценивали сегодняшние риски. Например, выбиралась площадка в районе, который затапливается раз в 500 лет. Но на данный момент вероятность этого события, возможно, изменилась и составляет уже раз в 100 лет. Это означает, что риск затопления существенно вырос.

Тенденция очевидна: ЦОДы, рассчитанные на службу в течение 20 лет, часто эксплуатируются намного дольше. Однако погода меняется стремительно, и прошлое больше не является основой для предсказания будущего. Частота ранее редких погодных явлений (происходивших раз в столетие или даже реже) изменилась, и они теперь случаются дважды, а то и трижды в год. Так, в Европе и Нью-Йорке произошли затопления подвалов, где были расположены генераторы, что привело к отключению электроснабжения и простою ЦОДов. В Калифорнии электроподстанции, питающие ЦОДы, были отключены на несколько дней из-за опасности пожара. В Лондоне, городе с умеренным климатом, из-за небывалой жары оказались перегружены системы охлаждения. В Испании нехватка воды привела к перебоям в работе систем адиабатического охлаждения. Картина ясна – надвигается буря.

Выбор технологии также может значительно увеличить или уменьшить уязвимость объекта. В этой области может понадобиться даже более частая переоценка рисков, поскольку некоторые технологии могут безопасно эксплуатироваться в гораздо более узких рамках, чем само здание. Например, работа систем с использованием фрикулинга жестко зависит от диапазона наружной температуры и влажности, и эти параметры могут легко выйти за пределы проектных значений, что потребует быстрого наращивания холодопроизводительности.

Насколько хорошо подготовлена индустрия ЦОДов к изменению климата и экстремальным погодным условиям? Исследования Uptime Institute показали, что лишь меньшинство руководителей дата-центров предпринимают какие-либо значимые шаги для снижения рисков, связанных с изменением климата, проводят переоценку существующих технологий, уменьшающих риски затоплений, и осуществляют другие подготовительные мероприятия (рис. 1).

 

Некоторые группы операторов ЦОДов обращают больше внимания на климатические риски. Они представляют отрасли, которые в случае аварий сталкиваются с наиболее серьезными финансовыми и другими последствиями для бизнеса. В частности, по данным Uptime Institute, операторы коммерческих ЦОДов обычно управляют более новыми объектами, чем владельцы корпоративных дата-центров, и чаще планируют строительство новых площадок. Следовательно, риски, обусловленные изменением климата, для этих операторов, скорее всего, будут ниже.

Ниже мы рассмотрим три группы рисков (угроз):

ЦОДы подвержены целому ряду угроз (см. таблицу). Одни могут возникнуть в результате экстремальных погодных явлений (например, аномальной жары), другие – вследствие постепенного изменения климата (скажем, повышения уровня грунтовых вод). Некоторые объекты могут быть удачно расположены и защищены от любых из этих угроз, в то время как другие уязвимы сразу с точки зрения нескольких факторов.

Повышение летних температур увеличивает нагрузку на системы охлаждения многих ЦОДов, и в ближайшие годы ситуация, скорее всего, усугубится. Некоторые ЦОДы в крупных городах были вынуждены вдобавок к существующим системам естественного воздушного охлаждения установить механические системы (DX) для увеличения холодопроизводительности. В отдельных случаях приходилось дополнительно охлаждать теплообменники с помощью воды.

Оценки количества часов работы фрикулинга необходимо регулярно пересматривать, поскольку они меняются по мере изменения климата. Продолжительные высокие температуры в сочетании с высокой влажностью сильно влияют на жизнеспособность и окупаемость некоторых технологий. Повышение температуры наружного воздуха всего на 2°C может сделать системы на основе приточного воздуха и испарения неэффективными, а в некоторых ситуациях – экономически невыгодными.

Риск затопления ЦОДов, как правило, низкий. В соответствии с принятыми стандартами, большинство из них находится на расстоянии не менее 0,8 км от крупных водоемов, а подавляющее большинство – вне 100-летней границы затопления. Однако риски все возрастают, и грамотный выбор площадки для строительства, равно как и проработанный проект ЦОДа могут оказаться недостаточными гарантиями отсутствия рисков в предстоящие десятилетия. Например, в ряде регионов США в последние годы значительно увеличилось количество осадков, которые превышали возможности большей части ливневых систем и дамб, что привело к наводнениям и ускоренной эрозии почвы. Изменения в характере осадков зафиксированы на всех континентах.

В то время как риск для эксплуатации, оборудования и персонала при затоплении ЦОДа, находящегося в непосредственной близости к водоему, очевиден, негативному воздействию затопления на более широкие территории часто уделяется недостаточное внимание. Наводнения могут повредить телекоммуникационное оборудование в ближайших окрестностях, привести к закрытию плотин с гидроэлектростанциями, затопить дороги и ограничить подвоз топлива, повредить электрические и распределительные подстанции (30% отказов распределительных подстанций вызваны высокой влажностью или прямым воздействием воды), привести к кадровым проблемам во время чрезвычайной ситуации.

Чтобы получать недорогое чистое электричество, многие ЦОДы располагаются неподалеку от источников гидроэлектрогенерации. Как правило, это подразумевает непосредственную близость гор и лесов – районов, которым в эпоху изменения климата все больше угрожают лесные пожары. Закрытие дорог и эвакуация населенных пунктов на пути пожара могут создать непосредственный риск для персонала объекта: сотрудники не могут добраться до площадки или им придется решать собственные проблемы, вызванные пожаром.

Есть и другие риски. Лесные пожары могут сжечь линии электропередачи, прервав подачу электроэнергии на объект. После пожара могут происходить вызываемые эрозией обожженной почвы оползни, повреждающие оптоволоконные кабели. С изменениями климата риски выходят за рамки обычного, и подготовка к ним – важная задача. По меньшей мере одна из энергетических компаний, калифорнийская PG&E, в районах высокого риска ввела политику упреждающего прерывания обслуживания в периоды, когда возрастает угроза возникновения лесных пожаров (например, при сильном ветре в жаркую и сухую погоду).

Операторы ЦОДов должны учитывать риск, связанный не только непосредственно с пламенем, но и с раскаленными частицами. Разносимые ветром искры и угольки могут вызвать возгорание сухой травы у ограждений объекта, скопиться возле топливных баков или даже воспламенить автомобили сотрудников на стоянке.

Баки для хранения топлива и само топливо также требуют внимания. Практически все дизельные цистерны имеют вентиляционные отверстия. Эти отверстия позволяют воздуху свободно попадать в баки при заборе топлива, а при добавлении топлива – свободно выходить лишнему воздуху. В связи с ожидаемым увеличением времени работы генераторов через вентиляционные отверстия будет поступать больше воздуха, чем обычно, и остатки горения могут попадать в топливные резервуары.

Пожары создают риски и для систем охлаждения. Конденсаторы для кондиционеров, чиллеры с воздушным охлаждением и градирни подвержены повышенному риску в связи со скоплением твердых частиц в воздухе. Такие частицы либо загрязняют воду в градирнях, либо забивают змеевики конденсаторов. Это приводит к снижению охлаждающей способности систем и влияет на резервные мощности. ЦОДам с прямым воздушным охлаждением необходимо постоянно отслеживать качество воздуха и при необходимости корректировать графики технического обслуживания систем и чистки фильтров.

Даже если отдельный ЦОД хорошо подготовлен и защищен, определенную угрозу для него могут создать экстремальные погодные условия, влияющие на весь регион. 

Кабельная инфраструктура может подвергаться риску из-за штормов и повышения уровня вод. Согласно исследованию, проведенному учеными из Университета Висконсин-Мэдисон и Университета Орегона, более 5,5 тыс. км оптоволокна на территории США окажутся под водой уже через 15 лет независимо от штормовых воздействий. Кроме того, узлы связи часто находятся в небольших ЦОДах, расположенных в небезопасных местах.

Погодные явления регулярно вызывают перебои в подаче электроэнергии. На значительном количестве удаленных объектов инфраструктура не защищена. Штормы и затопления – самые частые причины отключения электроснабжения, но даже жара может вызвать проблемы из-за чрезвычайно высокой нагрузки на электросети. Большинство ЦОДов имеют ИБП и генераторные электростанции, но уровень защиты снижается, если возникают проблемы с подачей топлива во время инцидентов регионального масштаба.

Длительные периоды засухи, которые сейчас часто имеют место в ряде регионов по всему миру, могут представлять серьезные проблемы для ЦОДов. По прогнозам ООН, к 2025 г. две трети населения мира будут жить в условиях дефицита воды.

Согласно отраслевым оценкам, в ЦОДах ежегодно используется 18–28 млн л воды на 1 МВт полной мощности. Так, одна только Google, согласно ее экологическому отчету за 2018 г. (выпущен в 2019 г.), по всему миру потребляет порядка 12 млрд л воды. При этом, по данным опроса Uptime Institute, половина операторов ЦОДов даже не отслеживают объемы использования воды (рис. 2).

 

Очевидно, что вода становится все более ценным ресурсом. Что могут сделать операторы ЦОДов для ее экономии? Увы, для существующих объектов нет простых и дешевых решений. При проектировании новых, возможно, придется пойти на неудобные компромиссы, которые могут привести к росту энергопотребления объекта.

Одним из решений может стать прямое жидкостное охлаждение, при котором используется замкнутый контур с охлаждающей жидкостью, циркулирующей непосредственно внутри ИТ-системы (микросхемы, платы или внутри стойки). Эффективность таких решений намного выше, чем у традиционного воздушного охлаждения.

Другая альтернатива – использование технической воды, которая не является питьевой, но при этом относительно чистая. Однако обычно это требует дополнительных затрат на строительство водопровода, фильтрацию и очистку. Немногие ЦОДы задействуют такую воду.

Большинство операторов могут снизить потребление воды, повысив заданные значения температуры в ЦОДе всего на несколько градусов, оставаясь при этом в пределах рекомендованного ASHRAE температурного диапазона. Но такие шаги, безусловно, нужно предпринимать аккуратно и тщательно контролировать.

Отрасль ЦОДов, несомненно, будет меняться, чтобы лучше справиться с последствиями экстремальных погодных условий, нестабильности и изменения уровня воды, а также с дополнительным надзором и регулированием со стороны правительств разных стран. Некоторые сдвиги, возможно, уже происходят, но угроза изменения климата их, конечно, ускорит.

Изменение климата, вероятно, сильно повлияет на то, где и как будут строиться ЦОДы. Операторы, уже сейчас обращающие пристальное внимание на карты температур и зоны затопления, будут проявлять еще большую осторожность, учитывая все аспекты: от доступности водных ресурсов до политической ситуации. Некоторые районы (включая отдельные города) будут считаться зонами повышенного риска.

Кластеризация вокруг объектов с хорошей инфраструктурой и общими услугами будет продолжаться, несмотря на параллельное развитие удаленных периферийных объектов. Учитывая растущую потребность в edge-ЦОДах, можно ожидать более широкого использования легких сборных конструкций повышенной прочности, которые лучше защищают от экстремальных погодных явлений.

Более активное влияние государств на индустрию ЦОДов можно рассматривать как вторичный эффект изменения климата – эффект, который потребует дополнительного внимания и инвестиций. Хотя чиновники обычно плохо разбираются в технологиях ЦОДов, они могут очень точно реагировать на то, чего хотят избиратели. Во всем мире, за некоторыми исключениями, укрепляется настрой в пользу радикальных мер по сокращению вредных выбросов. Поэтому можно ожидать большего контроля за такими выбросами, а в некоторых регионах – и за использованием воды в ЦОДах.

Это уже привело к ощутимым регулирующим воздействиям на ЦОДы. В Амстердаме, например, в 2020 г. не давали разрешения на строительство новых ЦОДов, за исключением проектов, в которых была подтверждена возможность утилизации выделяющегося тепла, а планируемая величина PUE составляла 1,2 или ниже. У действующих ЦОДов PUE должен быть не выше 1,3. (Теперь новые ЦОДы разрешены, но со строгими ограничениями на использование пространства и электроэнергии.) В Сингапуре из-за значительного потребления ЦОДами электроэнергии и водных ресурсов также действуют ограничения. Есть они и в Калифорнии – на применение сплит-систем для охлаждения, а также на выбор и использование электрогенерирующих установок.

Некоторые из этих правил могут поставить операторов ЦОДов в затруднительное положение. Так, использование сплит-систем для охлаждения поможет сэкономить воду, но увеличит потребление энергии. Снижение PUE удовлетворит регулирующие органы, но может потребовать сокращения резервных мощностей и, следовательно, снижения уровня отказоустойчивости. Задействование облаков в качестве резервных сред может повысить устойчивость к экстремальным погодным условиям, но увеличит общие вредные выбросы и операционные затраты.

Пандемия COVID-19 резко увеличила долю компаний, рассматривающих возможность переноса большого объема вычислений в публичные облака. Изменение климата может иметь аналогичный эффект по трем основным причинам:

В числе других причин – повышение общей корпоративной гибкости, хороший контроль затрат и сокращение непрофильных активов. В ситуациях, когда корпоративные ЦОДы становятся нерентабельными и риски их обслуживания повышаются, все больше компаний предпочтут пользоваться услугами коммерческих ЦОДов или облачных провайдеров, а не инвестировать в собственные ИТ-объекты.

Изучайте погоду. Предсказать вероятность и масштаб погодных явлений может быть сложно. Однако международные организации, страховые компании и правительства создали инструменты, помогающие рассчитать вероятность стихийных бедствий и экстремальных погодных явлений. Операторы должны вкладывать средства в изучение погоды и развитие ресурсов прогнозирования.

Приведем несколько примеров полезных инструментов. CatNet – интерактивный картографический инструмент от страховой компании Swiss RE, которая рассматривает его как первую попытку составить всемирный атлас природных опасностей. Он содержит информацию о ряде опасных природных явлений, включая торнадо, землетрясения, сильные порывы ветра, град, извержения вулканов и наводнения. FM Global также предлагает набор инструментов с картами для прогнозирования стихийных бедствий, а Green Grid – температурные карты и изометрические диаграммы, которые помогут определить применимость естественного охлаждения в определенных географических зонах. Существует множество метеорологических сервисов, дающих подробную информацию в режиме реального времени. Некоторые из них имеют API и могут быть интегрированы в панель управления инфраструктурой ЦОДов.

Проводите регулярную оценку рисков. Анализ устойчивости к внешним воздействиям выявляет сильные стороны и уязвимые места объекта в случае экстремального погодного явления. Uptime Institute советует организациям изучать прогнозы изменения окружающей среды, которые могут возникнуть в результате изменения климата. Такой анализ рекомендуется проводить регулярно – возможно, ежегодно.

Когда риски выявлены, руководство обязано проанализировать затраты и рассмотреть различные сценарии реагирования. Но не забывайте, что повышение отказоустойчивости увеличивает затраты, что в некоторых случаях может привести к экономической несостоятельности ЦОДа.

Укрепляйте ЦОД для противостояния экстремальным погодным условиям. Изменение климата потребует от некоторых организаций серьезного переосмысления и обновления стратегий обеспечения безопасности и устойчивости бизнеса. В частности, может потребоваться изменить планирование, внедрить средства мониторинга, переместить ДГУ, системы распределения питания или водяные насосы. Повышение температурных уставок или сокращение потребления электроэнергии и воды позволит высвободить мощности, которые можно использовать для повышения отказоустойчивости объекта. Иногда меры, требующие незначительных инвестиций, такие как улучшение молниезащиты или установка противопаводковых барьеров, могут иметь решающее значение.

В некоторых случаях могут потребоваться крупные инвестиции в новые технологии. Например, для систем прямого воздушного охлаждения в регионах с высоким риском возникновения пожаров может понадобиться дополнительная фильтрация или переход на непрямое охлаждение. В очень засушливых регионах использование испарительных систем охлаждения может оказаться невозможным.

Отслеживайте риски, создайте единую информационную панель. Для повышения отказоустойчивости и улучшения общей отчетности рекомендуется создать единую информационную панель, которая будет отражать все события и риски, связанные с погодой. Такая панель может показывать потребление энергии, энергоэффективность (PUE), объемы вредных выбросов, потребления воды, состояние погоды в регионе (риск жары или наводнения), а также стабильность энергоснабжения (вероятность перебоев в подаче электроэнергии). На основании этих данных можно рассчитать общую оценку климатического риска. Наличие подобной инфопанели поможет предвидеть последствия природных явлений и снизить риски. Ее также можно использовать для информирования клиентов и регулирующих органов.

Действуйте на опережение погодных угроз. Об экстремальных погодных явлениях обычно предупреждают заранее. Это дает операторам ЦОДов возможность подготовиться, особенно при наличии хорошего плана действий в чрезвычайных ситуациях. Такие предупредительные меры включают:

Распределяйте риски. Всегда имеет смысл снизить риски, распределяя вычислительную нагрузку по нескольким ЦОДам. Исследования Uptime Institute показывают, что все больше организаций переходят на архитектуру с активным резервированием. При этом нагрузка разделяется между несколькими ЦОДами, находящимися как внутри региона, так и за его пределами. Конечно, есть и другие способы снижения риска. Например, можно использовать для аварийного восстановления две или даже три площадки, расположенные за пределами региона.

Обращайте внимание не только на инженерную инфраструктуру, но и на ИТ-системы. Защита всей критически важной инфраструктуры требует также управления ИТ-системами. Если погодное явление угрожает вывести из строя ЦОД, то ИТ-специалисты могут предпринять ряд действий, чтобы снизить негативный эффект. Очевидный шаг – обеспечение полной работоспособности служб резервного копирования и аварийного восстановления и при необходимости перенос рабочих нагрузок. ИТ-специалисты также могут сыграть полезную роль в корректном закрытии второстепенных приложений и сервисов, тем самым увеличивая время автономной работы основных ИТ-служб.

Рассматривайте воду как столь же важный ресурс, что и электричество. Вода почти так же важна, как и электричество. Особенно это актуально в ЦОДах, применяющих чиллеры и адиабатические/испарительные системы. Отчасти из-за стремления к большей эффективности сегодня значительная часть крупных новых дата-центров используют такие системы.

Перебои в подаче воды вряд ли могут иметь столь же серьезные последствия, как отключение электроэнергии. Тем не менее нехватка воды будет сказываться все сильнее, и потребуется снижение соответствующих рисков, например, посредством увеличения запаса хранимой на объекте воды или установки дорогостоящего резервного охлаждения.

Свяжите надежность и корпоративную устойчивость. Для достижения поставленных целей в области устойчивого развития правительства стран и руководители компаний могут накладывать ограничения (например, на вредные выбросы, использование энергии и воды) и требовать дополнительных операционных расходов, что, в свою очередь, влияет на выбор технологий и общую надежность объекта. Рассматривая надежность в контексте погоды и изменения климата, руководители должны работать в контакте со специалистами по корпоративной устойчивости, чтобы сделать реалистичный и безопасный выбор. Также может потребоваться убеждать должностных лиц, чтобы они не принимали решений, способных снизить надежность.

Вкладывайте средства в удаленный мониторинг и управление. Исследования Uptime Institute показывают, что из-за пандемии многие владельцы и руководители ЦОДов намерены вкладывать больше средств в мониторинг и автоматизацию. Обусловлено это тем, что для случаев, когда сотрудники работают вне офиса, может потребоваться организовать удаленное наблюдение за ЦОДом. Во время экстремальных погодных явлений персонал не всегда имеет возможность беспрепятственно посещать объекты или вынужден вести мониторинг нескольких объектов по всему региону. Таким образом, угроза экстремальных погодных явлений может служить еще одним обоснованием для инвестиций в указанные средства.