Построение системы энергоснабжения крупных ЦОДов на базе газовой генерации

Для классификации и оценки надежности ЦОДов и доступности предоставляемых на их базе сервисов в мире широко используется система стандартов, разработанная Uptime Institute. На основе конкретных требований к архитектуре и инфраструктуре ЦОДа стандарты Tier определяют уровни надежности, оценивая возможности дата-центров с точки зрения времени безотказной работы. Соответственно этому выдвигаются требования к источникам энергоснабжения (табл. 1).

 

Основное и принципиальное различие между Tier III и Tier IV в том, что топология построения инженерной инфраструктуры Tier III позволяет проводить плановое обслуживание систем и любых компонентов без прерывания работы ЦОДа, а уровень надежности Tier IV подразумевает работоспособность ЦОДа при любом единичном отказе в любой точке инженерной инфраструктуры или проведении любых мероприятий по обслуживанию систем. 

В соответствии с Правилами устройства электроустановок (ПУЭ), утвержденными Приказом Минэнерго России от 08.07.2002 № 204, приемники электрической энергии по надежности энергоснабжения разделяются на несколько категорий. Категория определяется в первую очередь рисками, которые могут возникнуть при перерыве энергоснабжения. Согласно п. 1.2.18 ПУЭ, к электроприемникам первой категории относятся электроприемники, перерыв энергоснабжения которых может повлечь за собой опасность для жизни людей, угрозу для безопасности государства, значительный материальный ущерб, расстройство сложного технологического процесса, нарушение функционирования особо важных элементов коммунального хозяйства, объектов связи и телевидения. Из состава электроприемников первой категории выделяется особая группа электроприемников, бесперебойная работа которых необходима для безаварийного останова производства с целью предотвращения угрозы жизни людей, взрывов и пожаров.

В ЦОДе зачастую даже кратковременное отключение электропитания приводит к простою сервисов клиентов, потере данных критически важных приложений, значительным финансовым потерям и серьезным репутационным рискам. Исходя из этого может сложиться мнение, что ЦОДы уровня Tier III соответствуют первой категории, а ЦОДы уровня Tier IV – первой особой категории. Однако это не так.

Согласно Uptime Institute Tier Standard: Topology (п. 2.5), перебои в электрической сети (внешней) считаются не аварийной ситуацией, а ожидаемым рабочим условием, к которому площадка полностью подготовлена. Дело в том, что комплекс стандартов Uptime Institute описывает архитектуру всей системы энергоснабжения ЦОДа, в то время как в ПУЭ рассматривается только точка подключения к электрической сети.

Из стандартов Uptime Institute следует, что ЦОД Tier III и Tier IV – это отдельный энергопотребитель, обязанный иметь собственный источник генерации электрической энергии, который не зависит от внешних условий и среды и к которому как к части инженерной инфраструктуры предъявляются такие же требования по уровню надежности (ЦОДы Tier I и II также должны иметь собственные источники генерации, однако требования к уровню их резервирования ниже. – Прим. ред.). При этом подключение к внешнему источнику энергоснабжения рассматривается скорее как альтернатива, обеспечивающая экономию ресурсов при работе площадки в нормальном режиме по сравнению с питанием ее от собственных источников. Таким образом, по требованиям к надежности энергоснабжения ЦОДы уровней Tier III и IV существенно отличаются от обычных потребителей. Эта разница обусловлена критичностью бесперебойной работы объекта.

В ЦОДах в качестве основного и гарантированного источника, как правило, рассматриваются двигатель-генераторы (система гарантированного энергоснабжения, СГЭ) в связке с источниками бесперебойного питания, которые должны или быть непрерывно в работе, или автоматически запускаться и принимать нагрузку при прекращении энергоснабжения от внешних электросетей. Помимо этого, все критическое оборудование, не запитанное от ИБП, должно автоматически запускаться после восстановления электропитания. Согласно требованиям Uptime Institute, СГЭ должна быть в состоянии работать без перебоев и иметь достаточный запас топлива на поддержание своей деятельности в течение 12 ч.

Обычно организация основного энергоснабжения небольших корпоративных дата-центров не вызывает особых трудностей. Однако с развитием цифровой экономики, ростом числа электронных сервисов, увеличением объема хранимых и обрабатываемых данных, а также с расширением спектра электронных услуг энергопотребление дата-центров также растет. В результате мощность крупных, гипермасштабных ЦОДов может достигать нескольких сотен мегаватт. Использование дизель-генераторных установок (ДГУ) в таких проектах может оказаться не самым эффективным решением. Это обусловлено необходимостью их частого обслуживания, потребностью в площадях для размещения большого количества установок, сложностями создания инфраструктуры и организации непрерывного пополнения запасов топлива (нужно обеспечить нахождение и разгрузку на площадке одновременно нескольких десятков автоцистерн). 

Сравнение технологий производства электроэнергии показывает, что в качестве основной технологии для таких потребителей, как крупные ЦОДы, наиболее приемлема газовая генерация, представленная газотурбинными установками (ГТУ) или газопоршневыми агрегатами (ГПА). В пользу этого выбора говорит ряд преимуществ газовой генерации, среди которых – высокая надежность энергоснабжения, возможности следования за нагрузкой и относительно быстрый запуск по сравнению с другими источниками (табл. 2).  

Кроме того, ГТУ имеют более низкую удельную дисконтированную стоимость производства электроэнергии (levelized cost of energy, LCOE), чем, скажем, дизельные электростанции (ДЭС). Например, для крупного потребителя (90 МВт) LCOE составляет 14,52 руб./кВт•ч в случае ДЭС против 4,18 руб./кВт•ч при использовании газотурбинных установок (рис. 1).

 

Подход к созданию системы энергоснабжения ЦОДа на базе газовой генерации должен быть комплексным и обеспечивать надежность, эффективность, масштабируемость и экологичность проекта. 

При выборе количества генерирующих агрегатов и их параметров нужно учитывать целый ряд факторов (рис. 2):

1. Тип связи с энергосистемой. Возможны островной (при отсутствии внешней сети) и смешанный (при резервировании от сети) варианты энергоснабжения. Исключительно сетевой вариант для энергоснабжения ЦОДа, сертифицируемого в соответствии с Tier III и IV, не может рассматриваться исходя из требований п. 2.5 стандарта к обязательному наличию собственной генерации.

2. Вид охлаждения оборудования ЦОДа – например, система «чиллер – фанкойл» на основе парокомпрессионного цикла, адиабатическая установка или абсорбционная холодильная машина (АБХМ), – который определяет характер и графики электрических и тепловых нагрузок, а также возможность применения ко- и тригенерации.

3. Требования к резерву мощности, а именно:

4. Категория надежности энергоснабжения технологического объекта (ЦОДа).

5. Плановый рост нагрузки, в том числе ИТ-нагрузки и затрат мощности на охлаждение в зависимости от выбранной технологии. Несмотря на то что нагрузка основного вычислительного оборудования практически постоянна, суммарная нагрузка с учетом технологии охлаждения может быть резко переменной, что усугубляет накладываемые на энергоцентр требования по маневренности и необходимости слежения за нагрузкой.

6. Резервирование генерирующего оборудования по схеме N + 2, где N – количество источников электроэнергии, включенных в нормальном режиме работы. Один блок добавляется для учета ремонтной схемы и один блок – для аварийного отключения агрегата.

7. Потребление мощности на собственные нужды станции. Для парогазовых и газотурбинных установок таковое, согласно Методическим указаниям по проектированию развития энергосистем (утвержденным Приказом Минэнерго России от 06.12.2022 № 1286), составляет 5%.

При разработке решений энергоснабжения необходимо планировать длительную работу агрегатов и не допускать их функционирования с мощностью меньше технологического минимума, так как в этом диапазоне мощностей агрегаты работают не­устойчиво и их КПД резко снижается. При наборе мощности нагрузки до допустимой величины возможно использование дополнительных нагрузочных модулей.

Для островного варианта энергоснабжения загрузка энергоагрегатов должна выбираться в соответствии с необходимостью поддержания вращающегося резерва при выходе из строя одного генератора.

В частных случаях, где остро стоят вопросы автономного энергоснабжения или обеспечения гарантированного энергоснабжения за счет собственной генерации, необходимо учитывать снижение вырабатываемой электрической мощности и рост объема потребления газа ГТУ при повышении температуры воздуха на всасывании. ГТУ работают с постоянным расходом воздуха, при повышении температуры плотность воздуха уменьшается и, следовательно, снижается мощность ГТУ. 

Таким образом, количество необходимых агрегатов NГТУ с учетом критических факторов можно определить с помощью неравенств (1).

 

где

Так, для ЦОДа уровня Tier III с планируемой потребляемой мощностью 90 МВт потребуется 11 блоков ГТУ мощностью 12 МВт; суммарная установленная мощность составит 132 МВт.

Опыт реализации проектов строительства дата-центров различной мощности и расположения позволил авторам сформулировать унифицированные подходы к разработке вариантов энергоснабжения этих объектов и выбору состава генерирующего оборудования (рис. 3), обеспечивающие соответствие международным стандартам надежности.

 

Подбор площадки для строительства ЦОДа обычно происходит в два этапа:

Критерии выбора площадки для размещения ЦОДа:

Ранжирование потенциальных площадок проводится по формуле (2) в соответствии с присвоенными весовыми коэффициентами.

 

где

 

***

Разработанный авторами алгоритм выбора состава генерирующего оборудования, учитывающий такие факторы, как уровень надежности, связь с внешней сетью, вид охлаждения, требования к резерву мощности, может применяться при проектировании схем энергоснабжения ЦОДа любой мощности.

При рассмотрении вопросов экономической эффективности следует учитывать положения местных нормативных правовых актов, касающиеся условий нераспространения требования реализовывать всю генерируемую на таком объекте (или его части) электрическую энергию (мощность) на оптовом рынке (для России – п. 5 ст. 36 закона «Об электроэнергетике» от 26.03.2003 № 35-ФЗ).

При размещении ЦОДа в регионах с более холодным климатом совокупного эффекта можно достичь за счет экономии топлива в случае выбора системы охлаждения с использованием фрикулинга и благодаря меньшему снижению мощности ГТУ в летний период. 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!