• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Инженерная инфраструктура ЦОДа: мода на зеленое

О том, как повысить энергоэффективность инфраструктуры дата-центров и каковы экономические последствия внедрения технологий энергосбережения, шла речь на 5-й Международной конференции «ЦОД-2010», организованной журналом «ИКС».

Для нормальной работы современных компьютеров необходима серьезная инженерная инфраструктура, которая вносит весомый вклад в и без того внушительное энергопотребление дата-центров. Развитые страны, где ЦОДы в их нынешнем понимании появились гораздо раньше, чем у нас, уже давно обеспокоены их энергопрожорливостью. В 2007 г. американское Агентство по защите окружающей среды (U.S. Environmental Protection Agency) представило Конгрессу США специальный доклад об эффективности серверов и дата-центров, где указывалось, что в 2006 г. на потребление американских ЦОДов пришлось 1,5% всей вырабатываемой в США электроэнергии, что составило 61 млн МВт•ч, а потрачено на это было $4,5 млрд. Причем почти 10% этой электроэнергии «съели» серверы и дата-центры государственных федеральных организаций, на что из карманов налогоплательщиков пошло около $450 млн. В том же докладе была отмечена тенденция удвоения энергопотребления ЦОДов каждые 5–6 лет и сделан прогноз на 2011 г.: если рост энергопотребления будет идти такими же темпами, то доля дата-центров в общенациональном потреблении электричества даже при использовании технологий виртуализации и повышения энергоэффективности серверов достигнет 2,9%, что составит 100 млн МВт•ч, или $7,4 млрд в год. Иначе говоря, при сохранении тех же пропорций энергопотребления частных и государственных ЦОДов затраты федерального бюджета США составят $7,4 млрд, а это деньги налогоплательщиков, к которым там относятся трепетно. Не менее трепетно относятся к своим деньгам и владельцы корпоративных и коммерческих дата-центров. Усилия «Гринписа» и партий «зеленых» тоже не проходят даром (в Европе их позиции очень сильны, да и цены на электричество там выше, чем в США), так что борьба за снижение энергопотребления и повышение энергоэффективности в развитых странах имеет уже не только экономическую подоплеку.

Первым делом надежность, но...

Всем известна разработанная Uptime Institute классификация дата-центров по уровням надежности Tier I, II, III и IV, которая определяет зависимость среднего времени простоя ИТ-оборудования ЦОДа от структуры инженерных систем и уровня их избыточности. При сертификации проектов дата-центров и готовых площадок Uptime Institute всегда ставил и ставит во главу угла их надежность. Надежность требует резервирования инженерных систем, а резервному оборудованию нужно электропитание, поэтому дата-центр уровня Tier III и IV не может иметь рекордно низкого PUE просто по определению.

Однако такая приверженность надежности не означает, что Uptime Institute не интересуют проблемы энергоэффективности дата-центров. Интересуют и даже очень: начиная с 2007 г. главными темами всех ежегодных симпозиумов Uptime Institute были энергосбережение, энергоэффективность и зеленые технологии. Кроме того, вот уже три года подряд Uptime Institute присуждает призы Green Enterprise IT (GEIT) Award дата-центрам, в которых реализованы инновационные идеи и технологии, позволившие достичь заметных результатов в деле экономии электроэнергии. Подать заявку может дата-центр любой страны, любой мощности, любого размера и уровня надежности, и для этого совсем не надо иметь сертификат Tier Standard: Topology от Uptime Institute. Кстати, обладателей таких сертификатов как раз и нет среди лауреатов премии GEIT. Основная цель этого конкурса – обмен опытом и распространение лучших практик использования технологий энергосбережения.

О некоторых лауреатах 2010 г. рассказал на конференции Алесдер Мелдрум, ведущий эксперт Uptime Institute. Среди них были и уже известные широкой публике проекты, и те, о которых мало кто знает. В числе первых стоит упомянуть дата-центр, расположенный под Успенским собором в Хельсинки. В системе его охлаждения с ноября по май используется морская вода, а в остальное время года – абсорбционные чиллеры. Но самой смелой идеей является использование тепла, выделяемого оборудованием ЦОДа, для отопления жилых домов. В результате всех этих мер затраты на охлаждение дата-центра сократились на 80%, его PUE оказался меньше 1(!), а энергопотребление всего города Хельсинки сократилось на 1%.

Еще один проект, ставший уже фактически притчей во языцех, это дата-центр Microsoft в Чикаго, представляющий собой ангар, в котором находятся контейнеры с серверами и собственными системами охлаждения. В ангаре площадью около 30 тыс. м2 можно установить до 56 контейнеров, каждый из которых может содержать до 2400 серверов. По заявлению Microsoft, текущие операционные расходы на содержание такого ЦОДа на 30% ниже, чем в дата-центре традиционной архитектуры с той же мощностью. Uptime Institute при присуждении приза GEIT оценил в этом проекте величину коэффициента PUE (для каждого контейнера он составляет всего 1,15) и такой метод улучшения энергоэффективности, как повышение температуры воды в чиллерах с 8 до 18°C.

Обладателем приза GEIT стал также известный дата-центр компании НР в Виньярде (Великобритания), в котором главной экономной технологией выступает фрикулинг. Местный климат позволяет 98% времени в году использовать для охлаждения только внешний воздух. В течение оставшихся 2% времени (чуть более недели в году) этот ЦОД работает от чиллеров. В режиме фрикулинга PUE составляет 1,16, а его среднегодовое значение – 1,2. Примечательно, что стоимость строительства этого ЦОДа составила около $15 тыс. на 1 кВт мощности ИТ-оборудования, что всего на 10% дороже, чем у обычного ЦОДа той же мощности. За первый же год эксплуатации экономия на электроэнергии достигла $4 млн, а в дальнейшем, после выхода на полную мощность, ожидается вдвое большая экономия – $8 млн в год; как результат, срок окупаемости объекта должен составить всего 2 года. Таким образом, этот проект полностью опровергает уже устоявшееся мнение, что технологии энергосбережения при всей своей прогрессивности и экономии на ОРЕХ настолько сильно увеличивают САРЕХ, что заметно удлиняют срок окупаемости объекта.

Дата-центр SwitchNAP компании Switch Communications, который расположен в Лас-Вегасе (шт. Невада, США), вышеупомянутой награды Uptime Institute не имеет, зато является исключением из правила несовместимости энергоэффективности и надежности. Как рассказал Алексей Солодовников, руководитель подразделения Schneider Electric Datacenter Solution Team (компания Schneider Electric была поставщиком части оборудования для инженерной инфраструктуры этого ЦОДа), дата-центр SwitchNAP является чемпионом мира по подведенной электрической мощности (250 МВт, при этом выходная мощность ИБП составляет 84 МВт) и по плотности этой мощности в расчете на квадратный метр. Охлаждение этого дата-центра обеспечивают четыре системы, которые могут включаться по отдельности и в любой комбинации в зависимости от ситуации за бортом: чиллеры, фреоновая система, система прямого забора внешнего воздуха и теплообменники. Система охлаждения полностью зарезервирована, но это не помешало создателям добиться среднегодового PUE, равного 1,21 (и это в условиях жаркого климата!). Свой вклад в это достижение внесли системы от АРС by Schneider Electric – ИБП с КПД, равным 97%, и устройства распределения питания с КПД 98,6%. Особо стоит отметить, что создателям удалось сэкономить не только на ОРЕХ, к которым относятся и счета за электричество, но и на CAРЕХ: на строительство было потрачено $350 млн, что при выходной мощности ИБП в 84 МВт дает порядка $4200 на 1 кВт (для сравнения: по статистике Uptime Institute, 1 кВт мощности дата-центра уровня Tier III или IV обходится при строительстве более чем в $20 тыс.). При этом SwitchNAP гарантирует своим заказчикам (и это указано в SLA, предусматривающем серьезные штрафные санкции) полностью безотказную работу. Иначе говоря, коэффициент готовности равен 100%(!), тогда как для дата-центра уровня Tier IV он составляет «всего» 99,995%. Для владельцев SwitchNAP это уже седьмой построенный ими дата-центр, так что можно предположить, что ими накоплен немалый опыт, который позволит выдержать заявленный уровень сервиса.

У нас экологическое сознание пока не овладело широкими массами. По словам Алексея Городецкого, старшего менеджера по развитию бизнеса компании Linxtelecom, имеющей целую сеть географически распределенных дата-центров, клиенты сейчас требуют проверенных решений, поэтому не стоит делать культа из PUE. Тем не менее в последнем дата-центре компании в Петербурге, который скоро должны запустить в тестовую эксплуатацию, использованы и изолированные горячие и холодные коридоры, и чиллеры с фрикулингом. Но дефицит электроэнергии в местах скопления дата-центров (т.е. в Москве) и постоянный рост тарифов на электричество заставляют думать об энергоэффективности и российских владельцев ЦОДов. Конечно, сейчас в России есть немалый спрос на услуги дешевых дата-центров в «базовой комплектации», но в них проблема минимизации энергопотребления решается за счет надежности. Однако на российском рынке уже есть решения, обеспечивающие заданный уровень надежности при ограничениях на электрические мощности и занимаемую площадь и при этом еще позволяющие сэкономить на эксплуатационных расходах.

Экономим с ИБП...

Тем, кто задумал строить серьезный дата-центр с подведенной мощностью более 1 МВт, стоит присмотреться к системам бесперебойного и гарантированного электроснабжения на базе дизельно-роторных ИБП (их еще называют динамическими ИБП). Как считает Рене Лацина, руководитель по международным продажам Hitec Power Protection, при мощностях выше 1 МВ•А динамические ИБП представляют собой самое экономичное и энергоэффективное решение для ЦОДов уровня Tier III и IV. Эта экономичность и энергоэффективность достигается в первую очередь за счет упрощения инфраструктуры дата-центра при использовании таких ИБП. В состав классической системы бесперебойного и гарантированного электропитания должны входить дизель-генераторная установка (ДГУ), электрические фильтры, ИБП, аккумуляторные батареи, система кондиционирования для ИБП, распределительные щиты и система компенсации реактивной мощности. В системе с динамическим ИБП бесперебойное, непрерывное и резервное электроснабжение обеспечивают только ДГУ и электромагнитный накопитель кинетической энергии, реализованные в одном устройстве. Аккумуляторных батарей – одного из серьезных антиэкологических факторов – в них нет. Р. Лацина также подчеркивает простоту конструкции динамического ИБП: «Все его основные элементы – синхронный генератор, ротор накопителя энергии и дизель – собраны на одной раме и соединены простой соосной механической связью. При такой конструкции нет необходимости в преобразовании энергии во внутренних силовых электрических соединениях и в коммутационной аппаратуре. Эта простота дает максимальную надежность, официальный срок службы такой системы составляет 25 лет». Кроме того, для размещения систем электропитания, построенных на базе динамических ИБП, требуется на 40–60% меньше площади, чем для систем со статическими ИБП.

Компания Hitec Power Protection выпускает динамические ИБП в диапазоне мощностей от 500 до 3000 кВ•А и напряжений от 0,4 до 20 кВ, их КПД составляет 97–98%. Такие устройства от Hitec уже используются в целом ряде крупных ЦОДов, в том числе в сертифицированных в Uptime Institute по категориям Tier III и Tier IV. Например, в Великобритании в дата-центре Fujitsu London North, имеющем сертификат Tier III, установлено семь машин мощностью 1670 кВ•А каждая, которые работают на напряжении 11 кВ при частоте 50 Гц. Средний PUE этого ЦОДа составляет 1,27. Есть динамические ИБП от Hitec и в двух дата-центрах, проекты которых сертифицированы на уровень Tier IV, в ОАЭ и в Голландии. По словам Р. Лацины, традиционные решения для систем электропитания этих дата-центров были бы конструктивно более сложными и более дорогими по исполнению.

Но хоронить традиционные системы бесперебойного электропитания конечно же рано. В конце концов даже сам производитель динамических ИБП заявляет об их преимуществах перед традиционными системами лишь при мощностях более 1 МВт. А в России подавляющее большинство составляют сейчас как раз ЦОДы меньшей мощности. Классические системы ИБП с аккумуляторными батареями пока вполне поддаются модернизации и совершенствованию с целью повышения энергоэффективности, снижения общей стоимости владения (ТСО) и текущих эксплуатационных расходов. Один из вариантов – использование модульных ИБП, о преимуществах которых на конференции рассказал Иван Мельников, менеджер по развитию бизнеса компании «ЭкоПрог», продвигающей на российский рынок ИБП производства Newave. Даже если брать во внимание только надежность работы системы ИБП (а именно это прежде всего требуется в дата-центре), преимущества модульных ИБП налицо: при равном времени наработки на отказ у одиночных и модульных ИБП время восстановления при выходе из строя у последних существенно меньше (на замену модуля уходит примерно 30 мин, а среднее время восстановления работоспособности одиночного ИБП составляет 6 ч), и за счет этого заметно возрастает уровень готовности всей системы бесперебойного электропитания. САРЕХ для модульных ИБП тоже должен быть ниже, так как они имеют вертикальную топологию и по идее занимают меньше места. Что касается энергоэффективности, то и здесь модульные ИБП выигрывают, поскольку имеют существенно более гибкие возможности масштабирования для настройки мощности в соответствии с имеющейся нагрузкой – со всеми вытекающими отсюда последствиями для КПД, который при недозагрузке ИБП, как правило, заметно снижается. Ну, а снижение КПД означает непроизводительный нагрев атмосферы. Таким образом, вывод напрашивается однозначный: модульные ИБП хороши со всех точек зрения, в том числе и из экологических соображений.

Справедливости ради стоит отметить, что производителям традиционных ИБП тоже не чужды идеи повышения энергоэффективности и снижения ТСО. Во-первых, они уменьшают размеры моноблочных ИБП, которые требуют теперь гораздо меньше места для обслуживания (примерно на 50%). Во-вторых, на рынке уже есть ИБП, КПД которых почти не деградирует при изменении нагрузки в довольно широких пределах. В качестве примера Василий Лапшин, руководитель направления дистрибуции GE DE компании «Абитех», приводит онлайновые ИБП серии SG от General Electric, КПД которых не опускается ниже 94% при нагрузке, варьирующейся в диапазоне от 40 до 80% от максимальной (в ИБП предыдущего поколения КПД не превышал 92%). Кроме того, в системах с параллельным подключением нескольких ИБП применяется технология энергосбережения IEMi, которая при падении нагрузки ниже заданного уровня отключает избыточные ИБП, тем самым повышая нагрузку и соответственно КПД работы оставшихся. Использование на входе ИБП IGBT-выпрямителей тоже снижает энергопотребление. Они вносят существенно меньшие по сравнению с тиристорными выпрямителями гармонические искажения напряжения, а это означает, что нет необходимости сильно завышать мощность ДГУ и непроизводительно тратить электроэнергию и деньги. И еще одна отличительная особенность современных ИБП – возможность эффективной работы и с индуктивной, и с емкостной нагрузкой (а серверы как раз являются емкостной нагрузкой), что также сокращает потери электроэнергии.

... и с системами охлаждения

Сокращение потерь электроэнергии в системах электропитания ЦОДа – это, конечно, важное дело, но на них обычно приходится не более 10% общего энергопотребления современного дата-центра, поэтому гораздо большего эффекта следует ожидать от снижения энергопотребления системы охлаждения, которая в среднем «съедает» около 30% электроэнергии, потребляемой ЦОДом.

Сократить потери можно, например, используя в системах охлаждения предлагаемые компанией Cofely Refrigeration чиллеры Quantum с повышенной энергоэффективностью. Эти чиллеры (с водяным или воздушным охлаждением) продвигает на российский рынок компания «Термокул». Чиллеры Quantum с водяным охлаждением выпускаются в диапазонах мощностей от 250 кВт до 3 МВт и от 2 до 5 МВт, мощность чиллеров с воздушным охлаждением охватывает диапазон от 200 кВт до 1,4 МВт. Сниженное энергопотребление чиллеров Quantum достигается за счет использования центробежных компрессоров Turboсor с магнитными подвесами. Благодаря такой подвеске между движущимися частями компрессора практически нет трения, а, следовательно, и потерь мощности. Эта конструкция позволяет отказаться и от смазки, что добавляет системе экологичности. Еще одним крупным достоинством чиллеров Quantum управляющий директор европейского филиала по строительству заводов компании Cofely Refrigeration Юрген Ферле считает их чрезвычайно высокую эффективность при частичной нагрузке (а именно в таких режимах чаще всего приходится работать холодильным машинам). Кроме того, при запуске чиллера в электрической сети не возникает броска тока, что тоже вносит свой вклад в экономию электроэнергии.

Заметного сокращения энергопотребления системы охлаждения дата-центра (вплоть до 50%) можно добиться, используя технологию фрикулинга. Самая распространенная на сегодня реализация этой технологии в мире – чиллеры с системой динамического фрикулинга и турбокомпрессорами. Такие системы охлаждения есть и в российских дата-центрах. При внешней температуре ниже +15°C они работают в режиме фрикулинга, используя холод уличного воздуха или другого природного источника холода, а выше этой температуры включаются чиллеры. Если учесть, что, по статистике, 82% времени в году в средней полосе России температура не поднимается выше +15°C, то экономия электроэнергии может оказаться весьма внушительной, достигая 45% по сравнению с обычными фреоновым DX-системами охлаждения. Но и это не предел. В мире уже разработан целый ряд технологий, позволяющих расширить температурный диапазон применения фрикулинга и таким образом добиться еще большей энергоэффективности систем охлаждения. Например, в упомянутом выше дата-центре SwitchNAP в Лас-Вегасе системы полного фрикулинга работают при температуре за бортом до +24°C, благодаря чему энергопотребление системы охлаждения оказывается на 70% ниже, чем с DX-системами.

Система FFC (Full Freecooling), разработанная российской компанией Ayaks Engineering, работает в режиме фрикулинга до температуры +23°C. Для охлаждения в ней используется внешний приточный воздух и вращающийся регенеративный теплообменник. Максимальная экономия по сравнению с DX-системой составляет 65%. Заместитель коммерческого директора Ayaks Engineering Денис Беляев представил расчеты общей стоимости владения систем охлаждения трех разных типов (DX-система, чиллерная система с динамическим фрикулингом и система FFC) для виртуального дата-центра, в котором общая мощность ИТ-нагрузки составляет 2 МВт. Предполагалось, что во всех трех случаях используется далеко не самое дешевое оборудование: в DX-системе – блоки Emerson L99 (HCE 74), собранные по схеме N+1, в чиллерной системе – чиллеры Emerson SBS063 R407C с внутренними блоками Emerson L10 и резервированием по схеме N+1, в системе FFC (N блоков по 500 кВт) – чиллеры Emerson SBS059. Оказалось, что капитальные затраты на все эти системы отличаются не так уж сильно: система FCC на 6% дороже чиллерной системы с фрикулингом и на 26% дороже DX-системы. Операционные расходы подсчитывались, исходя из цены 1 кВт•ч электроэнергии в 2,9 руб. Здесь самой экономичной оказалась система FCC, эксплуатация чиллерной системы с фрикулингом обошлась на 45% дороже, а ОРЕХ DX-системы – на 64% выше, чем у FCC (только на оплате электроэнергии, по расчетам, экономится более 12 млн руб. в год). Подсчет общей стоимости владения показал, что экономическая выгода установки системы FCC по сравнению с DX-системой становится очевидной уже через 1,2 года (выравнивание с чиллерной системой с фрикулингом достигается через 8 месяцев), а через 5 лет экономия составляет уже 60 млн руб. (разница с чиллерной системой – около 36,6 млн руб.). Таким образом, начальные вложения в «зеленые» системы фрикулинга оказываются ненамного выше, чем в традиционные системы охлаждения, но их эксплуатация обходится существенно дешевле, что позволяет получить немалый выигрыш в общей стоимости владения.

«Зеленая» защита

«Зеленые» технологии продвигаются в дата-центры и на других фронтах. Дошли они и до систем пожаротушения. В большинстве российских ЦОДов, где есть хоть какие-то системы пожаротушения, стоят баллоны с хладоном, а над дверями можно увидеть грозные табло «газ, выходи!», которые вместе с сиреной должны предупредить персонал об опасности, если система пожаротушения зафиксирует возгорание. Хладон – очень вредное вещество, наверное, даже более опасное для человека, чем сам пожар. Поэтому разработка компанией 3М нового тушащего вещества Novec 1230, безопасного и для человека, и для компьютерного оборудования, и для окружающей среды, было встречено с большим энтузиазмом. При использовании Novec 1230 не выделяется никаких токсичных веществ, а атмосфера в помещении остается пригодной для дыхания. Вот только высокая цена системы пожаротушения с Novec 1230, появившейся на российском рынке около 3 лет назад, довольно долго отпугивала многих потенциальных покупателей. И вот наконец у этой безвредной бесцветной диэлектрической жидкости появились перспективы распространения не только в системах пожаротушения «крутых» банков. По словам Натальи Хазовой, генерального директора компании «Пожтехника», в которой появилась первая в России заправочная станция для систем с 3М Novec 1230, выбор нового экологичного тушащего вещества уже оправдан не только из соображений безопасности, но и с экономической точки зрения. Начальные затраты, конечно, пока заметно выше, чем для систем с хладоном, но затраты на обслуживание оказываются существенно меньше. Кроме того, перезаправку Novec 1230 можно проводить непосредственно на объекте, что с хладоном просто исключено. Стимулировать внедрение новых систем пожаротушения должен и тот факт, что трубопровод хладоновой системы пожаротушения несложно адаптировать для использования жидкости Novec 1230.

В общем, от пожара внутри защита есть. Правда, как предупреждает генеральный директор ООО «Эксол» Станислав Заржецкий, в 80% случаев пожары возникают не в серверных залах, а в прилегающих помещениях, в связи с чем очень актуальной представляется внешняя защита дата-центра. Причем защита нужна не только от огня, но и от проникновения воды, коррозийных газов, электромагнитного излучения, пыли, падающих обломков и т.п. Самая известная торговая марка на рынке средств физической защиты для ЦОДов – это Lampertz, но на нем есть и другие достойные бренды. Например, в категории средств средней степени защиты по своим параметрам лидирует система ProRZ F90+, а Lampertz занимает второе место. А вот в категории средств максимальной защиты первое место занимает Lampertz/Rittal – LSR 18.6E. Во всяком случае, это единственное по-настоящему модульное решение, которое можно построить без отключения компьютерного и сетевого оборудования.

В очень многих странах мира есть законодательные нормы, ограничивающие энергопотребление и стимулирующие внедрение технологий энергосбережения. На первый взгляд, они должны усложнять жизнь владельцев дата-центров. Но стоит признать, что развитие «зеленых» технологий уже дошло до той стадии, когда цена их внедрения не кажется чрезмерной, а их использование порой заметно снижает затраты на эксплуатацию и общую стоимость владения ЦОДом. Из моды на «зеленое» начинают вырастать успешные бизнес-кейсы. Это уже не «от кутюр», а гораздо более практичное «прет-а-порте».  икс