Rambler's Top100
Статьи ИКС № 1 2018
Николай НОСОВ  17 апреля 2018

Как важно быть «зеленым»

Запущенный в эксплуатацию в конце 2017 г. ЦОД Сбербанка России в «Сколково» стал победителем в номинации «Проект года» профессиональной премии Russian Data Center Awards. Динамические ИБП, прямой фрикулинг и сертификат LEED делают этот объект одним из самых «зеленых» в стране.

В декабре 2017 г. в инновационном центре «Сколково» состоялась церемония запуска нового мегаЦОДа Сбербанка, в которой приняли участие глава компании Герман Греф, вице-премь­ер Аркадий Дворкович, министр связи и массовых коммуникаций РФ Николай Никифоров и президент «Сколково» Виктор Вексельберг. Герман Греф нажал на установленном в ситуационном центре мегаЦОДа экране кнопку «Старт», заработал канал связи с дата-центром Сбербанка «Южный порт» и на панелях центра появились оперативные данные о работе информационных систем крупнейшего банка страны.

Запуск нового дата-центра значительно повышает надежность работы банка, обеспечивая «горячее» резервирование ИТ-систем на уровне ЦОДов, что важно в свете проведенной в Сбербанке централизации вычислительных систем. Резервирование ЦОДов позволит ему отказаться от арендуемых в настоящее время резервных площадок.

Конструкция ЦОДа

Здание мегаЦОДа «Сколково» состоит из четырех однотипных блоков (модулей). Ведется строительство пятого блока, и есть возможность дальнейшего пристраивания блоков к основному зданию.

    Здание мега­ЦОДа «Сколково» состоит из четырех однотипных блоков, продолжается строительство пятого блока

В каждом блоке три этажа. Первый – энергетический. На нем расположены системы обеспечения электропитанием (энергетические системы построены по схеме 2N), дизельные динамические источники бесперебойного питания (ДИБП), логистические зоны и станции газового пожаротушения.

        Макет типового модуля мегаЦОДа: 

на первом этаже размещается энергетическое
оборудование, 

на втором – серверные залы, 

на третьем – системы вентиляции и охлаждения 
 

Заметим, что если в первом мегаЦОДе Сбербанка («Южный порт») были установлены статические ИБП, то для нового объекта были выбраны динамические системы. Такие технические решения все чаще применяют на мегаваттных объектах. Они более компактны по сравнению с классическими системами гарантированного и бесперебойного питания (ГБП), в которые, помимо статических ИБП, входят батареи аккумуляторов и внешние дизель-генераторные установки. ДИБП, по сути, представляет собой решение ГБП «все в одном»: для питания нагрузки в случае кратковременных отключений (как правило, до 10 с) служит раскрученный маховик, а для ее долговременной поддержки запускается установленный на одном валу с маховиком дизель-генератор.

В каждом блоке установлено шесть ДИБП – по три на основной и резервный каналы подвода электроэнергии. Мощность каждого ДИБП – 1800 кВт, суммарная мощность ДИБП в модуле – 11,28 МВт. Расходные баки ДИБП позволяют установкам проработать 2 ч, подземные топливные емкости обеспечивают полную автономность работы ЦОДа, суммарный объем запаса дизельного топлива на объекте – 200 т.

Для борьбы с возгораниями используется безвредное для здоровья людей огнетушащее вещество Novec 1230 («сухая вода»), которое является диэлектриком и не наносит вреда оборудованию. Системой автоматического газового пожаротушения оснащены все помещения с критической инфраструктурой: машинные залы, помещения распределительных устройств 20 кВ, электрощитовые и серверные помещения систем диспетчеризации.

На втором этаже находятся машинные залы. В каждом блоке их четыре. Всего в 20 машинных залах планируется разместить 2 тыс. стоек, средняя расчетная нагрузка на стойку – 8 кВт. Все ИТ-оборудование имеет по два блока питания, каждый из которых подключен к своему лучу энергоснабжения (схема 2N). Вход в залы строго ограничен, на входе стоит кабина идентификации человека по лицу. Сейчас в ЦОДе работает только один машинный зал.

                 Система автоматического газового пожаротушения
 

На третьем этаже размещаются системы охлаждения, использующие инновационные решения, которые руководитель проектов по строительству ЦОДов Сбербанка Сергей Шуршалин  охарактеризовал как «фрикулинг с головой». В данном случае опять интересно сравнение схем охлаждения, выбранных для мегаЦОДов «Южный порт» и «Сколково». В первом дата-центре применена схема непрямого охлаждения внешним воздухом: наружный воздух поступает в теплообменники, где охлаждает воздух, циркулирующий во внутреннем контуре, который уже подается непосредственно к ИТ-оборудованию. Во втором ЦОДе реализована более энергоэффективная схема прямого фрикулинга.

В системе прямого фрикулинга наружный воздух, пройдя через систему фильтров, поступает в машинный зал. Для обеспечения требуемого уровня влажности задействуется система адиабатического увлажнения. Зимой к холодному наружному воздуху подмешивается теплый, подающийся из машинных залов. В жаркие летние дни для доохлаждения наружного воздуха в работу включается чиллерная система. К ИТ-обо­рудованию охлаждающий воздух с температурой 22°С поступает под фальшполом высотой 2 м. В машзалах используется схема разделения воздушных потоков с изоляцией горячих коридоров (температура отводимого от ИТ-обору­дования воздуха – 37°С), через которые отработанный воздух выводится за пределы залов.

     В установленных в мегаЦОДе динамических ДИБП на одной оси                           совмещены маховик и дизель-генератор
 

Для управления работой системы охлаждения специально создано программное обеспечение, по выражению С. Шуршалина – «практически искусственный интеллект», позволяющее анализировать метеосводку и заранее запасать холод при прогнозе резкого повышения температуры. Такой подход положительно скажется на энергоэффективности функционирования ЦОДа, расчетный коэффициент PUE которого составляет 1,3 (1,1 зимой и в пределах 1,4 летом).

Проект мегаЦОДа «Сколково» сертифицирован на соответствие стандартам Tier III Uptime Insti­tute, причем, как считает С. Шуршалин, системы энергетики соответствуют требованиям Tier IV. Впоследствии будет проведена сертификация мегаЦОДа на соответствие стандартам Tier III по операционной устойчивости, как это уже сделано в дата-центре «Южный порт». Кроме того, мегаЦОД «Сколково» прошел экспертизу Руководства по энергоэффективному и экологическому проектированию (LEED-экспер­ти­зу) в США. Ему был присужден 51 балл, по завершении строительства здание получит сертификат соответствия экологическим стандартам LEED Silver.

Мощность нового ЦОДа Сбербанка составит 30 МВт. Хранилища ЦОДа будут способны вместить до 1 эксабайта информации, что покроет потребности банка в хранении данных на 10 лет при сохранении текущих взрывных темпов роста их объема.

        Вентиляционные установки системы прямого фрикулинга
 

События и деньги

История постройки дата-центра началась еще в 2011 г., когда фонд «Сколково» зарезервировал на территории иннограда около 12 га земли под ЦОД и банковский технопарк. В 2014 г. был подписан договор аренды земельного участка с инвестиционными условиями. После того, как президенты Сбербанка и фонда «Сколково» согласовали основные параметры проекта, был разработан комплект проектной документации и выдано разрешение на строительство.

Генеральным подрядчиком строительства да­та-центра выступила входящая в группу Ланит компания «Инсистемс», с которой был заключен базовый контракт на 12,2 млрд руб. Сначала планировалось возведение четырех блоков (очередей) дата-центра, по четыре машинных зала в каждом. Впоследствии сумма контракта была увеличена в связи с решением о создании пятого блока.

В итоге расходы на строительство и инженерные системы, по словам Г. Грефа, составили примерно 14 млрд руб. Ожидаемый срок окупаемости ЦОДа – два года. «Мы закончили строительство четырех очередей. Сейчас строится пятая очередь, и нужно принять решение о строительстве шестой, – сказал глава крупнейшего российского банка и добавил: – Пока нам достаточно четырех очередей, пятую очередь мы рассматриваем как потребность нашей экосистемы, а шестая – это перспектива».

                                                             Центр управления мегаЦОДом «Сколково»
 

Выделяемое в машинных залах тепло используется для отопления. По оценкам Сбербанка, в перспективе это позволит уменьшить расходы на обогрев здания примерно на 5 млн руб. в год. Кроме того, согласно предварительным расчетам, система поможет в будущем экономить до 100 млн руб. в год на электроэнергии по сравнению со стандартной системой с прецизионными кондиционерами.

«Мы постарались применить все самые современные технологии, которые были доступны. Также перед нами ставилась задача максимально использовать российские разработки», – заявил Г. Греф.

По словам С. Шуршалина, в ЦОДе работают отечественные системы хранения данных «Баум». «То, что можно было использовать российское, все использовали. Некоторые системы были специально созданы для этого ЦОДа – экологичные системы энергетического обеспечения, охлаждения, отопления», – пояснил А. Дворкович.

Представители Сбербанка утверждают, что ЦОД «Сколково» станет самым большим и самым инновационным центром обработки данных в России и одним из крупнейших дата-центров подобного класса в Европе.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!