• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Корпорация ЮНИ: через тернии – к уникальному ЦОДу

Каждый проект ЦОДа по-своему уникален и требует, как правило, нетривиальных инженерных решений. Но встроить дата-центр с заданными характеристиками в имеющееся помещение, будучи при этом ограниченным по множеству параметров, – задача архисложная.

Глядя на эффектное здание «Комкора» на Варшавском шоссе в Москве, трудно поверить, что по проекту это был кинотеатр. 15 лет стройка простояла законсервированной, а потом «Комкор» на этой базе возвел свой офисный комплекс. А вот решение о строительстве ЦОДа было принято всего за год до сдачи здания в эксплуатацию. Осенью 2007 г., выиграв объявленный компанией конкурс, генеральным проектировщиком и генеральным подрядчиком по строительству инженерной инфраструктуры ЦОДа стала Корпорация ЮНИ. Строительство началось в мае 2008 г., а уже в июне 2009 г. «Комкор» объявил о запуске ЦОДа в коммерческую эксплуатацию.

Стройка с реконструкцией в одном флаконе

По словам директора производственного департамента Корпорации ЮНИ и главного инженера проекта Евгения Балакшина, для его компании это был один из самых крупных проектов дата-центров. Общая площадь работ составляла около 2000 м2, основное серверное помещение рассчитано на 140 серверных стоек мощностью от 5 до 15 кВт, суммарная подводимая мощность – 5 МВт, из них 3,5 МВт было выделено на технологическую инфраструктуру.

Как признаются сегодня специалисты ЮНИ, проект оказался очень и очень непростым. Они пришли на объект в момент, когда завершалось его строительство по старому проекту, который вообще не предусматривал размещения в здании ЦОДа. Строительство уже подходило к этапу отделочных работ, когда у здания появился второй генподрядчик, которому предстояло построить инженерную инфраструктуру ЦОДа. До утверждения плана здания в БТИ необходимо было успеть провести целый комплекс мероприятий и радикально изменить назначение помещений, предназначенных для ЦОДа, и при этом не сделать ничего такого, что помешало бы строителям сдать здание в эксплуатацию. В частности, по этой причине так и не была реализована прогрессивная идея рекуперации с использованием тепла, выделяемого оборудованием дата-центра, для нужд здания.

Подрядчики явно мешали друг другу, но заказчик (и здесь надо отдать должное «Комкору») пытался облегчить жизнь и тому и другому и старался, насколько возможно, оптимизировать процесс строительства. А это было непросто, поскольку реконструкция здания происходила одновременно с завершением его строительства.

О пользе ограничений

Более того, выяснилось, что около здания совсем нет места для установки чиллеров системы охлаждения ЦОДа (на улицу удалось вывести лишь малую часть системы охлаждения – конденсаторы с вентиляторами), поэтому пришлось разрабатывать по сути уникальное для таких больших мощностей решение с внутренними чиллерами, отдельной насосной станцией и специальными системами автоматизации и управления. В итоге получился отдельный холодильный центр. У такого решения есть свои неоспоримые преимущества: весь водяной контур находится внутри здания, а значит, он никогда не будет заморожен и, следовательно, нет необходимости применять дорогие и ядовитые хладоносители. К тому же в баках можно хранить десятки тонн воды и использовать ее для охлаждения оборудования ЦОДа при перебоях с электропитанием до включения резервных дизель-генераторов.

Климатическую систему ЦОДа решено было строить на базе оборудования компании Emerson Network Power/Liebert с использованием трехконтурной системы холодоснабжения фреон–вода–фреон. По специальному заказу были изготовлены три внутренних чиллера холодопроизводительностью 897 кВт каждый и два бака для захоложенной воды емкостью 15 тонн каждый, благодаря которым дата-центр может работать в автономном режиме до 15 минут (такое решение – пока единственное в России).

Выбор технических решений серьезно ограничивали и низкие потолки в помещениях. Высота фальшпола составляла всего 18 см при минимальной рекомендуемой норме 50 см. Там можно было разместить только гидроизоляцию, экранировку, две шины заземления, шину выравнивания потенциалов, разводку системы пожарной сигнализации, трубопроводы системы газового пожаротушения и собственно подводку электропитания к шкафам ЦОДа. Соответственно, для поддержания заданных климатических условий в серверном помещении были установлены прецизионные шкафные напольные кондиционеры, создающие холодный и горячий коридоры в рядах между стойками, а более равномерное распределение холодного воздуха должны были обеспечивать рядные доводчики холода Liebert XDH, размещенные через каждые 2–3 шкафа. Выбор таких доводчиков также предопределила высота потолков (и это, кстати, оказалось первым случаем их использования в России).

Прокладка трубопроводов (из 9 труб диаметром 150–200 мм) для системы холодоснабжения тоже не обошлась без определенных сложностей. Выстроенные в ряд, трубы образуют почти двухметровую «батарею», которую предстояло протянуть с первого до третьего этажа, пробив стояки в перекрытиях, и при этом не ослабить конструкцию здания (тем не менее хозяевам ЦОДа при установке тяжелого оборудования клиентов придется учитывать ограничения на нагрузку перекрытий). Из-за тех же низких полотков разводку по коридорам труб системы охлаждения пришлось делать по стенам с двух сторон (правда, при этом удалось реализовать достаточно красивое решение для резервной трубы).

Нельзя не отметить использованную в данном ЦОДе систему мониторинга, разработанную специалистами ЮНИ с использованием оборудования компании Siemens. С ее помощью можно контролировать 1862 параметра, в том числе проводить мониторинг распределения температуры в горячих и холодных коридорах и устранять перекосы. Сконструировать такую систему позволил богатый опыт компании по промышленной автоматизации металлургических заводов, прокатных станов, электростанций и т.п. Около двух тысяч датчиков имеет средний котел на электростанции, а для российского дата-центра это, наверное, рекордный показатель.

Экономия заказчика – проблемы исполнителя

На выбор технических решений в этом проекте в немалой степени повлияло и стремление заказчика сэкономить, а точнее – добиться оптимального соотношения цены и качества. Так, для системы электропитания было выбрано не самое дешевое оборудование уже упомянутой компании Emerson: электропитающие установки постоянного тока мощностью 163 кВт (самые крупные из установленных Emerson в России) и ИБП переменного тока. Но сопутствующее оборудование, в частности аккумуляторные батареи, было закуплено у других производителей, и это потребовало от системного интегратора разработки специального проекта для системы электропитания и его подчас длительного обоснования перед заказчиком.

При строительстве СКС стремление заказчика оптимизировать расходы также обернулось созданием чуть ли не уникального решения. Поставщиком оборудования для СКС была выбрана компания Panduit, и это оказалось самой крупной в России инсталляцией ее кабельной инфраструктуры в 2008 г. По словам Е. Балакшина, специалистам Корпорации ЮНИ так и не удалось убедить «Комкор» взять для СКС претерминированные оптические кабели (с уже готовыми окончаниями), поэтому две бригады монтажников два с половиной месяца в 2–3 смены занимались сваркой 18 тыс. оптических кабелей. Заказчик на этом сэкономил, поскольку оплата труда российских монтажников обошлась ему дешевле, чем изготовление претерминированных оптоволоконных кабелей на заводе Panduit, но проиграл во времени – сборка СКС из готовых кабелей занимает обычно не больше месяца. Что же касается Корпорации ЮНИ, то она от такого решения заказчика только выиграла, освоив деньги на сварке кабелей.

Надо сказать, что специальных решений для энергосбережения в данном проекте не разрабатывалось, но для этого ЦОДа были выбраны самые современные ИБП, построенные на базе IGBT-транзисторов, – у них достаточно высокий КПД и потери сведены к минимуму. Поскольку система охлаждения строилась на базе внутренних чиллеров, технологию фрикулинга нельзя было применить, но благодаря грамотному размещению конденсаторов перекачка фреона по трубам не требует работы насосов на полную мощность. Кроме того, система охлаждения сконструирована таким образом, что диапазон ее рабочих температур расширен до –40 °С, т.е. аппаратура может работать в менее нагруженном режиме. А частотные преобразователи, установленные на мощных агрегатах системы охлаждения, сглаживают переходные процессы при включении и плавно регулируют потребляемую мощность. Так что определенная экономия электроэнергии налицо.

Проект строительства данного ЦОДа был довольно крупным. Инвестиции в проект в общей сложности составили 260 млн руб. По оценкам подрядчика, «Комкор» – заказчик грамотный: он четко знает, что для него более важно, а что менее, за что он готов платить, а на чем предпочитает сэкономить. Кроме того, он активно участвует в выборе тех или иных технических решений и готов обсуждать их с подрядчиком. А профессионалам всегда интересны такие заказчики и такие проекты.