Rambler's Top100
Статьи ИКС № 11 2010
Александра КРЫЛОВА  09 ноября 2010

ЦОД на вырост. От проектирования до эксплуатации

Если три года назад при проектировании ЦОДа считалось, что мощности 5-7 кВт на стойку будет достаточно, то сегодня не редкость проекты, в которых этот показатель закладывается на уровне 40 кВт. Ответ на вопрос: «Как ускоренная эволюция ЦОДов меняет подходы к их проектированию и эксплуатации?» – искали участники 5-й Международной конференции «ЦОД-2010», организованной журналом «ИКС».

Как опередить будущее?

 

Проектировать ЦОД сегодня нужно так, чтобы он оставался эффективным и завтра. Многие цодостроители в 2010 г. отмечают тренд: крупный ЦОД из отдельно стоящего здания превращается в целый комплекс зданий, в который входят инженерный корпус, энергетический корпус на 20–25 МВт мощности, корпус с вычислительными мощностями.

 

«Мы рекомендуем каждому заказчику еще на этапе составления технического задания оценить долговременные перспективы роста бизнеса, – говорит А. Абрамов, технический директор ADM Partnership. – Ведь впоследствии перестройка ЦОДа обойдется гораздо дороже, нежели изначально заложенное в проект масштабирование». Но проектирование ЦОДов с учетом будущих потребностей, объясняет он, сегодня приходится вести в условиях отсутствия современных российских стандартов и норм. Действующая и ныне «Инструкция по проектированию зданий и помещений для электронно-вычислительных машин» утверждена постановлением Госкомитета СССР по делам строительства еще в 1978 г. Другие СНиПы и ГОСТы, в том числе касающиеся климатологии и уровня шума, ненамного моложе. И если построить ЦОД, руководствуясь только этими нормативными документами, работать он не будет.

 

Систематизировать подходы к проектированию ЦОДов позволяют разработанные в Uptime Institute и в Telecommunications Industry Association (TIA) стандарты и нормы, однако они не всегда учитывают российскую специфику и не согласуются с рядом правил, установленных в нашей стране. Поэтому ориентироваться исключительно на них при разработке проекта не представляется возможным. Между тем, констатирует А. Абрамов, практически к каждому техническому заданию на разработку проекта ЦОДа прилагается перечень нормативных документов, которым он должен соответствовать.

 

Выход, который нашли в ADM Partnership, прост: начинать работу с эскизного проектирования. На этом этапе должен быть создан документ, где будут обоснованы и зафиксированы все «поправки» к российским нормам (в том числе учитывающие изменение климата в последние десятилетия), которые требуются, чтобы ЦОД заработал, опережая будущее.

 

Еще одна стадия, необходимая для создания «ЦОДа на вырост», – проектная оценка и экспертиза. Участие в процессе консультантов, которые смогут сопоставить альтернативные варианты от разных поставщиков технологий и оборудования, позволяет найти оптимальное решение. «Мы считаем, что только так можно избежать многих ошибок, возникающих, когда все проектные работы выполняются силами одной компании, без достаточной глубины оценки», – объясняет технический директор компании ADM Partnership, специалисты которой, к слову, все чаще и чаще выступают в роли таких консультантов.

 

Трехэтапное проектирование

 

Именно с эскизного проектирования в 2008 г. начала работу над проектом резервного центра информационно-телекоммуникационной системы (ИТС) Банка России компания «Информсвязь». Назначение резервного центра – обеспечить катастрофоустойчивую конфигурацию платежной и информационной системы, резервирование критически важных массивов информации и непрерывное функционирование ИТС банка.

 

Как отмечает Д. Аверьянов, главный научный сотрудник компании «Информсвязь», в ходе работы над эскизным проектом был проведен системный анализ ИТС Банка России в целом и используемых в ней механизмов резервирования в частности. Оценка достаточности и надежности всех элементов существующей структуры ИТС позволила выявить ее узкие места.

 

Затем были рассчитаны необходимая кратность резервирования и схем включения резервных элементов, выделены и упрощены основные функции резервных элементов и наконец, спроектированы новые элементы, обеспечивающие необходимый уровень отказоустойчивости резервного центра.

 

Следующий этап – разработка структуры резервного центра – пришелся на 2010 г. Он предполагал компоновку и размещение элементов платежной, информационной и телекоммуникационной подсистем. Кроме того, была спроектирована система управления резервным центром (ситуационный центр, диспетчерский пункт, резервный пункт и пункт управления). Одновременно велось проектирование инфраструктуры резервного центра, включая инженерные системы, систему диспетчеризации, ЛВС, объектовые средства связи.

 

Ожидается, что по завершении третьего этапа – интеграции нового объекта в общую структуру Банка России – пропускная способность, надежность и живучесть его ИТС существенно повысится. При выходе из строя узлов системы, находящихся в московском регионе, резервный центр способен будет обеспечить обработку и хранение платежной информации, поступающей из территориальных управлений банка, даже в условиях пиковой нагрузки. Предусмотренные в составе резервного центра ИТС Банка России средства «холодного резерва» позволят справляться с нештатными ситуациями как регионального, так и глобального масштаба.

 

ИБП с возможностью роста

 

Выбирая поставщика оборудования бесперебойного питания для ЦОДа, который проектируется с расчетом на перспективу, заказчики все чаще обращают внимание на возможность масштабирования таких систем. И это неудивительно – в силу роста спроса на услуги ЦОДов дата-центры, которые сегодня считаются малыми, завтра могут столкнуться с необходимостью увеличить свой размер до среднего.

 

Можно добиться, чтобы ЦОД рос вместе с бизнесом, сделав ставку на системы бесперебойного электропитания модульной конструкции. Такое оборудование выпускает, например, компания Socomec UPS, известная своими линейками ИБП Modu-lys, Netys RT, Masterys EB, Delphys MX. Малым дата-центрам (мощностью от 20 до 50 кВ•А, до 10 стоек с ИТ- и телеком-оборудованием) решения Socomec предоставляют возможность постепенного расширения.

 

ЦОДы среднего размера (мощностью 50–200 кВ•А, до 40 стоек) вместе с такими модульными ИБП приобретают еще и высококачественное распределение электроэнергии наряду со сниженным ее потреблением. Благодаря «зеленым» технологиям компания Socomec UPS смогла, например, оптимизировать КПД системы, объединяющей несколько подключенных «в параллель» ИБП. Решения бесперебойного электропитания серий Masterys GP мощностью 10–120 кВ•А и Delphys GP (160–200 кВ•А), предназначенные для ЦОДов среднего размера, имеют эффективность 96% и коэффициент мощности 0,9. 

 

Идеология систем Socomec UPS для больших ЦОДов (100 стоек и 200 кВ•А), работающих в режиме 24×7, базируется на четырех краеугольных камнях: устойчивость, эксплуатационная готовность, гибкость и совокупная стоимость владения. Мощность одного модуля системы Delphys MX составляет 250–500 кВ•А, однако путем параллельного подключения нескольких модулей ее можно нарастить до 3 кВ•А. 

 

По словам Баштьяна Сойера, регионального менеджера Socomec UPS в России и Восточной Европе, в активе производителя уже есть реализованные проекты таких высоконагруженных систем. В качестве примера он привел вычислительный центр Европейско-средиземноморского центра по проблемам изменения климата в Италии. Для обеспечения бесперебойного питания суперкомпьютера и защиты данных Socomec UPS поставила в центр систему Delphys MX Elite мощностью 500 кВ•А в комплекте со шкафом и полным набором аккумуляторов, а также панель байпаса, запроектированную для установки второго ИБП в параллельной конфигурации, что позволит добиться двукратного увеличения электрической мощности на объекте.

 

Классические? Контейнерные? – Модульные!

 

Стремительно набирающие популярность технологии виртуализации и cloud computing, движение ИТ-отрасли в сторону  SaaS, IaaS и PaaS и, как следствие, формирование нового взгляда на понятие «коробочное решение» определяют набор требований, предъявляемых сегодня к ЦОДу.

 

По мнению Р. Сухова, генерального директора компании Stack Labs, ни классические, ни контейнерные дата-центры этим требованиям в полной мере не соответствуют. Первые обходятся заказчику очень дорого: требуют высоких капитальных затрат на этапе строительства, отличаются высокими операционными издержками на оснащение и эксплуатацию, и это при низкой скорости реакции на потребности заказчиков и бизнеса, а также сложности и дороговизне изменений. Вторые при высокой себестоимости имеют ряд ограничений, например, по архитектурным параметрам площадки, по вычислительной плотности, по энергонагруженности.

 

На фоне США и Западной Европы с развитой индустрией аутсорсинга и отработанными методиками оценки качества услуг и инвестиционной привлекательности проектов российский рынок услуг дата-центров находится в зачаточном состоянии. По словам Р. Сухова, для выхода на конкурентоспособный уровень стране сегодня не хватает 340 тыс. стоек, т.е. примерно 1360 стандартных ЦОДов на 250 стоек общей мощностью 4,6 ГВт. Однако многолетнее отставание может оказаться преимуществом, если восполнять дефицит за счет строительства модульных дата-центров нового поколения.

 

Модульными дата-центры называются потому, что собираются из изготовленных на заводе ячеек со всеми инженерными коммуникациями. Несколько таких ячеек образуют модуль, из модулей и строится ЦОД. Замена ячейки возможна на любом этапе жизненного цикла дата-центра. Такая взаимозаменяемость позволяет совмещать в рамках одного действующего объекта зоны любого уровня надежности, комбинировать в одном ЦОДе вычислительные системы разных производителей.

 

Важно, что заказчикам модульного дата-центра не нужно платить за избыточные ресурсы, подготовленные «впрок»: его можно быстро расширить, добавив нужное количество модулей при возникновении бизнес-потребности. Например,  с момента заказа на заводе одного модуля дата-центра Stack.КУБ до ввода его в коммерческую эксплуатацию проходит не больше трех месяцев.

 

…и зоновые!

 

Логика развития современных дата-центров ведет к появлению объектов с неравномерной плотностью, так называемых зоновых ЦОДов. Даже в США стоимость 1 м2 в ЦОДе уровня Tier IV в четыре раза выше, чем 1 м2 ЦОДа Tier I. «Стоит ли переплачивать, если доля критичных бизнес-приложений, размещаемых в ЦОДе, невысока?» – задается вопросом А. Брюзгин, региональный менеджер Panduit в России, СНГ и странах Восточной Европы.

 

По его мнению, начинать стоит с выделения трех зон: низкой плотности (до 8 кВт на шкаф), средней (до 16  кВт) и высокой, спроектировав для каждой из них отдельное питание и охлаждение. Такой подход существенно снижает капитальные затраты и операционные расходы, а также ведет к минимизации избыточности.

 

Однако парадокс, в который не может поверить ни один руководитель, заключается в том, что чем больше вкладываешь в инфраструктуру ЦОДа, тем быстрее она окупается. Впрочем, есть один способ убедить в этом начальство: нужно сознательно отказаться от употребления термина ROI, заменив его новым термином – «модель полного экономического эффекта».

 

В этой модели понятия «прибыль», «затраты», «риски», «стратегическая ценность инвестиций» рассматриваются более широко. Например, говоря о прибыли,  важно показать, какое влияние оказали новые технологии на всю организацию. В расходах значительную долю составляют затраты на подготовку проекта. Обязательно следует закладывать в модель риски, которые налагаются на стоимость проекта: малые риски – 90%, средние риски – 100%, высокие риски – 130%. Кроме того, появление у компании ЦОДа открывает перед ней возможность ставить и решать совершенно другие задачи, и их решение способно принести новую прибыль. Прибыль, которую можно получить от новых вложений, сделанных на основе текущих, и есть стратегическая ценность инвестиций.

 

Ставим на «эластичность»

 

Такое качество приобретает ИТ-инфраструктура, сменив свой физический облик на виртуальный. У пошедшей таким путем компании, собственно, исчезает сама потребность в строительстве и эксплуатации дата-центра.

 

Как считает Р. Заединов, заместитель генерального директора и руководитель направления центров обработки данных компании КРОК, миграция ИТ-инфраструктуры «в облака» открывает перед бизнесом такие возможности экономии, которые либо отсутствуют, либо труднодостижимы для компаний, имеющих свой дата-центр. Это, например, возможность отключить доступ к неиспользуемым ИТ-ресурсам в часы наименьшей нагрузки или, наоборот, с учетом сезонного фактора увеличить объем их потребления. Иными словами, попав «в облака», ресурс становится услугой, за которую не нужно платить, если ею не пользуешься.

 

По опыту компании КРОК, переход к «эластичному» ЦОДу должен предваряться глубоким обследованием ИТ-инфраструктуры заказчика, чтобы обойти имеющиеся в любом процессе «подводные камни». Затем разворачивается первоначальный вариант облачной инфраструктуры, куда будет происходить миграция. До завершения миграции эта облачная инфраструктура остается статичной, а после начинается процесс ее оптимизации – эластичное преобразование инфраструктуры, направленное на сокращение расходов, упрощение деятельности и т.д.

 

В результате заказчик получает автоматизированную облачную платформу, которая к тому же совершенно автономна и может сама себя «лечить». Платить за ее использование он должен только в объеме, соответствующем объему потребления. А специалисты КРОК могут помочь перепрограммировать те бизнес-приложения, перевести которые «в облака» в существующем виде трудно.

 

Защита с гарантией 

 

Тем компаниям, которые еще не нашли ответа на вопрос, строить свой ЦОД или арендовать, нужно раздвинуть границы поиска, выйдя за пределы российской территории, считает О. Наскидаев, руководитель отдела маркетинга и развития компании DEAC. Он убежден в том, что размещение основного и/или резервного ЦОДа на территории Евросоюза решает целый ряд проблем: обеспечивает защиту от рейдерства и административного давления, позволяет полностью диверсифицировать риски и создать распределенную ИТ-инфраструктуру.

 

Первый центр обработки данных DEAC появился на территории Латвии в 2000 г. Это был первый в Восточной Европе подземный ЦОД уровня Tier II. На глубине 12 м и на высоте 9 м над уровнем моря размещается 130 стоек, рассчитанных на 5000 серверов. Общий объем инвестиций в этот проект – 2 млн евро. Затем компании последовательно развивала услуги ИТ-аутсорсинга, постепенно двигаясь в сторону виртуализации и предоставления мощности по требованию. Ее второй ЦОД площадью 600 м2 рассчитан на 200 стоек для 8000 серверов, а ближайшие два года планируется его расширить, доведя количество стоек до 500, а серверов – до 20000. Очевидно, что занять такие площади ИТ-оборудованием только латвийских компаний невозможно.

 

Инвестиции DEAC нацелены на привлечение клиентов из ближнего зарубежья: недаром ЦОДы компании имеют прямые каналы в Москву, Санкт-Петербург, Киев, Минск и другие европейские города, а их многоязычная сертифицированная служба технической поддержки общается с заказчиками в режиме 24×7 на русском, английском и латышском языках. 

 

Совмещаем… и экономим

 

В крупных российских городах сегодня уже не так-то просто найти энергетические мощности для функционирования ЦОДа. Поэтому операторы ЦОДов вынуждены искать резервы для снижения энергопотребления по всем направлениям.

 

Рассчитывать на то, что этого можно добиться за счет основного ИТ- и телеком-оборудования, по мнению А. Ласого, технического директора департамента интеллектуальных зданий компании КРОК, не приходится. Несмотря на то что все ведущие производители снижают удельную мощность вычислителей на единицу обрабатываемой ими информации, потоки этой информации растут так быстро, что количество вычислителей увеличивается примерно в той же пропорции, в какой снижается их энергопотребление.

 

В этих условиях самым благодарным объектом для экономии энергии в ЦОДах становятся системы охлаждения. Резервы достаточно хорошо известны: использование фрикулинга, кондиционеров с вентиляторами Digital Scroll, внутрирядных кондиционеров и машин с компрессорами Turbocor. 

 

Еще один путь к экономии предполагает значительное упрощение типовой схемы энергоснабжения ЦОДа за счет введения в нее динамических систем бесперебойного питания. Один динамический источник бесперебойного питания, совмещенный с дизель-генераторной установкой, заменяет в типовой схеме часть коммутирующего оборудования, а также аппаратную часть ИБП. Получающаяся система электропитания, в отличие от самих ИБП, некритична к характеру нагрузки. От нее можно питать и чиллеры, и ИТ-оборудование, и другие устройства.

 

Кроме того, при использовании динамического ИБП, совмещенного с ДГУ, можно обойтись без резервных источников воды, потребность в которых возникает только при отключении главного источника электропитания.  Есть также опыт посадки на одну ось с эти-ми устройствами насосов, которые в таком случае тоже становятся бесперебойными, а это косвенно увеличивает живучесть системы.

 

При таком подходе «пирог» энергопотребления в ЦОД выглядит заметно «вкуснее»: доля электроэнергии для питания  ИТ-оборудования вырастает с 55 до 85%, а доля, потребляемая системами охлаждения, снижается с 35 до 9%. 

 

Практика как проверка «зеленых» технологий

 

Специалисты по эксплуатации ЦОДов всегда проявляют интерес к накопленной в ходе практической работы статистике, отражающей эффективность модных сегодня технологий и решений. И доклад С. Лебедева, директора сервисного центра компании StoreData LLC, основанный на трехлетних наблюдениях за работой оборудования в разных дата-центрах, не стал исключением. 

 

Результаты сравнительного анализа годового энергопотребления ЦОДа с функцией фрикулинга и без нее показали: эта «зеленая технология» позволяет сэкономить в среднем от 5 до 7% всего годового энергопотребления объекта. Экономия электроэнергии и сохранение ресурсов компрессоров – таков набор ее плюсов, однако нельзя не принимать во внимание и минусы – увеличение капитальных затрат и затруднение теплосъема в летние месяцы.

 

С. Лебедев также привел данные наблюдений за конденсаторами реактивной мощности. Пока, по его словам, тарифицируется именно активная мощность, однако разговоры о том, чтобы брать с потребителей деньги и за мощность реактивную, уже ведутся. Исследователи предполагали, что снижения общей потребляемой мощности ЦОДа можно добиться, компенсировав реактивную мощность путем отвода реактивного тока от источника – в установку компенсации реактивной мощности.

 

Однако замеры, проведенные в незагруженном ЦОДе при включенных освещении, кондиционерах, ИБП и некоторой полезной нагрузке, показали обратную картину. Вместо ожидаемого уменьшения потребляемой мощности при включенном компенсаторе производства Shneider Electric потребление несколько увеличилось.

 

Растим службу эксплуатации

 

Итак, ЦОД построен и оснащен самым современным оборудованием. Пора начинать его эксплуатацию. Чтобы быстро запустить этот сложный технологический процесс, начинать думать об эксплуатации объекта нужно еще на этапе проектирования. Именно тогда, считает А. Павлов, генеральный директор компании «ДатаДом», рекомендуется ввести должность главного инженера и/или главного энергетика ЦОДа. Его участие в совместной с исполнителем разработке технических решений для технического контроля за ходом строительства, а кроме того, для приемки объекта у генподрядчика позволяет отказаться от обследования только что построенного дата-центра. Если же проектирование, строительство или приемка ЦОДа проходили в отсутствие такого специалиста, заказчику, приняв объект, придется детально обследовать его на предмет комплектности, качества и достоверности исполнительной и технической документации, маркировки оборудования и коммуникаций; комплектности щитового хозяйства, наличия согласований и разрешительной документации и др.

 

Вся вышеупомянутая документация важна для разработки внутренних документов, регламентирующих деятельность дата-центра: графика планово-профилактических работ, штатного расписания и должностных инструкций сотрудников, регламента проведения технического обслуживания, а также плана восстановления после сбоев (Disaster Recovery Plan). Последний содержит стратегию восстановления работоспособности и целостности инфраструктуры ЦОДа, определяет порядок действий организации и персонала в нештатной ситуации и ресурсы, которые нужно использовать при таком восстановлении. 

 

Помимо составления всей внутренней документации, инструктажа и обучения персонала, на первом этапе эксплуатации ЦОДа необходимо определиться, какие работы по его техническому обслуживанию будут выполняться силами персонала, а какие – передаваться на аутсорсинг. В качестве критериев выбора аутсорсинговой организации А. Павлов назвал время реагирования на обращение, наличие сертифицированных сотрудников, круглосуточную поддержку и свой склад ЗИП.

 

Баланс на грани себестоимости

 

Извлечь выгоду из растущего спроса на услуги ЦОДов стремятся сегодня многие компании. Некоторые из них, стараясь заполучить клиента, пытаются опускать цены заведомо ниже себестоимости. Надо ли говорить, что клиенты, для которых главным критерием выбора является цена, очень рискуют? Предупредить их об этом, а главное, показать, из чего складывается сегодня себестоимость услуг ЦОДа Tier III, на конференции взялся Ю. Самойлов, генеральный директор компании DataLine.

 

Объектом для рассмотрения он выбрал ЦОД уровня Tier III на 300 стоек с PUE, равным 2, обслуживаемый персоналом в три смены. Себестоимость услуги складывается из суммы прямых затрат, к которым относятся амортизация основных средств, расходы на электричество, аренду помещения, эксплуатацию, обслуживание инженерных систем, а также страхование имущества, и косвенных затрат (налоги, финансовые расходы, затраты на непрофильный персонал и другие административные расходы).

 

По опыту компании DataLine, на протяжении полутора лет эксплуатирующей сеть ЦОДов, себестоимость на одну стойку в дата-центре заданного уровня – $1542 в месяц. На практике стоимость размещения стойки мощностью 5 кВт с учетом 15% маржи, 20% налога на прибыль и 18% НДС у этого поставщика услуг ЦОДа составляет $2146 в месяц. Однако новые игроки строят свою ценовую политику, исходя из себестоимости услуг в $1000 на стойку в месяц, что заставляет всех остальных искать резервы для снижения аналогичного показателя.

 

В компании DataLine в числе статей, позволяющих этого добиться, видят, во-первых, налоги: за счет возврата НДС их можно снизить до 11%. Во-вторых – оптимизацию клиентского энергопотребления: далеко не всегда они потребляют все 5 кВт на стойку, средний показатель – 4 кВт. Третьим Ю. Самойлов назвал теоретически возможное снижение PUE с 2 до 1,7. В-четвертых, он признал, что в некоторых случаях поставщик может снизить маржинальность с 15 до 10%. А в-пятых, поскольку все здания ЦОДа – собственность компании, она имеет возможность таким образом экономить на аренде.

 

В итоге при себестоимости размещения одной стойки оборудования в ЦОДах Dataline $1542 цену услуги удалось снизить до $1533 на стойку в месяц. Конечно, не $1000, но все равно приятно.

 

А развернувшаяся конкуренция операторов ЦОДов за клиентов – за право стоять у них на службе – развивающемуся рынку только на руку.  икс 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!