• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Оптимизация расходов от замысла до эксплуатации

Дата-центр – сооружение по определению достаточно дорогое, и стремление сэкономить при его строительстве вполне понятно. Однако эта экономия не должна ставить под удар надежность объекта и создавать проблемы при его эксплуатации.

Практически все выступавшие на 3-й конференции Data Center Design & Engineering, организованной журналом «ИКС», говорили об экономике дата-центра на всех этапах его существования – от возникновения идеи будущего ЦОДа до эксплуатации построенного объекта. Причем говорилось не просто об экономии, а об оптимизации затрат и общей стоимости владения (ТСО) на протяжении достаточно длительного времени.

Модульность всего

Минимизировать начальные затраты на создание ЦОДа позволяет модульный принцип его строительства и использование предсобранных решений. Правда, как отмечает Степан Большаков (CommScope), многих заказчиков в таких решениях прельщает не столько минимизация САРЕХ, сколько возможность избежать при создании дата-центра традиционного строительства. Поставщики модульных и предсобранных решений заявляют также о том, что этот подход позволяет сократить капитальные затраты на создание ЦОДа на 20–30% и экономия во многом достигается именно за счет отказа от общестроительных работ.

Вторая причина склонности к подобным решениям больше связана с опасениями заказчика, что построенный обычным способом ЦОД будет представлять собой очень статичную конструкцию. Может оказаться, что полностью оснащенный энергетическими мощностями и инженерными системами дата-центр будет в течение довольно длительного времени использоваться лишь на малую долю своих возможностей. Но возможен и противоположный вариант: после долгого строительства к моменту ввода в эксплуатацию выясняется, что потребности компании в ИТ-инфраструктуре заметно выросли и для ее размещения не хватает места, несмотря на предусмотренные на этапе проектирования запасы площадей и энергетических мощностей. Такая ситуация вполне прогнозируема, ведь для большинства ЦОДов срок их создания, от момента принятия решения о строительстве до запуска в эксплуатацию, составляет в лучшем случае два года, а бывают случаи долгостроев в пять и более лет.

Однако С. Большаков считает, что со словом «модульный» на российском рынке нужно обращаться аккуратно, поскольку у многих заказчиков оно ассоциируется с контейнером, тогда как модульный ЦОД должен быть полноценным бесшовным дата-центром с соответствующей инженерной инфраструктурой и коридорами нормальной ширины, в которых без проблем можно устанавливать и обслуживать стойки с оборудованием. Во всяком случае сама компания CommScope предлагает именно такие решения, где ширина холодного коридора составляет 1,2 м, а горячего – 1,6 м. Причем заказчику нужно определить только размер ЦОДа, его энергопотребление и тип ИТ-оборудования, а специалисты CommScope разработают готовое решение из набора стандартных компонентов, которые легко стыкуются друг с другом. Полностью собранный и настроенный на заводе дата-центр разбирается на части, доставляется на место (заявленный срок поставки в Россию составляет 8–12 недель) и собирается снова с помощью обычных погрузчиков, причем на сборку ЦОДа на 20–30 стоек уходит три-четыре дня.

Компания Emerson Network Power не отказывается от контейнеров для создания модульных дата-центров, но это совсем не те стандартные грузовые контейнеры, которые использовались для этих целей раньше. По словам Евгения Журавлева (Emerson Network Power Russia), настоящие контейнерные модули для ЦОДа делаются под проект конкретного заказчика с учетом особенностей климата в том месте, где он будет устанавливаться (диапазон изменений температуры воздуха, величина ветровых и снеговых нагрузок и т.д.), а также требований местного законодательства (например, стандарты для систем пожаротушения в разных странах сильно различаются). Ширина у этих контейнеров почти на метр, а высота на 40 см больше, чем у грузовых. Эти увеличенные габариты позволяют использовать надежную конструкцию из жестко закрепленных стоек, оставив проходы, достаточные для замены и обслуживания ИТ-оборудования, и без проблем сделать над стойками кабельную разводку. Такой контейнер и все его оснащение должны выдержать эксплуатацию в течение 15–20 лет, поэтому никого не должно удивлять, что стоит он в зависимости от комплектации в 5–10 раз дороже обычного грузового.

С помощью модульного принципа пытаются одновременно решить и экономические, и технологические проблемы создания ЦОДов. Максим Новиков  (ГК «Четыре стихии») уверен, что благодаря такому подходу можно строить объекты и качественно, и быстро. Объединить эти обычно взаимоисключающие характеристики предлагается с помощью параметрической модели построения модульных дата-центров. Для этого компания использует математическую модель ЦОДа, созданную на базе технологии информационного моделирования здания BIM (Building Information Modeling), которая предполагает сбор и комплексную обработку архитектурно-конструкторской, технологической, финансовой и другой информации о здании со всеми ее взаимосвязями и зависимостями. Эта модель позволяет рассмотреть и оценить несколько конструктивных схем, учитывающих требования заказчика, и избежать крупных ошибок при проектировании. По заявлению М. Новикова, такой метод проектирования позволяет выполнить полный цикл работ от запуска проекта до введения ЦОДа в эксплуатацию за рекордно короткие 26 недель.

Немаловажно и то, что результат такого проектирования нагляден даже для не очень опытного заказчика: он может на экране компьютера «пройти» все здание, посмотреть на него со всех сторон и увидеть, что его не устраивает. При традиционном же способе проектирования заказчик получает кипу бумаг, в которых может разобраться только узкий специалист. Возможно, использование такой модели и не снижает стоимость проектирования, но существенно уменьшает количество переделок на последующих этапах создания ЦОДа, что в итоге приводит к экономии средств.

От ЛЭП до ИБП

Такие крупные заказчики, как «Яндекс», могут позволить себе снижать расходы на создание дата-центра, начиная с «истоков» энергетической инфраструктуры, и кардинально решить болезненный для всей цодоиндустрии вопрос о цене на электричество. Как отметил Николай Иванов  («Яндекс»), примерно половина российских дата-центров сейчас получает из внешних сетей электричество с напряжением 0,4 кВ, качество которого довольно низкое. Существенно менее распространены подключения к линиям электропередачи с напряжением 10 кВ с более качественным электропитанием. Ну а подключение к сети ФСК ЕЭС с напряжением 110 кВ, имеющей еще более высокое качество электроэнергии, вообще относится к уникальным явлениям. Примечательно, что кроме повышения качества электричества с увеличением напряжения падает его цена: 3,83 руб./кВт∙ч для напряжения 0,4 кВ, 2,67 руб./кВт∙ч для 10 кВ и 1,89 руб./ кВт∙ч для 110 кВ (разница между тарифами для 0,4 и 110 кВ составляет почти 2 руб. за кВт∙ч). Многие уверены, что подключиться напрямую к сети ФСК ЕЭС с напряжением 110 кВ непросто, дорого и долго. Однако Н. Иванов уверяет, что проблемы вполне преодолимы: срок присоединения составляет два года, но если начать процедуру в самом начале работы над проектом, то к запуску ЦОДа в эксплуатацию она будет успешно завершена и за это же время можно успеть построить подстанцию 110/20 кВ для подвода электричества к дата-центру. Кроме того, «Яндекс» считает, что при достаточно высоком качестве электропитания можно вообще отказаться от ДГУ как резервного источника питания. Например, в проекте нового ЦОДа «Яндекса» во Владимире нет дизельно-роторного ИБП, который есть в дата-центре в Сасово. По подсчетам «Яндекса», средняя стоимость высоковольтной (110 кВ) инфраструктуры для ЦОДа мощностью 1 МВт составляет 9 млн руб., а срок окупаемости вложений в нее не превышает трех лет.

В деле подключения к 110-киловольтным сетям последователем «Яндекса» в России может быть, судя по всему, только «Ростелеком». Ну а для остальных заказчиков «ненужные» «Яндексу» динамические роторные ИБП предлагает, например, компания Euro-Diesel. Эти ДИБП выполнены по моноблочной схеме: синхронный генератор, кинетический модуль и дизельный двигатель жестко связаны между собой и закреплены на раме. Как подчеркнул Александр Бунзя (Euro-Diesel), одним из важнейших требований к ДИБП является надежность и у изделий Euro-Diesel заявленный срок работы до капитального обслуживания составляет минимум 10 лет. На высокую надежность работают ограничение скорости вращения подшипников (не более 1500 об./мин), необслуживаемое электромагнитное сцепление, система автоматической смазки подшипников без остановки ДИБП, сохранение резервирования при обслуживании ДИБП, многократное резервирование системы пуска дизельного двигателя, что гарантируют его предварительная смазка и прогрев, резервирование стартеров двигателя и пусковых батарей и возможность резервного пуска двигателя за счет энергии кинетического модуля. Повышению надежности также должно способствовать исключение влияния человеческого фактора – оператор только выбирает режим работы, а переход в него осуществляется системой автоматически. Для дополнительных гарантий компания в своей лаборатории проводит полномасштабные испытания ДИБП вместе с дросселем, контрольной и силовой панелями, т.е. заказчик может быть уверен, что на его объект доставят именно ту систему, которая проходила испытания.

Сам силовой модуль довольно компактный – длина 9,3 м (у конкурентов – порядка 11 м). Машина доставляется с завода в полностью собранном виде, и на месте не нужно проводить никаких проверок и настроек. В системе реализованы адаптивное охлаждение генератора и кинетического модуля, подстройка скорости вращения кинетического модуля в зависимости от нагрузки, а высокий КПД достигается даже при низкой нагрузке ДИБП.

Многие производители традиционных ИБП в последние годы стремятся включить их в комплексные инфраструктурные решения для дата-центров, в которые также обычно входят системы распределения электропитания и системы кондиционирования и охлаждения. Одним из таких решений, предлагаемых на рынке, является Delta InfraSuite, которое позиционируется производителем как полностью готовое масштабируемое инженерное решение, выполненное в едином дизайне. Как рассказал Дмитрий Гуляев  (Delta Electronics), в его состав входят модульный ИБП DPH, мощность которого в зависимости от модели варьируется от 25 до 800 кВт; система распределения электропитания, система прецизионного охлаждения с внутрирядными кондиционерами RowCool мощностью до 120 кВт, шкафными кондиционерами RoomCool мощностью до 180 кВт и воздухораспределительным блоком ADU; стойки для серверного и сетевого оборудования с модульным дизайном; система мониторинга окружающей среды EnviroStation с датчиками EnviroProbe и DCIM-система InfraSuite Manager, основная задача которой – снизить влияние человеческого фактора на отказы оборудования в дата-центре за счет сбора данных систем мониторинга, контроля работы всех инженерных систем и ИТ-оборудования во всех стойках. Такая система позволяет, например, уменьшить энергопотребление серверов в критичных режимах работы при частичном выходе из строя системы кондиционирования.

Оптимизация охлаждения

Немецкая компания Cabero, начинавшая с промышленных систем охлаждения, теперь выпускает специальные модели для дата-центров. Причем, по заверению Александры Эрлих  (Cabero), системы создаются индивидуально для каждого проекта (одних вентиляторов имеется на выбор более 100 моделей), что вполне соответствует ситуации в отрасли дата-центров – здесь каждый проект уникален. Системы Cabero предназначены главным образом для крупных ЦОДов, поэтому вопрос энергоэффективности для них крайне актуален. Компания предлагает системы охлаждения с сухим теплообменником (драйкулером), с использованием технологий орошения низкого LPPS (Low Pressure Spray System) и высокого давления HPSS (High Pressure Spray System). При почти одинаковой холодопроизводительности они имеют разное энергопотребление и требуют разных затрат на эксплуатацию.

Системы с драйкулером изначально заметно дешевле, и для их работы не нужна специально подготовленная и очищенная вода, однако затраты на электро­энергию для чиллера и драйкулера с лихвой перекрывают всю экономию. Зато самая дорогая установка с орошением высокого давления HPSS с более дорогой по сравнению с LPPS-системами водоподготовкой оказывается самой экономичной в эксплуатации. По словам А. Эрлих, инвестиции в «дорогую» HPSS-систему охлаждения в российских условиях окупаются всего лишь за год. Кстати, компания Cabero недавно открыла сборочное производство в России, где системы охлаждения комплектуются модулями управления, учитывающими особенности российского климата.

Полностью российской разработкой является система воздушного охлаждения с фрикулингом FFC компании Ayaks Engineering. Это каркасно-панельная установка, состоящая из наружного и внутреннего контуров циркуляции воздуха. Ее главный элемент – роторный теплообменик, который отвечает за перенос холода от наружного воздуха, циркулирующего в наружном контуре, к воздуху, циркулирующему во внутреннем контуре, который охватывает серверный зал дата-центра. Такая система, как признал Андрей Андреев  (Ayaks Engineering), имеет довольно внушительные размеры: при мощности 640 кВт роторный теплообменник имеет диаметр 5,1 м, общая длина установки – 12 м, а высота – 6,5 м, т.е. предназначается она для крупных дата-центров. В основном режиме работы система охлаждает воздух, приходящий из горячих коридоров серверного зала, с температуры +37°С до +24°С. Если на улице становится слишком жарко, то в помощь роторному теплообменнику включаются традиционные фреоновые DX-компрессоры. Если на улице, наоборот, слишком холодно, то во внешнем контуре включается секция подмешивания к уличному воздуху горячего воздуха из ЦОДа, чтобы не происходило обмерзание поверхности теплообменника. В условиях российского климата система работает с использованием DX-компрессоров лишь 10% времени в году, что заметно сокращает затраты на электричество. Даже паразитные перетоки воздуха из одного контура в другой не являются недостатком системы – за счет них происходит общеобменная вентиляция помещений дата-центра.

Проценты в плюс

На создание СКС в дата-центре приходится обычно 5–7% стоимости всего проекта, однако и эти «мелочи» не стоит упускать из виду при оптимизации затрат. В ЦОДах в зависимости от их конфигурации, размеров и выполняемых задач используются несколько вариантов топологии СКС и, как подчеркнул Кен Ходж  (Brand-Rex), нельзя считать какие-то из них более, а какие-то менее прогрессивными, равно как нельзя во всех ситуациях рассматривать оптоволоконные кабели как более предпочтительные, чем медные. Медь в СКС ЦОДов сейчас доминирует, ее доля в корпоративных дата-центрах по всему миру составляет в среднем 57%, а в коммерческих дата-центрах, предоставляющих услуги colocation, – 70%. Конечно, с каждым годом использование оптического кабеля в дата-центрах растет, с 10-гигабитных скоростей ЦОДы активно переходят на 40 Гбит/с и не за горами 100-гигабитные скорости. Однако медь не исчезнет, у нее есть хорошие перспективы даже на скоростях 40 Гбит/с.

Сейчас готовится новый стандарт кабелей Cat.8 (IEEE 802.3 bq), предусматривающий передачу данных со скоростью 40 Гбит/с по медному кабелю длиной до 30 м (кстати, 83% кабельных соединений в ЦОДах предназначены для внутрирядной коммутации и не превышают эту длину). Стандарт, принятие которого ожидается в марте 2016 г., как полагают специалисты, замедлит сдачу позиций медью, поскольку приемопередающее оборудование для таких СКС будет заметно дешевле оптического.

Понятно стремление производителей решений сделать их более дешевыми в эксплуатации, уменьшить ТСО и снизить воздействие на их работу человеческого фактора, который, как известно, повинен в подавляющем большинстве аварий и инцидентов в дата-центрах. Свести роль человека в ЦОДе к нулю все же нельзя, однако можно сделать его фактором, повышающим общий уровень надежности дата-центра. Как отметил Леонид Шишлов  (Schneider Electric), в России научились проектировать и строить правильные дата-центры, но опыт правильной их эксплуатации пока не накоплен по причине молодости этих объектов. Так что пока приходится пользоваться зарубежным. Эксплуатация – самый длительный этап в жизни ЦОДа, но внимание к ней на старте проекта явно недостаточное: руководство проекта обычно слабо фокусируется на будущей эксплуатации дата-центра, эксплуатационщиков часто привлекают к работе лишь уже в конце строительства, а это заметно увеличивает объем переделок и, соответственно, общую стоимость проекта.

Кроме того, в отрасли не хватает общепризнанных стандартов по эксплуатации, нет описаний, как правильно сформировать команду эксплуатации, сколько человек в ней должно быть, по каким процедурам они должны работать, как повышать их квалификацию. В принципе те ЦОДы, которые хотят наладить работу своей команды эксплуатации, могут руководствоваться стандартом Uptime Institute на эксплуатационную устойчивость дата-центров Tier Standard: Operational Sustainability или обратиться за помощью в аутсорсинговые компании (есть уже и такой вид аутсорсинга на российском рынке). Например, компания Schneider Electric берется и за обслуживание дата-центра (целиком или частями), и за помощь заказчику в организации службы эксплуатации из его собственного персонала. Эти затраты окупятся за счет уменьшения простоев ЦОДа, сокращения количества инцидентов с отдельными системами и аварий, снижения уровня серь­езности производимых ремонтных работ, а также за счет продления срока службы каждого элемента оборудования. Курочка по зернышку клюет.