• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Унификация и стандартизация ЦОДа. От проектирования до эксплуатации

Временной интервал между рождением замысла нового ЦОДа и его реализацией непрерывно сокращается, а процедуры проектирования, строительства и эксплуатации этих сложных объектов формализуются.

Модульность ЦОДов и их защиты

О модульных конструкциях в применении к дата-центрам специалисты дискутируют уже не первый год. Не стала исключением и 9-я международная конференция «ЦОД–2014», организованная журналом «ИКС». Производители, предлагающие широкий ассортимент оборудования для ЦОДов, вполне ожидаемо агитируют за использование моновендорных решений или как минимум за стандартизацию отдельных единиц оборудования и компонентов для дата-центров и последующее создание из них стандартизированных систем.

Стандартизация в мире ЦОДов сегодня эволюционирует от единичных компонентов к системам и затем к готовым комплексным решениям – считает руководитель направления ИТ компании Rittal Евгений Солнцев. Драйверов у этой эволюции как минимум два – ужесточение требований к надежности дата-центров и повышение эффективности их проектирования и эксплуатации. Производителей оборудования для дата-центров много, и системная совместимость может представлять серьезную проблему. Стандартизация же должна обеспечить согласование интерфейсов и упростить реализацию систем, которые становятся все сложнее. Для тех заказчиков, которые хотят получить готовую отлаженную инженерную инфраструктуру ЦОДа, компания Rittal предлагает несколько вариантов законченных решений RiMatrix S на базе модулей Single 6 и Single 9, в состав которых входят серверные и сетевые 19-дюймовые стойки, системы электроснабжения, охлаждения, мониторинга и пожаротушения. Они могут поставляться и в виде контейнера, и в виде комплекта оборудования для монтажа в подготовленных помещениях или быстровозводимых зданиях. Заявленный срок разворачивания ЦОДа от начала обсуждения проекта до предоставления сервисов составляет восемь-десять недель, а сам модуль монтируется за пять дней. Вариантов компоновки дата-центра в зависимости от требований заказчика к мощности и надежности настолько много, что Rittal настаивает на том, что каждый такой проект, несмотря на общую структуру, получается уникальным. Особо подчеркивается, что стандартизация всех компонентов позволяет заранее рассчитать и коэффициент энергоэффективности PUE (в одном из проектов в Германии он оказался даже меньше 1,1), и срок возврата инвестиций ROI.

Примечательно, что о модульных дата-центрах говорят теперь не только вендоры, продвигающие соответствующие решения, но и заказчики, выбирающие архитектуру ЦОДа под свои нужды. Как отмечает начальник отдела развития инфраструктуры ЦОД компании МТС Александр Тишкин, традиционные решения для дата-центров уже не устраивают заказчиков, для них наиболее важным параметром становится эффективность инвестиций, которая оказывается довольно низкой при стандартном подходе к строительству ЦОДа, и поэтому заказчики обращаются к модульным дата-центрам. Правда, в данном случае слово «модульный» не всегда означает «контейнерный», главное, чтобы это было готовое масштабируемое энергоэффективное решение, произведенное и протестированное на заводе. Его установка на площадке заказчика не потребует привлечения в качестве промежуточных звеньев генерального подрядчика и субподрядчиков, что, в свою очередь, позволит дополнительно снизить общую стоимость владения (ТСО). По подсчетам специалистов МТС, при стандартном подходе с момента принятия решения о создании дата-центра до ввода его в эксплуатацию проходит обычно 18 – 24 месяца, тогда как при создании модульного ЦОДа удается уложиться в 9 – 12 месяцев, сэкономив на этапах проектирования (решение уже готово и его нужно только адаптировать для площадки заказчика), выбора оборудования и подрядчиков, а также на логистических процедурах.

Слово «модульный» в связи с дата-центрами иногда может вводить в заблуждение. Гендиректор компании Exsol Станислав Заржецкий призывает проводить четкое различие между ЦОДами, имеющими модульную архитектуру, контейнерными дата-центрами и модульными помещениями физической защиты (МПФЗ). Последние представляют собой модульные решения для обеспечения гарантированной защиты оборудования ЦОДа от физического воздействия. Потенциально опасных факторов, которые могут привести к потере данных в ЦОДе, немало – огонь, вода, электромагнитное излучение, коррозийные газы, пыль, взрывы, падающие обломки, вандализм и просто несанкционированный доступ. И стать реально опасными они могут даже в построенном по всем правилам здании ЦОДа. Сертифицированную защиту от всех перечисленных факторов физического воздействия гарантирует именно МПФЗ, и, как подчеркивает С. Заржецкий, добиться такого уровня физической защиты при использовании стандартных строительных решений практически невозможно (эквивалентом МПФЗ со стенами толщиной 110 мм является бетонный бункер с 3,5-метровыми стенами, который вряд ли есть хотя бы в одном российском ЦОДе). Мировая статистика инцидентов в дата-центрах показывает, что случиться может всякое, и там, где применялись МПФЗ, время простоя ЦОДа было минимальным, а то и нулевым. Примечательно, что решения на базе МПФЗ могут быть построены и в имеющемся здании, и в быстровозводимых ангарах, и их сборка может осуществляться вокруг работающего оборудования без его отключения. Конструкций МПФЗ разработано много – от модульных сейфов для одной стойки до целых серверных залов. Да, решение это не из дешевых. Но каждый заказчик должен оценить, что ему обойдется дороже – покупка и установка МПФЗ или восстановление работы ЦОДа после катастрофического воздействия того или иного «фактора».

Сложности взаимопонимания

Способность заказчика оценить ожидаемые риски, выслушать мнение экспертов и грамотно сформулировать задачу проектировщиками приветствуется. Общий уровень технической грамотности заказчиков за последние годы заметно вырос, но, как считает гендиректор компании «Ди Си квадрат» Александр Мартынюк, проблемы с управлением проектов остались и особенно удручает сокращение времени и затрат на проектирование: три месяца на ЦОД со сложной инфраструктурой – это слишком мало, а отсутствие полноценного проекта может привести к большим проблемам на этапе реализации. Как правило, стоимость проектирования составляет 5 – 10% общих затрат на создание ЦОДа, и заказчику следует это знать, поскольку, как предупреждает А. Мартынюк, подрядчики часто занижают величину этих затрат в расчете на получение компенсации на этапе поставки и монтажа со стороны «лояльных» производителей. А это чревато последующими незапланированными затратами на исправление ошибок и срывом сроков строительства.

Конечно, работать с грамотным въедливым заказчиком подрядчику нелегко, но общий успех проекта того стоит. Например, с подобным заказчиком довелось поработать компании IBS в проекте разработки операционной модели эксплуатации крупного дата-центра. Уже общим местом стали слова о том, что мало построить надежный ЦОД, надо его еще и грамотно эксплуатировать, тем не менее приятно, что владельцы дата-центров стали воплощать эти слова в жизнь. Для данного ЦОДа был подготовлен полный объем необходимой для эксплуатации документации, который включал организационные решения по работе службы эксплуатации вплоть до должностных инструкций каждого сотрудника, документы по управлению процессами в дата-центре (мониторинг, устранение отказов, техническое обслуживание, ремонт) и взаимодействием всех служб и сотрудников в ходе выполнения этих процессов; регламенты технического обслуживания всех систем и видов оборудования; ресурсное обеспечение (какие специалисты, какой квалификации и в каком количестве необходимы для эксплуатации дата-центра); регламенты обеспечения физической безопасности. Как отметил директор отдела инженерной инфраструктуры IBS Константин Зиновьев, этот проект лишь на первый взгляд казался простым, но он потребовал очень кропотливой работы и ее защиты перед очень придирчивым заказчиком, ведь каждая строчка в такой документации может повлиять на надежность работы ЦОДа.

Аренда и стройка

Грамотный заказчик теперь не только строит свой ЦОД, но и выбирает другие варианты получения вычислительных мощностей. Например, финансовая группа «Лайф», в которую входит шесть банков, решив создать резервный дата-центр, после тщательной оценки предстоящих затрат пришла к выводу о целесообразности аренды площадей в коммерческом ЦОДе (при расчете ТСО на три года строить дата-центр на 20 стоек оказалось невыгодно). При поиске коммерческого дата-центра проводился аудит объектов с привлечением экспертов: проверялось соответствие заявленному уровню надежности, оценивались опыт эксплуатации, возможности размещения имеющегося у заказчика оборудования, установки физического ограждения для него и использования своей системы контроля удаленного доступа. Выбором заказчик оказался доволен и даже отметил высокий уровень клиентоориентированности коммерческого ЦОДа, так что теперь планирует развивать сотрудничество и создавать гибридную облачную инфраструктуру.

А вот в МФТИ решили, что создание собственного дата-центра на 20 стоек будет вполне оправданным. Понятно, что требования к непрерывности и доступности сервисов у института ниже, чем у банков, да и свое помещение (пусть и подвальное) уже было. Как рассказал начальник ЦОДа МФТИ Юрий Шкандыбин, дата-центр, общий для всего института, решили строить, чтобы сократить расходы на закупку и обслуживание оборудования многочисленных серверных, имеющихся у разных кафедр и подразделений, и одновременно повысить надежность работы ИТ-инфраструктуры, ее доступность, безопасность и управляемость. Пять лет назад в дата-центре было установлено 10 стоек по 6 кВт с резервированием питания по схеме N + 1, а после недавней модернизации в нем расположились 18 стоек (две из них коммуникационные) по 9 кВт с резервированием 2N. Особо хотелось бы отметить стремление создателей ЦОДа не портить фасад здания и прилегающую территорию, поэтому чиллеры системы охлаждения были вынесены на крышу. Кроме того, при выборе оборудования была поставлена задача обеспечения ремонтопригодности всех систем, чтобы минимально зависеть от весьма изменчивого финансирования образовательных учреждений, и по этой же причине 99% расходов на дата-центр были отнесены к капитальным затратам. «Пусть лучше лишнее в ЗИПе полежит, чем потом испытывать трудности с запчастями», – считает Ю. Шкандыбин.

Динамические ИБП в тренде

У крупных заказчиков другие проблемы. Для ЦОДа с энергопотреблением под 1 МВт уже вполне логично рассматривать в качестве системы бесперебойного электроснабжения динамические ИБП (ДИБП). Такие системы на базе оборудования производства Piller строит компания «Хайтед». В данном случае речь идет об ДИБП, в котором мотор-генератор и кинетический модуль не связаны друг с другом механически. Как объяснил ведущий менеджер по продуктовому маркетингу «Хайтед» Михаил Лобанов, у такого решения есть свои плюсы: например, при пространственных ограничениях подобная компоновка позволяет достаточно удобно размещать оборудование – дизельные части и шкафы с кинетическими модулями можно установить в разных помещениях и обеспечить при этом их удобную эксплуатацию, тем более что дизели и кинетические модули предъявляют к условиям работы разные требования. Кроме того, такая конструкция выгодна при нестабильной работе городской сети: незначительные сбои напряжения берут на себя кинетические модули, а дизель-генератор запускается лишь в более серьезных случаях, что позволяет экономить дизельное топливо и минимизировать износ двигателя.

Компания «Президент-Нева» продвигает другую конструкцию ДИБП на базе агрегатов Euro-Diesel, в которой мотор-генератор и кинетический модуль расположены на одном валу (т.е. процесс преобразования энергии происходит без промежуточного звена). Кроме того, в системах от Euro-Diesel использован щадящий режим вращения подшипников (его скорость не превышает 1500 об/мин), что существенно повышает срок службы всей системы без замены подшипников. Как считает заместитель директора бизнес-направления «Президент-Нева» Энергетический центр» Александр Михайлин, для определенных приложений и архитектурных конфигураций у заказчиков такая конструкция может оказаться предпочтительнее. В частности в ситуациях, когда необходимы вынос систем бесперебойного питания за пределы «чистых» зон с ИТ-оборудованием и использование для ДИБП мобильных контейнерных решений. Преимуществом контейнерных ДИБП, кроме возможности простого масштабирования и максимальной заводской подготовки к работе, является еще и предсказуемость затрат на них, тогда как размещение подобной системы в законченном построенном здании требует разработки индивидуального проекта. Такие ДИБП уже установлены в крупных ЦОДах «Вконтакте» (суммарная мощность энергоустановки – 4 МВА), Selectel и МТС (в Москве и в Новосибирске).

Пионеры охлаждения

Кстати, дизельно-роторные ИБП обоих упомянутых типов (и от «Хайтед», и от Euro-Diesel) установлены в новом московском ЦОДе компании DataPro. И этот же дата-центр стал первой площадкой для внедрения в России систем охлаждения EcoBreeze от Schneider Electric. В них предусмотрено использование трех технологий охлаждения (прямой воздушный теплообмен, косвенный испарительный теплообмен и традиционное фреоновое охлаждение) с автоматическим переключением между ними в зависимости от температуры внешнего воздуха, благодаря чему для этих систем достигается заявленное среднее значение PUE, равное 1,1 (для всего ЦОДа DataPro планирует получить PUE порядка 1,3). Холодопроизводительность одной такой установки составляет 400 кВт (в каждую установку входят восемь модулей по 50 кВт). Как рассказал гендиректор DataPro Алексей Солдатов, испытания машин в разных, в том числе достаточно сложных режимах, подтвердили их заявленные технические характеристики.

Однако камнем преткновения стали сроки поставки: первые две машины приехали на площадку через три месяца после заказа, следующие две – еще через два месяца, а третья партия из четырех машин – только через полгода. А ведь для запуска в эксплуатацию всех очередей своего ЦОДа компании DataPro нужно будет установить 30 систем EcoBreeze. Получается, что эффективное решение пока невозможно построить быстро, и это печально.

Грани эксплуатации

Но вот дата-центр, неважно, энергоэффективный или нет, построен, и теперь нужно обеспечивать его бесперебойное функционирование, т.е. нужна отлаженная работа службы эксплуатации. В нынешнем году в России появился первый ЦОД, имеющий сертификат Uptime Institute на эксплуатационную устойчивость Tier III Operational Sustainability (это коммерческий дата-центр компании DataSpace). Однако проблемой эксплуатации вполне профессионально занимаются и в тех ЦОДах, которые и не помышляют о сертификации. Например, в Райффайзенбанке, имеющем по России целую сеть ЦОДов общей мощностью 1,3 МВт, решили объединить функции всех подразделений, участвующих в эксплуатации дата-центров, в общей группе управления ЦОДами, которая занимается поддержкой физической инфраструктуры и управлением всеми ресурсами ЦОДа (электричество, холодоснабжение, место для размещения оборудования). Как рассказала руководитель этой группы Ольга Габова, ее специалисты отслеживают все появляющиеся на рынке новые решения в области ИТ- и инженерного оборудования, чтобы использовать все возможности для сокращения энергопотребления, документируют все работы, выполняемые в ЦОДе, и составляют регламенты для всех возможных ситуаций. При этом используются специальные программные продукты, позволяющие фиксировать изменения в дата-центре, оценивать необходимое количество электричества и места для установки нового оборудования и последствия такой установки, а также осуществлять мониторинг работы инженерного и ИТ-оборудования. Большое внимание уделяется и кадрам, из которых благодаря обучению и обмену опытом уже сделали высококвалифицированных специалистов по комплексной поддержке ЦОДа. По словам О. Габовой, все эти меры позволили за последние семь лет сократить количество аварий (в том числе мелких) фактически до нуля (в «прежней жизни» остановки ЦОДа случались по два раза в месяц), довести доступность инфраструктуры до 100% и втрое сократить операционные расходы.

Важность обучения персонала для обеспечения бесперебойной эксплуатации дата-центра подчеркивают и в упомянутой компании DataSpace. Как отметила менеджер по обучению и операционному администрированию DataSpace Мария Гаденова, ошибки персонала зачастую как раз и обусловлены тем, что инженеры плохо знают вверенное им оборудование и поэтому неправильно его эксплуатируют. Правда, руководство компаний часто мотивирует отказ от финансирования программ обучения персонала их дороговизной, а также тем, что учеба отнимает рабочее время, а оценить преимущества профессиональной подготовки сотрудников довольно сложно (как узнать, произошла бы та или иная авария, если бы персонал прошел какой-то конкретный курс обучения?). Есть также вероятность, что обученный специалист вскоре уйдет работать к конкурентам, и по-этому программу обучения нужно дополнять программой удержания сотрудников. Тем не менее при правильной постановке система обучения позволит не только сократить время возврата оборудования в рабочее состояние и эксплуатационные расходы, но и поможет удержать квалифицированных сотрудников и укрепить трудовую дисциплину. Хорошим подспорьем при составлении программы обучения персонала ЦОДа может стать стандарт Uptime Institute на эксплуатационную устойчивость дата-центров Tier Standard: Operational Sustainability, где достаточно подробно описаны требования к количеству и квалификации сотрудников службы эксплуатации и к организации системы обслуживания оборудования. На основе этой информации можно составить программу обучения, список необходимых курсов, определить сроки и спланировать бюджет. Кроме того, нужно учесть, что определенные свидетельства о сдаче экзаменов, например инженерами-электриками, требуют государственные надзорные органы, так что без курсов по электробезопасности и т.п. не обойтись никак. Иногда, на радость руководству компании, можно организовать обучение персонала непосредственно на объекте. Тогда удастся сэкономить время на дорогу, обеспечить постоянную доступность сотрудников на случай нештатной ситуации и одновременно проконтролировать посещаемость учебных занятий. Однако если обучение требует наличия специального оборудования в классе, то КПД выездных занятий будет, несомненно, выше. Да, обучение может оказаться недешевой затеей (и поэтому руководство будет стараться отложить его до лучших времен), но надо понимать, что потраченные на эти цели средства – это инвестиции в будущую грамотную эксплуатацию дата-центра и весомый вклад в снижение риска возникновения аварийных ситуаций и простоев отдельных элементов оборудования и ЦОДа в целом. Но нужно еще уметь убедить в этом топ-менеджмент компании.

Столь же сложно порой убедить его в необходимости миграции на новые версии ПО, функционирующего в корпоративном ЦОДе. И опасения, связанные с этим «шагом в неведомое», иногда оправданы. Главные источники рисков, возникающих при миграции, – большой объем изменений, возрастающая сложность систем, бреши в системе инфобезопасности и неопределимый заранее бюджет этого проекта. Поэтому ИТ-службам нужно обеспечить полную предсказуемость процесса миграции, а для этого необходимо тщательно к нему подготовиться – составить план миграции, предусмотреть мероприятия по возврату в исходное состояние, если что-то пойдет не так, и провести тестирование на каком-либо сегменте корпоративной ИС. По мнению заместителя директора департамента системных инженеров ГК «Компьюлинк» Александра Белова, на грамотную подготовку нужно запланировать не менее 30% трудозатрат, выделенных на этот проект. Кстати, штатные инструменты для миграции от разработчика используемого ПО не всегда являются оптимальными (например, средства Microsoft не позволяют перескакивать через промежуточные версии ПО). Одношаговая миграция реализована, например, в инструментах компании Dell – Migration Manager for AD и Migration Manager for Exchange. Они также позволяют обновиться незаметно для конечных пользователей (процесс происходит при перезагрузке ПК) и при необходимости вернуться к первоначальному состоянию. А обновление того же Microsoft Exchange можно провести без перерыва работы электронной почты. Именно это и нужно бизнесу: все ИТ-сервисы, так же, как и весь дата-центр, должны работать непрерывно.