• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

От зрелости технологий – к зрелости бизнеса и сервисов

Развитие дата-центров у нас в стране напоминает пройденный некоторое время назад этап развития ШПД: инфраструктура активно строится, предлагаются базовые услуги и по технологиям вроде не очень отстаем от Запада, а до зрелого бизнеса еще надо дорасти.

На пути к дефициту

Рынок дата-центров, похоже, завершает очередной виток своего развития: аналитики и участники рынка опять заговорили о грядущем дефиците мест в коммерческих ЦОДах. И это при том, что за последний год заметно увеличились площади вводимых в строй объектов и уже никого не поражают анонсы дата-центров с площадью машинных залов в несколько тысяч квадратных метров, где можно разместить 1000 стоек и более. Правда, дефицит мест ожидается только в дата-центрах повышенной надежности, т. е. тех, у которых заявленное качество инженерной инфраструктуры соответствует уровню Tier III. Причем относительно крупные заказчики этот дефицит уже фактически ощущают: далеко не в каждом качественном ЦОДе можно найти место даже для 50 стоек с энергопотреблением 10–15 кВт, а если заказчик еще предъявляет сколько-нибудь повышенные требования к SLA, каналам связи и территориальному расположению, то поиск приемлемого дата-центра может сильно затянуться. В связи с чем припоминается история годичной давности, когда компания КРОК даже не стала устраивать официального открытия своего второго коммерческого дата-центра: все его площади, рассчитанные на 110 стоек, еще на этапе эксплуатационных испытаний занял один неназванный, но, по всей видимости, крупный и серьезный заказчик, и ЦОД остался закрытым для всего остального мира.

По данным аналитической компании «Современные телекоммуникации», по состоянию на начало 2012 г. в России работал 41 коммерческий дата-центр, который можно отнести к категории повышенной надежности (т. е. операторы таких ЦОДов заявляют о соответствии своих объектов уровню Tier III или даже выше), общей площадью 17 400 кв.м или 6320 стойкомест. Данные о суммарной полезной площади российских коммерческих дата-центров опять же по состоянию на конец 2011 г. дает компания J’son & Partners – 60 980 кв.м. Таким образом, доля качественных ЦОДов составляет примерно 28%, и их площади, по прогнозам «Современных телекоммуникаций», в течение 2012 г. увеличатся в 1,3 раза. Однако не стоит думать, что на рынке наблюдается какой-то перекос в сторону высоконадежных дата-центров: общие площади российских коммерческих ЦОДов в течение 2011 г., по подсчетам J’son & Partners, увеличились почти на 63%, т. е. относительно низкоуровневые ЦОДы тоже активно строятся.

Оптимизация по всем направлениям

Владельцы практически всех дата-центров, за исключением очень богатых организаций, изначально не обремененных финансовыми проблемами, всегда старались выжать из своего объекта по максимуму. И это вполне объяснимо: ЦОД дорог не только в построении, но и в эксплуатации. Технологии этого «выжимания» сейчас охватывают повышение КПД работы не только инженерной, но и ИТ-инфраструктуры.

Производители ИБП, которые уже почти уперлись в потолок максимально возможного КПД своих изделий, добирают последние крохи за счет оптимизации режимов работы оборудования и разработки специального ПО для такой оптимизации. Уже есть интеллектуальные системы, которые оптимизируют распределение нагрузки, обеспечивая максимальный КПД при неполной загрузке ИБП. Для повышения общего КПД системы бесперебойного питания используются модульные решения, которые позволяют переводить в «спящий режим» часть модулей, повышая тем самым загрузку оставшегося оборудования. Например, в модульном ИБП Eaton 9395, объясняет Сергей Амелькин (Eaton), адаптивная система управления может переводить часть модулей в режим ожидания, следовательно, оставшиеся будут работать более эффективно. «При повышении нагрузки система автоматически переводит «спящие» модули в режим двойного преобразования менее чем за 2 мс, т. е. серверы «не заметят» переключения», – констатирует он.

Производители серверного оборудования основной упор делают на повышение производительности в расчете на единицу потребляемой мощности. Поэтому в последнее время все популярнее становятся так называемые микросерверы с энергоэффективными процессорами, такие как Supermicro MicroCloud, Dell PowerEdge C и т.д., которые можно размещать в шасси с единым питанием и охлаждением. При выборе СХД заказчики все чаще ориентируются на использование дисков форм-фактора SFF (2,5 дюйма): хотя они и дороже, чем 3,5-дюймовые, но у них выше плотность записи данных, меньше тепловыделение и энергопотребление. Сергей Платонов из компании AVRORAID отмечает также тенденцию использования конвергентной инфраструктуры для построения сетей хранения и передачи данных в дата-центре. Такая инфраструктура позволяет заметно сократить количество используемых в сети адаптеров, коммутаторов и кабелей, а также снизить требования к площадям, питанию и охлаждению, т. е. уменьшить капитальные и операционные затраты.

Подавляющее большинство современных дата-центров строится с использованием технологии 10G Ethernet, растет также интерес к технологии iSCSI и файловым хранилищам на основе высокопроизводительных интерфейсов. Конвергентные сети также можно строить на базе транспорта Infiniband. Кроме того, уже существуют решения, которые при помощи виртуального протокола межсоединений Virtual Protocol Interconnect (VPI) обеспечивают пропускную способность до 56 Гбит/с и поддерживают широкий набор сетевых протоколов, протоколов для СХД (NFS, CIFS, iSCSI, NFS-RDMA, SRP, iSER, Fibre Channel, Clustered Storage, FCoE и FCoIB), кластерных систем и систем управления сетями (SNMP, SMI-S). «В последнее время все большую популярность приобретают объектные системы хранения, преимущества которых – практически неограниченная масштабируемость и возможности интеллектуального управления неструктурированными данными, – добавляет С. Платонов. – Но этот класс систем предназначен для хранения исключительно постоянного содержимого и не подходит для задач, требующих интенсивного изменения данных и параллельной работы с объектами».

Конечно, редкий дата-центр теперь обходится без такого метода оптимизации использования серверов и СХД, как виртуализация. «На сегодня это наиболее выгодное решение для эффективного использования оборудования, – подтверждает Денис Андриков («Открытые Технологии»). – Следует ожидать, что в ближайшем будущем значительная часть решений будет опираться именно на возможности виртуализации». В частности, благодаря ей появляется возможность добиться экономии энергопотребления и гибкого использования оборудования путем переключения его ресурсов между задачами. При этом само оборудование может располагаться на территориально распределенных площадках, что тоже вносит свой вклад в повышение эффективности использования ресурсов.

Понятно, что каждый компонент инженерной и ИТ-инфраструктуры ЦОДа можно тем или иным образом оптимизировать. Но реальный интерес к развитым серверным системам и оборудованию коммутации для ЦОДов, по мнению Дмитрия Хороших (Cisco Systems), стал расти лишь с появлением комплексных услуг в портфолио российских дата-центров. Комплексность услуг сервис-провайдера, скорость их выхода на рынок, а также уровень автоматизации операций являются ключевыми преимуществами в конкурентной борьбе на рынке коммерческих дата-центров. Для их реализации производители уже предлагают провайдерам комплексные вычислительные решения, в частности Vblock и FlexPod, которые значительно сокращают время проектирования и развертывания инфраструктуры ЦОДа. На рынке есть также решения для предоставления вычислительных сред, совместной работы пользователей, видео- и аудиоконференций, которые изначально ориентированы на создание комплексных законченных услуг. «Если вы, к примеру, предоставляя услугу colocation, снизите затраты на охлаждение на 20%, то общие затраты на ЦОД снизятся на 6–8% и соответственно увеличатся ваша прибыль и конкурентное преимущество, – поясняет Д. Хороших. – Но если ваш дата-центр предоставляет услуги более высокого уровня, то вклад инженерной инфраструктуры в себестоимость в них значительно ниже, и эффект от технологий энергосбережения для систем охлаждения будет на порядок меньше. При этом внедрение, например, технологии автоматизации разворачивания типовых сервисов способно сократить затраты на администрирование систем вдвое».

Успехи «аптаймизации»

«Cтрасти по Uptime» в последнее время несколько поутихли, что и неудивительно: сертификат Uptime Institute, ранее казавшийся уделом чуть ли не небожителей, теперь есть у нескольких проектов российских дата-центров, а за прошедший год к списку проектов «настоящих Tier III» (DataSpace 1, самарский ЦОД «МегаФона» и дата-центр «Компрессор» компании КРОК) добавился МегаЦОД Сбербанка. Он, по заявлению владельцев, является сейчас крупнейшим в Европе (общая площадь – 16,5 тыс. кв.м, площадь серверных помещений – 5000 кв.м, энергопотребление – 25 МВт). Но зато знаковым событием можно назвать получение первым российским коммерческим ЦОДом сертификата Tier III Facility, т. е. на саму площадку, построенную в полном соответствии с ранее сертифицированным проектом (все ведь знают национальные особенности строительства, когда проект и результат могут иметь весьма косвенное отношение друг к другу). Пионером стал московский дата-центр компании DataSpace (к тому же еще в ноябре 2010 г. проект DataSpace 1 первым в России получил сертификат Tier III Design). Теперь в планах компании – получение сертификата Uptime на эксплуатацию своего ЦОДа, а в мире пока только пять дата-центров имеют такие сертификаты.

Вообще стоит отметить, что интерес к процессу сертификации в Uptime Institute в мире не затухает. Если год назад на сайте этой организации указывалось 12 площадок, имеющих сертификат Tier III Facility, и 48 проектов с сертификатом Tier III Design, то сейчас таковых соответственно 30 и 84 (хотя, конечно, доля обладателей любых сертификатов среди тысяч существующих в мире дата-центров исчезающе мала). О планах сертифицировать свои площадки объявили также КРОК и Сбербанк, но когда это произойдет, прогнозировать сложно. Во всяком случае у DataSpace на эту процедуру ушло почти 11 месяцев.

Отношение участников рынка к сертификации в Uptime остается неоднозначным. Кто-то согласен с тем, что наличие такого сертификата у коммерческого ЦОДа дает ему определенные конкурентные преимущества, кто-то считает, что лучшим «знаком качества» для дата-центра является многолетняя работа без сбоев, а серьезные клиенты все равно будут проводить собственный аудит любого ЦОДа, прежде чем решатся воспользоваться его услугами. Что же касается сертификации корпоративных дата-центров, то ее многие считают бесполезной. Среди иностранных сертифицированных корпоративных ЦОДов заметную группу составляют банки, вот и наш «Сбер» решил отличиться. С практической точки зрения этот шаг должен быть ориентирован на зарубежных клиентов и партнеров, поскольку подавляющее большинство из десятков миллионов российских клиентов Сбербанка слова Uptime никогда не слышали, и даже если им объяснить его значение, вряд их удастся убедить в том, что благодаря этой бумаге очереди в отделениях банка станут короче, а деньги со счета на счет будут ходить быстрее.

«Зеленые» призы и ЦОДпил

Кстати, Сбербанк поучаствовал и в другой инициативе Uptime Institute, призванной поощрить самые «зеленые» и энергосберегающие дата-центры: в этом году он со своим МегаЦОДом вышел в финал конкурса Uptime Green Enterprise IT (GEIT) Award в номинации «инновационный дизайн» за систему охлаждения с пластинчатым статическим воздушным теплообменником (Plate Exchange Air Handling Units, PAHU). Этот теплообменник позволяет системе охлаждения работать в режиме фрикулинга 78% времени в году, благодаря чему коэффициент энергоэффективности PUE для этого дата-центра составляет 1,32. Ну а победителем в данной номинации стал ЦОД компании Bell Canada за достижение «самого низкого PUE с использованием стандартного оборудования». В его системе охлаждения установлено пять модулей KyotoCooling, отводящих 800 кВт тепла каждый (а ведь еще недавно колеса KyotoCooling считались экзотикой, и вот перешли в разряд «стандартного оборудования»). В режиме полного и частичного фрикулинга этот дата-центр работает 98% времени и имеет PUE 1,266.

Приятно, конечно, что российский ЦОД демонстрирует высокоуровневые энергосберегающие технологии, которые удостаиваются столь высокой оценки авторитетной организации. Но если посмотреть, в какую сумму влетела эта «экология» клиентам Сбербанка, то повод для гордости сильно меркнет. Общая стоимость проекта составила $1,2 млрд, так что Сбербанк, наверное, может претендовать на место в книге рекордов Гиннеса: квадратный метр машинных залов в его ЦОДе обошелся в $240 тыс. (!). Для сравнения: стоимость строительства уже упоминавшегося ЦОДа DataSpace составила около $90 млн, а площадь серверных помещений в нем – 3000 кв.м, что означает $30 тыс./кв.м, или в 8 раз меньше. Как говорится, почувствуйте разницу. И ведь никак нельзя заподозрить DataSpace в сооружении дешевой халтуры, поскольку сертификат есть и на проект, и на готовую площадку. Пусть PUE у ЦОДа DataSpace повыше, чем у Сбербанка, – 1,5 вместо 1,32, но тогда получается, что «экологическая» разница в восемнадцать сотых тянет больше чем на $1 млрд. Не многовато ли? Да и заявления Сбербанка об окупаемости МегаЦОДа за 2,5 года вызывают, мягко говоря, очень большие сомнения.

Этот размах «инвестиций» заставляет вспомнить об одном из крупнейших в мире дата-центров – небезызвестном SwitchNAP, расположенном в Лас-Вегасе. Строительство этого ЦОДа общей площадью 38 тыс. кв.м с подведенной мощностью 250 МВт и полностью зарезервированной системой охлаждения, использующей в зависимости от погоды чиллеры, фреоновые кондиционеры, системы прямого забора внешнего воздуха и теплообменники и обеспечивающей в условиях жаркого климата штата Невада PUE, равный 1,21, обошлось компании Switch Communications в кажущиеся почти смешными $350 млн. При этом без всяких сертификатов Uptime этот ЦОД вот уже не первый год гарантирует клиентам 100%-ную доступность (у дата-центра Tier III она должна составлять 99,982%, а Tier IV – 99,995%). Размер капитальных затрат в расчете на 1 кВт подведенной мощности при полной нагрузке составляет у SwitchNAP всего $1400, а у дата-центра Сбербанка – $48 тыс. (для среднего ЦОДа уровня Tier III, по статистике Uptime, – порядка $20 тыс.).

Кстати, на смену Сбербанку уже спешит «Ростелеком», недавно объявивший о начале строительства в Москве своего головного дата-центра, который создается в рамках реализации проекта Национальной платформы облачных вычислений. И уже этот ЦОД грозит стать самым большим в России. Это будет модульная трехэтажная конструкция на территории московского завода «Серп и молот» с серверными залами площадью 10 тыс. кв.м и подводимой мощностью 40 МВт. Первые модули планируется запустить в эксплуатацию во второй половине 2013 г. И конечно же, этот ЦОД будут сертифицировать на уровень Tier III в Uptime Institute (правда, о планах завоевания «зеленых» призов пока не слышно). Хотя кому «Ростелеком» собирается доказывать надежность своего дата-центра, непонятно. Все равно в соответствии с каким-нибудь будущим своевременно выпущенным распоряжением правительства РФ все госучреждения пойдут стройными рядами за облачными сервисами в ЦОД нашего облачного монополиста и заплатят за них из карманов налогоплательщиков те цены, которые этот монополист назначит. А то сейчас, например, департамент информационных технологий Москвы держит часть своих ИТ-ресурсов, которые обслуживают госпрограммы «Информационный город» и «Открытое правительство», в коммерческом дата-центре. Надо эту вольницу прекращать.

Ростки энергосбережения

Есть, конечно, среди российских цодостроителей и те, кто стараются и энергосберегающие технологии использовать, и получить при этом приемлемый бизнес-кейс. «ВымпелКом», затеяв проект модульного дата-центра в Ярославле общей площадью 3 тыс. кв.м, поставил задачу при 100%-ном резервировании всех систем добиться PUE не более 1,3 при энергопотреблении одной стойки в 20 кВт. Разные экзотические системы электропитания и охлаждения, обещающие высокую энергоэффективность, конечно же, рассматривались, но остановиться решили на динамических ИБП и системе естественного воздушного охлаждения с использованием теплообменников, поскольку они позволяют получить приемлемые сроки окупаемости ЦОДа.

Система фрикулинга российской компании Ayaks Engineering с роторными теплообменниками установлена в новом дата-центре «Яндекса», где обеспечивает охлаждение серверных залов площадью 2,2 тыс. кв.м. Естественное охлаждение применяется и в ЦОДе Linxdatacenter с подведенной мощностью 12 МВт, открытом осенью 2011 г. в С.-Петербурге. Компания StoreData в своем экспериментальном дата-центре StoreData_Eco решила пойти другим путем и поставила задачу добиться минимального показателя PUE при использовании традиционного оборудования, которое, как предполагается, еще не исчерпало своих резервов в деле повышения энергоэффективности. Там не будет фрикулинга, но зато обычная компрессорная DX-система охлаждения получит интеллектуальную систему мониторинга и управления, а за словечко Eco будет отвечать экорежим обычных ИБП.

Все эти технические изыскания в принципе идут в русле мировых тенденций цодостроения, которые предполагают максимальное использование естественного охлаждения, упрощение и удешевление всего сооружения. Конечно, пока они не достигли той степени зрелости «простоты» и «естественности», какую можно увидеть в дата-центрах Google и Yahoo, за свой внешний вид и принцип охлаждения прозванных курятниками (кстати, «курятник» Yahoo был отмечен в уже упомянутом конкурсе Uptime Green Enterprise IT 2012 как дата-центр с «системой пассивного охлаждения нового поколения»). Но цель эта вполне достижима – и уж во всяком случае она не требует инвестиций в миллиарды долларов.

Российские специалисты – по крайней мере те из них, кто работает на настоящем конкурентном рынке, – кроме новых технологий, применяемых в ЦОДах, быстро осваивают и умение просчитывать их окупаемость. Осталось только активизировать созревание в деле разработки и предоставления сервисов, более сложных, чем colocation. Да, пока услуга colocation интересует порядка 80% клиентов коммерческих дата-центров, но сокращение спроса на базовые сервисы и переключение потребителей на облачные услуги не за горами, пусть и не очень близкими и низкими. И к этому нужно готовиться.