Rambler's Top100
Статьи ИКС № 12 2009
Алексей НОВИЧКОВ   08 декабря 2009

ЦОДы: в вычислительных «облаках» и на земле

Сегодня в России ЦОДы представлены во всем многообразии – корпоративные и коммерческие, базовые и резервные, мобильные и капитальные… Самые разные технологические и экономические аспекты их создания и функционирования обсуждались на конференции «ЦОД-2009: проектирование, построение, эксплуатация», обзор которой мы продолжаем в этом номере*.

Метод проб и ошибок при проектировании и строительстве ЦОДов уходит в прошлое. Появились эксперты, которые заранее могут сказать, на чем можно сэкономить, где следует строго следовать стандартам, а какие из разделов спецификаций относятся к категории заморской экзотики (например, не раз в ироническом ключе упоминавшаяся на конференции прописанная в стандарте TIA-942 высота забора на клиентской парковке).

Но есть вещи, которые заказчик дата-центра без всяких экспертов должен держать в голове. В частности, такой показатель, как предсказуемое время непрерывной доступности сервисов, или, как определил его Максим Иванов, гендиректор проектной компании ADM Partnership, «функциональная устойчивость». Вы не сможете ее обеспечить, даже выбрав абсолютно надежное оборудование, если упустите из виду вынужденные простои ЦОДа по причине выполнения штатных регламентных работ (и неважно, в отношении каких составляющих ЦОДа – здания, инженерной системы, ИТ- или телеком-оборудования – эти работы проводятся).

Впрочем, любые ошибки на этапе проектирования обходятся дорого. Предположим, вы выбрали достаточно производительное оборудование, но если совокупная стоимость владения им запредельно высока, то его эксплуатация может свести на нет все доводы в пользу обеспечиваемого этим оборудованием сервиса. Все многообразие факторов, влияющих на функциональную устойчивость ЦОДа, М. Иванов представил в виде пирамиды (рис. 1). Схожую иерархическую модель оценки рисков эксплуатации различных компонентов ЦОДа предложил консультант по управлению ИТ-рисками компании Symantec Константин Смирнов. В основании его пирамиды факторов риска также лежат здание ЦОДа, ИТ- и инженерная инфраструктура, а на вершине – бизнес-процессы и формализованные критерии успешности всего предприятия.

Не последнее место в этой пирамиде рисков, как отметил К. Смирнов, занимает человеческий фактор, поскольку персонал ЦОДа задействован практически во всех производственных цепочках, ведущих от конкретных технологических операций к бизнес-целям компании. Типичный пример – уход сотрудника, обладающего ключевыми знаниями, критичными для одной из технологических областей (скажем, уникальной компетенцией в области ИТ- или инженерной инфраструктуры). Потеря такой информации, находящейся лишь в голове конкретного работника и отсутствующей в проектной или эксплуатационной документации, часто бывает равнозначна отказу соответствующей системы.

К. Смирнов подчеркнул важность наличия инструментальных средств, позволяющих выстраивать цепочки влияния факторов риска нижних уровней пирамиды на целевые показатели бизнеса. Это могут быть как сложные, специализированные средства, так и более простые (вплоть до электронных таблиц Excel). В любом случае для построения таких моделей требуются высококвалифицированные специалисты, совмещающие знания в области ИТ-инфраструктуры и бизнес-процессов компании.

Наличие автоматизированных средств моделирования и разработки (для построения ли модели рисков или термодинамических процессов в ЦОДе) является, по мнению М. Иванова, одним из критериев подбора консультантов и проектировщиков. Так, использование проектной организацией САПР, с одной стороны, резко сокращает число ошибок и дает возможность восстановить часть утерянной проектной документации на уже существующем объекте, а с другой – помогает ускорить ввод ЦОДа в эксплуатацию: современные САПР позволяют представлять проекты в наглядных трехмерных картинках, что особенно выручает на этапе строительства и монтажа оборудования при дефиците квалифицированных исполнителей. А при моделировании процессов теплоотвода в ЦОДе можно заранее «проиграть» все конфигурации вычислительного оборудования, вместо того чтобы экспериментировать на работающем объекте.

К экономии через виртуализацию

Важной особенностью сегодняшнего развития ЦОДов, которую отметил Алексей Грачев, руководитель направления консалтинга EMC в России и странах СНГ, становится возможность постепенного перехода от модели традиционного ЦОДа к корпоративным облачным вычислениям. Преимущества традиционной модели корпоративного ЦОДа состоят в том, что его компания-владелец использует проверенные временем и полностью подконтрольные ей решения и сама обеспечивает физическую и информационную безопасность ИТ-систем.

Технология коммунальных, или облачных, вычислений развивается на протяжении 15 лет, и главное ее достоинство – динамичность и гибкость, возможность получать необходимые информационные ресурсы по требованию из удобного места, не заботясь о том, на какой физической системе они расположены. Сегодня многие компании пользуются услугами внешних провайдеров по принципу облачных вычислений,

По словам А. Грачева, переход от традиционного корпоративного ЦОДа к виртуальному («внутреннему облаку» – private cloud) заключается в предварительной консолидации среды хранения данных и последующем ее разделении на уровни обслуживания (в модели, предлагаемой EMC, таких уровней пять). Управление новой виртуализированной структурой производится, в частности, благодаря специальным программно-аппаратным средствам консорциума VCE (VMware, Cisco и EMC), которые позволяют значительно упростить хранение корпоративных данных. Новая модель так называемого корпоративного облака, состоящего из виртуального корпоративного ЦОДа («внутреннего облака») и традиционного аутсорсингового «внешнего облака» (рис. 2), совмещает в себе обе модели получения информационных сервисов в компании.

Наступление виртуализации вычислительных ресурсов идет широким фронтом на всю ИТ-инфраструктуру, и если этот процесс начался с виртуализации серверов и систем хранения, то сегодня набирает силу виртуализация рабочих станций и ПК. Это направление – относительно новое не только для России, но и для остального мира. Впрочем, по прогнозам Gartner, глобальное число виртуальных станций к концу 2009 г. должно достичь 4 млн штук. По оценкам другого аналитического агентства – The 451 Group, потенциально этот рынок в 20 раз больше рынка виртуализации серверов. Российская инжиниринговая компания Radius Group, как сообщил ее коммерческий директор Сергей Черепов, уже год занимается виртуализацией ПК и реализовала в этом направлении несколько проектов.

Важный аспект виртуализации рабочих станций – это энергосбережение в офисах компаний. С. Черепов обратил внимание на то, что компьютеры и другое ИТ-оборудование, размещенное в офисах, потребляют порядка 40–60% электроэнергии, расходуемой всем ИТ-оборудованием компании. Этот факт обычно остается незамеченным, поскольку энергопотребление офисного оборудования часто включают не в ИТ-бюджет, а в офисные расходы, в то время как объемы энергозатрат сопоставимы с аналогичными показателями ЦОДов.

Перенос вычислительных мощностей с настольных систем в ЦОДы позволяет существенно сократить затраты на энергопотребление офисов. Но не это в технологии виртуализации ПК главное. Согласно опросу самой Radius Group, российские менеджеры, решившиеся на внедрение виртуальных ПК, в первую очередь делают ставку на централизацию и защиту информации, которая в противном случае часто «размазана» по настольным ПК множества филиалов, а поэтому уязвима как для безвозвратной потери (кражи, пожары и т.п.), так и для банальной утечки. Кроме того, при централизации бизнес-информация становится более доступной для операционной деятельности всей компании. Другой важный аспект – это сокращение расходов на администрирование и поддержку офисного компьютерного оборудования, которые сегодня составляют львиную долю всех текущих затрат ИТ-отделов.

ЦОД как услуга

Отвечая на собственный риторический вопрос «Зачем телекоммуникационному оператору ввязываться в бизнес ЦОДов?», Вадим Ваньков, заместитель генерального директора по коммерческой деятельности ОАО «Комкор» (торговая марка «АКАДО Телеком»), подчеркнул, что темпы роста традиционных видов телекоммуникационных услуг с каждым годом уменьшаются и операторы заглядываются на новый перспективный «попутный» бизнес. По оценкам консалтинговой компании J’son & Partners, рынок услуг коммерческих ЦОДов в России в 2008 г. составил $160 млн и в ближайшие несколько лет, даже при пессимистическом сценарии развития экономики страны, будет расти минимум на 10% в год. Для «Комкора» недавно построенный коммерческий ЦОД стал третьим по счету. Бизнес компании на ниве ЦОДов ориентирован пока на два типа услуг – базовые (co-location, или размещение клиентского оборудования на площадях ЦОДа, и dedicated – аренда выделенных серверов) и телекоммуникационные. По оценке аналитиков, эти услуги приносят владельцам российских коммерческих ЦОДов львиную долю их доходов (в среднем по отрасли соответственно 75 и 11%).

В принципе же, как считает В. Ваньков, для привлечения клиентов сегодня уже недостаточно предоставления «простых» услуг (аренды площадей/энергомощностей/коммуникаций). Клиенту требуется комплексное решение его проблем с гарантией качества, зафиксированного в SLA (Service Level Agreement). Только в этом случае бизнесу коммерческих ЦОДов может сопутствовать успех. Поэтому в перспективе компания возлагает большие надежды на дополнительные виды услуг, включающие в себя аутсорсинг ИТ-инфраструктуры.

А КРОК, вышедший в этом году на рынок коммерческих ЦОДов, изначально делает ставку на разнообразные услуги аутсорсинга. Как сообщил руководитель аутсорсингового ЦОДа компании КРОК Дмитрий Хороших, сейчас его емкость составляет 70 стойко-мест, а к 2011 г. компания планирует довести этот показатель до 700.

Естественно, что услуга co-location и здесь составляет значительную долю бизнеса. Впрочем, она всегда будет востребована, ведь части клиентов обязательно понадобится то или иное уникальное вычислительное оборудование, которого нет на рынке аутсорсинга. Тем не менее, чтобы в полной мере реализовать свое пре-имущество как системного интегратора, КРОК заинтересован в моделях аутсорсинга с высокой добавочной стоимостью. В первую очередь это аренда уже имеющегося в ЦОДе ИТ-оборудования, т.е. серверов и систем хранения данных вкупе с коммуникационной «обвязкой». В настоящее время это синонимично аренде виртуального оборудования: современные держатели коммерческих ЦОДов с самого начала ориентируются на виртуализированную вычислительную среду.

К аутсорсингу более высокого уровня относятся услуги типа SaaS (Software as a Service), например популярная среди российских клиентов аренда сервера MS Exchange, которую, кстати, давно практикует КРОК. Другими предложениями могут быть корпоративные автоматизированные системы (CRM, ERP и т.п.). Конечно, высший пилотаж в этом бизнесе – передача всех ИТ-сервисов компании-клиента на аутсорсинг. Если же говорить реально, то для России, по мнению Д. Хороших, в этом спектре услуг пока актуально развертывание у аутсорсера полностью арендуемого резервного ЦОДа.

Такой замечательный клиент

К сожалению, как отметил Сергей Зайцев, директор управления развития компании Stack Group, Россия сегодня не на проценты, а в разы отстает от Запада в развитии услуг аутсорсинга. И такое отставание с годами, увы, не сокращается. Причину этого явления С. Зайцев видит не в характеристиках ИТ-систем или инженерного обеспечения, а в отсутствии гарантий обеспечения качества обслуживания.

Ключевым моментом при составлении SLA должна быть ориентация на бизнес-процессы заказчика, ведь конечная цель последнего – поддержание непрерывности своего бизнеса, а не аренда стоек или мощностей. Но нахождение компромисса в виде SLA требует определенной компетенции в используемых технологиях у обеих договаривающихся сторон. Как убежден С. Зайцев, заказчик для составления договоров на обслуживание должен привлекать экспертов, которые хорошо знают его бизнес-процессы и могут сопоставить их с возможностями, предоставляемыми аутсорсером.

Ведь часто для обеспечения приемлемого уровня цен на свои услуги аутсорсер вынужден прибегать к найму внешних подрядчиков, например при обслуживании той же инженерной инфраструктуры или предоставлении каналов связи. Но такие подрядчики пока не готовы разделить ответственность за нарушение бизнес-процессов конечного клиента наравне с самим аутсорсером. Для преодоления этого противоречия Stack Group, например, сформировала собственные сервисные бригады для поддержки оборудования, которые укладываются в нормативы, предусмотренные в SLA.

Точку зрения клиента на требования к услугам, предоставляемым коммерческими ЦОДами, изложил Константин Чумаченко, заместитель директора Московского Internet Exchange (MSK-IX). Надо, правда, отметить, что оператор обмена интернет-трафиком (Internet eXchange Provider, IXP) – не совсем обычный потребитель услуг ЦОДа, поскольку выступает в некотором смысле бизнес-партнером последнего.

Будучи посредником в обмене трафиком между операторами различных услуг связи (включая интернет-провайдеров, поставщиков контента и SaaS-приложений, хостинг-провайдеров, корпоративные сети и т.п.) и располагаясь на территории конкретного ЦОДа, IXP образует вокруг себя некое системное сообщество, как назвал его К. Чумаченко, – «экосистемное партнерство» (рис. 3). Такой конгломерат клиентов, в свою очередь предоставляющих не конкурирующие между собой услуги, может привлекать в ЦОД новых клиентов, что и является для ЦОДа основным стимулом к размещению IXP на своих площадях.

В то же время, чтобы привлечь к себе оператора обмена интернет-трафиком в качестве клиента, ЦОД  должен удовлетворять ряду требований, в частности предъявить достаточную базу операторов-участников, заинтересованных в услугах IXP (и при этом не быть ангажированным одним из таких операторов), иметь достаточный объем канальной емкости и предоставить IXP возможность масштабировать свою коммуникационную инфраструктуру, чтобы не ограничить его бизнес на взлете.

Однако основные клиенты, как говорит С. Зайцев, в расчете на которых строятся ЦОДы с уровнем надежности Tier III и выше, – это высокодоходные крупные заказчики из финансового, страхового или телекоммуникационного секторов. И препятствием к использованию такими клиентами услуг аутсорсингового ЦОДа часто является стандартный «копеечный» штраф в размере 1/720 стоимости месячного обслуживания, который предлагается в качестве компенсации за простой, в то время как клиент теряет миллионы. Именно отсутствие приемлемых условий в SLA толкает сегодня многие богатые компании на строительство собственных ЦОДов.

Пусть маленький, но свой

Реализация серверной комнаты в виде перевозимого контейнера – один из вариантов организации собственного ЦОДа, который регулярно обсуждается на каждой конференции. Однако стоит ли в принципе покупать контейнерный ЦОД в корпоративных целях, если удельная стоимость такого вычислительного комплекса на одну стойку часто проигрывает обычному стационарному ЦОДу в капитальном здании? Андрей Фокин, менеджер по системам хранения данных компании Huawei Symantec Technologies, считает, что стоит. Ведь при поэтапной реализации проекта развертывания крупного ЦОДа с разделением на несколько очередей ввода в эксплуатацию для обеспечении окупаемости проекта на начальной его стадии гораздо эффективнее использовать небольшой контейнерный ЦОД, чем сразу строить/перепланировать большое здание, в котором продолжительное время под реально функционирующее оборудование будет занята лишь небольшая его часть.

Кроме того, иногда контейнерные реализации ЦОДов имеют дополнительные конкурентные преимущества. Например, в мобильном ЦОДе (МЦОД) от Huawei Symantec внешняя обшивка контейнера используется в качестве теплообменника: отработанный горячий воздух из стоек прогоняется вдоль внутренней стороны металлической стенки контейнера, в то время как наружные вентиляторы продувают атмосферный воздух вдоль ее внешней стороны.

Правда холодопроизводительность этой системы имеет жесткие физические ограничения. По словам А. Фокина, она позволяет отводить в 6-метровом ISO-контейнере лишь 50 кВт тепла, поэтому компания предлагает такой ЦОД в компоновке с пятью-шестью стандартными стойками высотой 42U. Эти контейнеры все-таки комплектуются внешним кондиционером, который поставляется в виде отдельного модуля. Кондиционер может подключаться поочереди к нескольким контейнерам и, как правило, используется на начальном этапе их запуска в работу, чтобы нормализовать влажность в герметично замкнутом пространстве МЦОДа. В 12-метровом ISO-контейнере предлагаемая схема позволяет поддерживать работу уже до 10 стоек с активным оборудованием, однако при большем числе стоек Huawei Symantec комплектует свои МЦОДы системами встроенного кондиционирования с внешним водяным контуром.

О контейнерном ЦОДе с внешней инфраструктурой кондиционирования рассказал и Сергей Члек, руководитель направления BladeSystem HP в России. Это решение HP получило название Performance Optimized Datacenter (POD). Для достижения высокой плотности компоновки в 12-метровом ISO-контейнере разработчики HP разместили 19-дюймовые стойки собственного производства с глубиной 1000 мм и нестандартной высотой 50U. POD вмещает в себя 22 (!) таких стойки, образующие сплошной ряд, который делит контейнер на два «герметичных» коридора – горячий и холодный. В результате емкость контейнера составляет 1100U. За счет применения водяного охлаждения с многочисленными теплообменниками, расположенными под потолком, контейнер способен отводить до 27 кВт тепла от стойки (теоретически до 35 кВт), а в общей сложности – до 600 кВт. При этом ЦОД показывает высокую эффективность энергопотребления: заявленный компанией коэффициент PUE (power usage effectiveness) равен 1,25 при среднем значении по отрасли – больше двух.

В контейнере POD можно расположить, например, выносной высокопроизводительный серверный кластер для корпоративного ЦОДа или устроить резервный ЦОД для катастрофоустойчивых конфигураций. Однако надо помнить о том, что POD практически не содержит инженерной инфраструктуры – подача охлажденной воды для теплоотвода, как, впрочем, и бесперебойное электроснабжение, обеспечивается за счет внешних систем.

Тенденции комплектования и управления

Как это ни удивительно, но ИТ-наполнение современных российских ЦОДов уже во многом отечественное. Виктор Урусов, директор по продуктовому маркетингу и системной интеграции компании DEPO Computers, отметил, что половина производимых ими серверных систем закупается российскими ЦОДами, а, по данным аналитиков (Gartner и IDC), в первой половине 2009 г. этот производитель по числу поставляемых на российский рынок серверов вышел на второе место.

Выбор ИТ-систем для ЦОДов имеет свои особенности. Если для обычных корпоративных клиентов главный критерий выбора – отношение цена/производительность, то, как подчеркнул В. Урусов, для крупных ЦОДов таким критерием является отношение производительности к единице занимаемого в стойке объема (1U) или же удельное тепловыделение на 1U. По его словам, до настоящего времени 80% всех установленных серверов в российских ЦОДах составляют обычные двухпроцессорные 1U-серверы. Однако тенденция постепенно меняется и все большим спросом пользуются так называемые twin-системы высотой 1U или 2U, в чьи корпуса вставляются соответственно две или четыре материнские платы. Это своего рода компромисс, переходная форма между классическими и блейд-системами.

Производительность серверной «начинки» также с каждым годом растет по всем направлениям, и отправной здесь точкой является выпуск новых семейств процессоров (серверы DEPO Computers сегодня комплектуются новым семейством процессоров Intel с архитектурой Nehalem). А это влечет за собой и новые требования к ОЗУ серверов, устройствам ввода-вывода, накопителям на жестких дисках, системам коммутации и т.п. Кстати, именно Ethernet-коммутаторами DEPO Computer в этом году собирается пополнить комплекс своих решений для ЦОДов.

Собственно, суть ЦОДа изначально и составляла эта триада ИТ-оборудования – серверы, системы хранения данных и сетевые коммутаторы. Владельцы же крупных ЦОДов сталкиваются с проблемой согласованного управления всеми этими тремя «доменами» ИТ-инфраструктуры, поскольку нередко они находятся в ведении разных ИТ-специалистов или их команд. Очень часто такое управление осуществляется вручную с помощью консольных средств, а документирование и протоколирование ведутся в виде электронных таблиц или даже обычных текстовых файлов. Данный подход связан с большой вероятностью внесения ошибок при конфигурировании систем, а также с плохой прогнозируемостью доступных вычислительных и сетевых ресурсов.

Один из подходов к этой проблеме разрабатывает HP. Как рассказал технический консультант департамента программных решений HP в России Константин Васильев, для унификации управления компания предложила программный комплекс Datacenter Automation, который включает в себя компоненты для управления серверами, системами хранения и сетевой средой, а также некий интегрирующий инструмент HP Operation Orchestration – визуальную среду программирования «кроссплатформенных» и «кроссдоменных» потоковых операций для автоматизации рутинных процедур в ЦОДах. Такой комплекс позволяет автоматизировать управление не только в чисто технологических «доменах», но и в смежных ИТ-системах, включая базы данных, службы каталога, почтовые серверы и т.п.

Особое внимание на проблему управления оборудованием в ЦОДе, связанную с отслеживанием доступных ресурсов, обратил Дмитрий Петров, инженер инфраструктурных проектов компании Complete. Например, для сбора информации в стойках ЦОДа о возможности резервирования оборудования по питанию, о доступных энергоресурсах (по потребляемой мощности и по физической доступности розеток), ресурсах охлаждения, да и просто о свободном пространстве для размещения оборудования, Complete предлагает использовать модуль Capacity Manager в составе комплексной системы мониторинга InfraStruXure Central Enterprise компании APC. Эта система ведет собственную инвентаризационную базу данных и способна в интерактивном режиме отслеживать, например, потребляемую оборудованием мощность благодаря интерфейсу с интеллектуальными PDU-системами.

Другой модуль той же системы – Change Manager – позволяет держать под контролем перемещение оборудования при внесении изменений в инфраструктуру ЦОДа. Это особенно актуально в крупных ЦОДах, где из-за большого объема инсталлированного оборудования после нескольких перемещений бывает трудно определить, в какой стойке установлен тот или иной сервер. Автоматизация учета оборудования производится с помощью штрих-кодов, наклеиваемых на стойки и серверы, и последующего их считывания сканером и занесения в инвентаризационную базу данных. Хранимая в базе данных информация отображается в графическом интерфейсе, и администратор может сразу определить, в какой стойке какое оборудование установлено.

  

Как мы видим, ЦОДы сегодня превращаются в место невиданной доселе концентрации разнообразного оборудования и систем, вследствие чего возникает новый уровень сложности управления, ответом на который становятся средства виртуализации ресурсов, организации облачных вычислений и централизации управления инженерной и ИТ-инфраструктурой. Очевидно, что спрос на эти технологии, все еще редкие для России, с каждым годом будет только возрастать.  
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!
Поделиться: