Дата-центр переезжает

Как показывает практика, при переносе ИТ-систем на другую площадку компании наталкиваются на множество подводных камней, и предварительное тщательное планирование столь хлопотного процесса – это 80% его успеха. Что же важно не упустить из виду, готовясь установить свое оборудование в коммерческом дата-центре? Приведенные ниже рекомендации сформировались в ходе консультаций и обсуждений с организациями, планировавшими переезд в ЦОД.

Будем исходить из того, что компания уже выбрала дата-центр, подходящий по местоположению, декларируемому уровню надежности (Tier), присутствию операторов связи, стоимости услуг и множеству других параметров, вплоть до дружелюбного отношения, квалификации и клиентоориентированности персонала ЦОДа.

Как правило, на период переезда создается рабочая группа, в которую помимо ИТ-специалистов включаются финансисты, представители административного и HR-блоков, коммерсанты и юристы. Это обусловлено немалыми затратами и потенциальными рисками, которые могут и должны оценить все участники рабочей группы и которые особенно велики при высоком уровне цифровизации деятельности компании. Снизить риски, сопряженные с переездом, поможет привлечение в рабочую группу специалистов выбранного дата-центра. 

В период, предшествующий переезду, с провайдером услуг ЦОДа прорабатывается договор на размещение ИТ-оборудования. Для уточнения деталей советуем попросить провайдера организовать для вас экскурсию по дата-центру. Это обычная практика, которая соответствует политике открытости большинства коммерческих ЦОДов.

Отношения с провайдером оформляются договором на оказание возмездных услуг ЦОДа, в котором учитываются действующие на объекте регламенты, политики и процедуры. 

На этапе запроса технико-коммерческого предложения (ТКП) у провайдера выбранного вами ЦОДа и подписания с ним соглашения о конфиденциальности (до принятия решения о подписании договора) рекомендуем также запросить:

Целесообразно выбирать провайдера, у которого в системе договоров с заказчиком имеется SLA. В SLA фиксируются показатели качества услуг colocation, гарантирующие бесперебойное энергоснабжение и поддержание температурно-влажностного режима, который предусмотрен рекомендациями ASHRAE – 2011 ТC9.9, и система компенсаций за их нарушение. Как правило, обсуждение этих вопросов – центральный пункт преддоговорной работы.

Договор с провайдером должен регламентировать процедуру обработки запросов. В большинстве современных ЦОДов применяются системы управления запросами заказчиков (тикетные системы), которые документируют деловую переписку по каждому запросу в нумерованный тикет – электронный документ (аналог медицинской карты в поликлинике), позволяющий регистрировать всю информацию: суть запроса, действия персонала ЦОДа, инциденты, результаты проведения работ и оказания дополнительных услуг администрирования, а также следить за соблюдением SLA и текущим статусом исполнения каждого запроса службой поддержки клиентов ЦОДа в процессе параллельной обработки потока поступающих запросов. 

Кроме того, полезно ознакомиться:

Один из основных вопросов при переезде – где именно будет размещено ИКТ-оборудование: в арендованных у провайдера стойках-шкафах или в собственных стойках, которые вы хотите перевезти? От этого решения будут зависеть состав и стоимость заказываемых услуг, а следовательно, и операционные затраты, включаемые в бизнес-план переезда. 

Для расчета затрат на услуги ЦОДа целесообразно провести инвентаризацию ИТ-оборудования, которое планируется переместить. В запросе ТКП, направляемом провайдеру, нужно указать потребность в стойко-местах, арендуемых стойках, соединительных линиях и прочих услугах. Многие провайдеры предлагают заполнить специальную форму (анкету), в которой указывается количество стоек, единиц размещаемого оборудования, их типы, размеры и мощности, разъемы, а также другие требуемые вам технические характеристики. Помощь в заполнении такой анкеты всегда могут оказать коммерческие и технические представители провайдера. 

В идеальной ситуации провести инвентаризацию перевозимого оборудования и получить ответы на запрос ТКП от разных провайдеров услуг ЦОДа следует до подписания договора с выбранным провайдером, но жизнь зачастую вносит в планы свои коррективы. Инвентаризация – процесс небыстрый и не всегда совпадает со сроками запроса ТКП. Иногда она вообще не проводится до начала переезда, которое может по тем или иным причинам сместиться. Версии коммерческих предложений обсуждаются и уточняются с провайдерами ЦОДов многократно в ходе переговоров и торга о ценах на услуги провайдера. Поэтому окончательный список услуг ЦОДа может быть сформирован как до подписания договора, так и непосредственно во время переезда или даже после него. Это создает дополнительные риски и напряженность для сторон, заключающих достаточно сложный договор возмездного оказания услуг.

Для ускорения ввода в эксплуатацию переносимых со старой площадки ИТ-систем следует заранее тщательно спланировать и документировать установку единиц оборудования в юниты стоек, рассчитать их энергопотребление, продумать организацию внутристоечных и межстоечных соединений, а также соединений между стойками, которые будут расположены в разных машинных залах ЦОДа. В идеале должен быть разработан проект размещения оборудования, учитывающий, с одной стороны, технические условия ЦОДа, а с другой – ваши потребности в инфраструктуре и коммуникациях. Наличие такого проекта облегчит жизнь и вам, и провайдеру, избавив от необходимости множества согласований. Проект может быть подготовлен провайдером либо специализированной организацией. 

Проект включает планы размещения и подключения стоек к системам бесперебойного энергоснабжения в машинном зале, распределения оборудования по стойко-местам/холодным коридорам, расчет потребляемой электрической мощности и мощности холодоснабжения. При размещении нестандартного оборудования провайдеру может потребоваться с помощью специального ПО промоделировать воздушные потоки в горячих и холодных коридорах машзала и провести их дополнительную оптимизацию.

После выделения провайдером предполагаемых номеров стойко-мест и/или стоек в серверном зале рекомендуем на месте оценить их расположение, проанализировать перспективы развития своего ИТ-узла и возможность комфортного проведения технических работ как в стойках, так и в клиентской комнате. 

Если часть работ по размещению оборудования в арендованные стойки и инсталляции соединительных линий планируется передать персоналу ЦОДа, то необходимо начертить фасады стоек (виды спереди и сзади), нанести номера и типы устанавливаемого в юниты оборудования и сформировать таблицу соединений портов патч-кордами.

При планировании размещения и эксплуатации оборудования в ЦОДе необходимо соблюдать технические условия: предельную допустимую мощность на одну стойку, максимальный ток на каждую из трех фаз в каждом вводе энергоснабжения стойки, ток на одну розетку. Это важно, поскольку у многих провайдеров стоят автоматические выключатели, рассчитанные на 16 А по каждой фазе. Для того чтобы не произошло непредвиденного срабатывания автомата по одной из фаз, может потребоваться установить другие разъемы, автоматические выключатели и кабели питания на 32 А. Это зависит от планируемой максимальной мощности потребления стоек при заполнении их оборудованием. При использовании своих стоек нужно согласовать с провайдером типы розеток для подключения к системе энергоснабжения ЦОДа. 

Обратите внимание на указанные в ТУ ограничения, а именно: 

Если в стойках размещается серверное или иное оборудование, имеющее только один источник питания, то рекомендуем установить автомат ввода резерва (АВР), который, как правило, можно взять у провайдера в аренду. Это с вероятностью 99,982% обеспечит бесперебойную работу серверного оборудования с одним источником питания (для ЦОДа уровня Tier III по классификации Uptime Institute). Провайдер дает подобные гарантии только для серверного оборудования с двумя взаимно резервируемыми источниками питания либо для оборудования с одним источником питания, подключенным через АВР, который обеспечивает энергоснабжение стоечного оборудования от одного из двух взаимно резервируемых независимых энерговводов стойки.

Принимая решение, использовать ли свои стойки или арендовать их у провайдера, важно выяснить максимальное количество юнитов в стойках выбранного ЦОДа. В некоторых ЦОДах высота стоек ограничена 45U. Следует учитывать планы дальнейшего развития своего ИТ-кластера: предусмотреть возможность увеличения количества стойко-мест для размещения новых стоек (собственных или арендованных) в холодном коридоре.

Если планируется арендовать у провайдера стойки целиком, то необходимо выяснить особенности системы распределения электропитания (PDU) внутри стоек. В некоторых ЦОДах устанавливают интеллектуальные PDU, которые обеспечивают защиту от превышения тока для каждой розетки, предусматривают удаленное управление (отключение и включение розеток в стойках) через интернет и локальную сеть ЦОДа и учитывают мощность, потребляемую подключенным оборудованием. Такие системы позволяют осуществлять удаленный мониторинг всего оборудования, установленного в стойке. Управление происходит по каналу защищенного удаленного доступа через интернет, и его можно делегировать клиентам ЦОДа. Такие сервисы не дешевы и требуют заблаговременного заказа у провайдера, но позволяют дистанционно полностью контролировать ситуацию с энергоснабжением размещенного в ЦОДе оборудования.

Система охлаждения оборудования, размещаемого в ваших стойках, может быть нестандартной. Охлаждающий воздух из холодного коридора может подаваться не на передний фасад стойки, а, например, сбоку или снизу. Такая схема требует разработки специального технического решения. Провайдеру нужно будет создавать в холодном коридоре нестандартные конструкции (специальные воздушные короба) или менять организацию существующих холодных коридоров, что повлечет за собой дополнительные расходы.

При размещении высоконагруженных стоек могут понадобиться:

Также могут потребоваться другие технические мероприятия, обеспечивающие повышенную мощность энергоснабжения и интенсивное охлаждение оборудования, размещенного в нагруженных стойках.

Мониторинг параметров энергоснабжения и климатических условий стойки – вопрос первостепенной важности. Мониторинг стоек в ЦОДе может быть организован по-разному: от наблюдения температуры и влажности в общем серверном зале на сайте ЦОДа до специальной опции, доступной в личном кабинете заказчика. Такая опция позволит контролировать температуру именно в том холодном коридоре, где установлены ваши стойки. Логично запросить у провайдера техническую возможность индивидуального сетевого подключения для мониторинга стоек в режиме реального времени. Конечно, можно установить свою систему дистанционного контроля температуры, но в случаях превышения температуры провайдеры, как правило, рассматривают жалобы заказчиков, основываясь на показаниях собственной системы мониторинга ЦОДа. 

Размещение оборудования в коммерческом ЦОДе зачастую влечет за собой необходимость усиления физической и информационной безопасности. В машинном зале можно по запросу создать cage-зону, т.е. обнести часть машзала защитным ограждением для эксклюзивного размещения ИТ-ресурсов. Такое ограждение из сетки, которая пропускает воздух, имеет дверь с механическими замками или замками СКУД и предотвращает физический доступ любых посторонних лиц. На огороженном пространстве располагаются стойки с холодными и горячими коридорами. Иногда для повышения физической безопасности дополнительное ограждение создается и под стойками, в пространстве фальшпола. В огороженные зоны можно дополнительно установить датчики систем охранной сигнализации, видеокамеры и датчики движения, средства доступа в зону по биометрическим данным.

До переезда необходимо спланировать резервируемую телеком-инфраструктуру, СКС и кросс-коннект, а также выбрать системы связи для подключения размещаемого оборудования. Возможно, вопрос с вводом в ЦОД двух ВОЛС от разных операторов связи уже решен – эту информацию предоставит провайдер. Могут потребоваться волокна, каналы L1 (лямбды), системы DWDM, каналы доступа в интернет и т.п.

Некоторые компании самостоятельно нанимают подрядчиков для прокладки в ЦОД собственной ВОЛС. Для этого необходимо запросить у провайдера технические условия ввода кабеля в ЦОД, его прокладки к стойко-месту, договор на сопровождение и технический надзор при проведении работ.

Далее следует проработать с провайдером техническую возможность заказа соединительных линий между стойками, между машинными залами дата-центра и третьими провайдерами услуг связи, имеющими точки присутствия в ЦОДе и обеспечивающими доступ в интернет и VPN. Нужно предусмотреть установку собственных или арендованных патч-панелей (коммутационных панелей) в стойках. При необходимости можно арендовать специализированные стойки для телеком-оборудования. Эти факторы влияют на инвестиционную составляющую бизнес-плана переезда и требуют оценки целесообразности того или иного варианта. Под эту же категорию работ подпадает создание сети коммутаторов в размещаемом в ЦОДе ИТ-кластере.

Можно заранее предусмотреть механизмы для удаленного управления серверными системами и СХД: KVM или ILO (Integrated Lights-Out – механизм управления серверами в условиях отсутствия физического доступа к ним).

Спланируйте также заполнение кабельных лотков, убедитесь, что в СКС провайдера места достаточно. При этом нужно учитывать, что для проводных соединительных линий и оптических кабелей используются разные системы лотков. Если вам понадобится установить дополнительные индивидуальные лотки, то необходимо это указать в запросе к провайдеру и провести их проектирование. 

Предварительный этап позволяет принять окончательное решение о соответствии новой площадки вашим требованиям. Далее начинается проработка процедур, связанных с собственно переездом, а именно:

Все эти работы компания выполняет самостоятельно или заказывает у провайдера. Подписание актов приема-передачи оборудования, принятого на ответственное хранение в ЦОД, обычно проводится после его размещения в стойке.

Стойки с установленным в них серверным и СХД-оборудованием имеют очень большой вес (до 1000 кг) и, как правило, не перевозятся без демонтажа. После демонтажа оборудование упаковывается для обеспечения безопасной погрузки-разгрузки и транспортировки на новую площадку. При отсутствии специальной договоренности сотрудники коммерческого ЦОДа обеспечивают только надзор, временное хранение и учет ввезенного оборудования и не занимаются его переносом по территории ЦОДа и монтажом в стойки. Это придется делать своими силами при помощи ручных тележек, предоставляемых провайдером.

Для минимизации перерывов в бизнесе требуется хорошо продумать весь процесс переезда и проводить его с концентрацией усилий, с привлечением дополнительного персонала или аутсорсинговых и транспортных компаний. Однако следует заметить, что услуги переезда в ЦОД обычно дороги (300–450 тыс. руб. за перенос трех стоек с оборудованием). 

Из-за пробок на дорогах завозить оборудование в ЦОД предпочтительнее ночью. Оборудование завозится крупными партиями и временно хранится в ЦОДе до момента его установки в стойки. Во многих ЦОДах имеется возможность безвозмездного хранения в течение одних-двух суток. Услуги более длительного хранения оказываются на возмездной основе, поэтому целесообразно ознакомиться с условиями хранения и обсудить их с провайдером заранее.

При переезде с привлечением аутсорсинговой компании или заказе логистических услуг у провайдера ЦОДа необходимо согласовать ответственность за случайную порчу перевозимого оборудования. Возможно, потребуются дополнительные затраты на проверку технического состояния и функционирования оборудования до и после переезда. В подобных случаях составляются технические акты с целью определения стороны, ответственной за возможный или проявившийся ущерб. Также на период переезда оборудование можно застраховать.

В заключение несколько слов о финальном документе, формализующем процесс переезда в ЦОД. Это согласованный всеми участниками проекта план-график организационно-технических мероприятий и работ с указанием даты и времени их проведения, ответственных лиц, необходимых контактов и, возможно, особыми условиями. На основании плана-графика контролируется процесс переезда на новую площадку.

Предоставление стоек провайдером может проходить поэтапно, каждый этап сопровождается подписанием сторонами актов о дате предоставления стойки и начале оказания услуг. Обычно с этой даты осуществляются платежи за услуги ЦОДа.

Надеемся, что описание рутинных, но жизненно необходимых процедур поможет участникам рабочей группы выработать консолидированную позицию и в минимальные сроки и с минимальными потерями (а лучше вообще без них) переместить ИТ-узел вашей компании в коммерческий ЦОД.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>