Rambler's Top100
Реклама
 
Статьи
Александр ЛЕБЕДЕВ  14 июля 2020

Как построить ЦОД с нуля

Компания «РТП-Медиа» (входит в ГК «Столичные кабельные сети»), закончившая недавно строительство собственного ЦОДа, который использует как для собственных нужд в сфере телеком-услуг, так и в коммерческих целях, делится накопленным в ходе этого проекта опытом.

Потребность в новом ЦОДе была обусловлена рядом причин. Во-первых, возрос объем предоставляемых услуг: когда компания в 2002 году только начинала работать на рынке кабельного телевидения, наши абоненты могли смотреть лишь шесть ТВ-каналов, сегодня же в сети доступно порядка 60 каналов в аналоговом формате и более 150 каналов – в цифровом, в том числе HD, Ultra HD и 4К. Покрытие сети также расширяется с каждым годом. Первоочередная задача оператора КТВ – обеспечить надежность передачи сигнала, высокое качество изображения и безопасное хранение большого объема данных. Наша прежняя серверная уже не справлялась с этой задачей, оборудование морально и физически устарело. Требовалась серьезная модернизация.

Во-вторых, компания диверсифицировала свои услуги, и помимо предоставления телевизионного сигнала мы начали оказывать услуги медиалогистики контента (работа с самим сигналом: прием, обработка, доставка и пр.). Для этого необходимо новое современное оборудование, другие производственные мощности.

В-третьих, с точки зрения безопасности гораздо лучше, если все оборудование установлено в одном месте и имеет централизованную систему управления и мониторинга под собственным контролем компании.

Строить или арендовать?

В первую очередь нужно было определить: что выгоднее, строить ЦОД самим или обратиться к услугам уже действующих дата-центров. Однозначного ответа на этот вопрос нет. Все зависит от потребностей компании и ее возможностей. Решение строить собственный ЦОД с нуля далось не легко. Тщательно взвешивались все «за» и «против», строились оптимистичные и пессимистичные планы развития. Просчитывались расходы на строительство и возможные доходы в будущем, сотни часов были затрачены на проработку концепции ЦОДа.

В среднем оснащение и оборудование 1 кв. м современного дата-центра, по оценке специалистов, могут обойтись в более чем 250 тыс. руб. С другой стороны, издержки при использовании ресурсов коммерческих ЦОДов тоже немалые. Они включают в себя как разовые, так и ежемесячные платежи: подключение, аренда юнитов или стоек, организация перемычек и стыков, затраты на медиалогистику: доставку и обработку сигнала и пр. Также необходимо помнить о возможном росте цен на услуги ЦОДов со временем. Приведем ориентировочную стоимость таких услуг в Москве от разных компаний (табл. 1). 

Таблица 1. Стоимость некоторых услуг коммерческих ЦОДов в Москве

Услуга

Стоимость, тыс. руб.

Инсталляция (согласование проекта, ввод кабеля), разовая услуга

40–90

Услуги с ежемесячной оплатой

 

Аренда места под кабель

10–50

Аренда юнита

2–5

Аренда стойко-места

40–125

Кроссировка (перемычки)

3–15

Медиалогистика:

  • энкодирование из SDI в IP
  • масштабирование изображения до более высокого/низкого разрешения
  • автоматическая доставка контента (playout)

 

 

15–30

10–20

40–100


В целом затраты на услуги коммерческих ЦОДов могут составлять от нескольких сотен тысяч до миллиона рублей ежемесячно в зависимости от потребностей клиента. 

Строительство же собственного дата-центра открывает возможность получения дополнительной прибыли от использования свободных мощностей ЦОДа, коммерциализации услуг работы с сигналами и потоками, кодирования, конвертации сигнала, мультиплексирования, размещение плейаутов и перегона контента; позволяет оказывать услуги колокации партнерам. Таким образом, если сравнить затраты на строительство собственного ЦОДа (порядка 100–150 млн руб. для небольшого дата-центра площадью около 100 кв. м) и экономию на услугах стороннего ЦОДа (до 10 млн руб. в год), а также возможность получения дополнительной выручки за счет арендаторов (если у вас 10 клиентов, то сумма может составить порядка 40 млн руб. в год), то срок окупаемости проекта составит около трех лет, а дальше уже пойдет получение прибыли.

 Совет 1. Поскольку отрасль ИТ быстро развивается и претерпевает значительные изменения в короткое время, то при реализации проекта нужно смотреть в будущее: учитывать новые запросы и требования клиентов, возможность дальнейшего масштабирования ЦОДа, увеличение нагрузки на оборудование, повышение энергоемкости и энергобезопасности, теплоотдачи, использование помещения в долгосрочной перспективе. Необходимо заложить резерв на дополнительное оснащение электроэнергией помещения, кондиционирование и пр. Оборудование должно быть рассчитано на долгий срок эксплуатации, с высоким уровнем запаса мощности без быстрого морального износа.

После принятия решения начинается самое сложное – его реализация. 

Первый наш опыт построения серверной (много лет назад) был не самым удачным. Не все детали и элементы структуры мы проработали и допустили ряд ошибок. В результате даже незначительные действия (кто-то задел проводок или отсоединился патч-корд) приводили к большим проблемам. Был случай соединения электропитания под фальшполом через сетевой фильтр, который перегорел, а мы долго искали, где разрыв цепи. 
   
Рис. 1. Прежняя серверная

Поэтому к строительству нового ЦОДа наша команда подошла с полным осознанием того, что нужно тщательно прорабатывать каждый этап.

На стадии проекта

Первый этап – это грамотное составление технического задания, в котором определяются технические характеристики, архитектура ЦОДа, показатели качества и технико-экономические требования. В разработке ТЗ принимали участие многие наши специалисты: технический директор, руководитель службы эксплуатации, ИT-инженер и инженеры-проектировщики, генеральное руководство компании и представители подрядных организаций. Самое сложное в этом процессе – достичь согласованности и высокого уровня координации между структурами, чтобы избежать ошибок на этапе проектирования, дублирования или реализации ненужных функций, сократить и оптимизировать бюджет проекта. 

 Совет 2. Разработку технического задания необходимо проводить консолидированно, с перекрестной проверкой каждого раздела всеми заинтересованными службами. Необходимо иметь технического специалиста, отвечающего за выпуск финального документа, – архитектора решения. Важно также до начала составления технического задания четко разграничить зоны компетенции всех подразделений – соавторов документа и назначить ответственного исполнителя.

После составления ТЗ можно переходить к следующему этапу – проектированию и формированию технической документации – на котором разрабатывается эскизный проект дата-центра, определяются конструктивные и архитектурные особенности, предварительная планировка, перечень и номиналы необходимого инженерного оборудования.

 Совет 3. На этапе проектирования важно привлекать специалистов, у которых есть опыт участия в строительстве и эксплуатации дата-центров, начиная от устранения протечки крыши и коротких замыканий в цепи электропитания и заканчивая установкой и обслуживанием систем вентиляции и других звеньев функциональных структур.

Поскольку нормативных актов по проектированию и строительству ЦОДа в нашей стране практически нет, мы руководствовались не только требованиями действующего законодательства, но и рядом международных стандартов (в частности, Uptime Institute Tier Standard: Topology, ISO/IEC 30134 и др.).

В процессе проектирования ЦОДа и разработки комплекта проектной и рабочей документации должны быть решены следующие задачи:
  • формулирование общей концепции ЦОДа, планирование инфраструктуры. Составление эскизов размещения оборудования, выбор оптимальных путей прокладки кабельных трасс, расчет параметров потребляемой мощности и отводимого тепла;
  • проектирование структурированных кабельных систем, связывающих между собой компоненты дата-центра, с учетом заданных параметров и пожеланий заказчика;
  • учет требований пожарной безопасности;
  • выбор источников бесперебойного питания;
  • проектирование эффективных систем кондиционирования, позволяющих создать необходимый для оборудования микроклимат.
После проектирования можно приступать непосредственно к строительству дата-центра. Для выполнения комплекса строительных работ требуется штат сотрудников, обладающих глубокими знаниями и большим практическим опытом в сфере создания дата-центров.

После завершения собственно строительства остается выполнить еще ряд работ:
  • расстановку серверных стоек и шкафов, монтаж патч-панелей, заведение основных магистралей и подключение питания;
  • размещение серверного и другого активного оборудования;
  • обеспечение безопасности объекта с помощью установки видеонаблюдения и систем контроля доступа.
 Совет 4. Проектирование и создание таких специализированных систем, как пожаротушение, кондиционирование и пр., лучше поручить профильным организациям.

Готовый объект

Помещение дата-центра
 
Рис. 2. Общая схема основного помещения ЦОДа

Наш центр обработки данных расположен на шестом (и последнем) этаже офисного здания, в максимальной близости к антенному посту. Он занимает помещение общей площадью 100 кв. м правильной прямоугольной формы с допусками не более 1 см. Состоит из следующих зон: главной зоны с оборудованием (серверная), горизонтальной распределительной системы (трассы для слаботочных систем) и зоны для оборудования пожаротушения. Основное оборудование размещено в комнате без окон, где имеется фальшпол высотой 0,5 м от уровня основного пола.

Система электроснабжения
     
Рис. 3. Оборудование системы электроснабжения

Обеспечение постоянного и бесперебойного энергоснабжения – основная задача при создании ЦОДа. Наш ЦОД отвечает всем требованиям уровня Tier II, а по ряду характеристик соответствует уровню Tier III. Электропитание осуществляется от двух независимых вводов от городской сети и подается одновременно на два комплекта ИБП (для основной и инженерной нагрузок). Каждый комплект ИБП подключен к отдельному ДГУ, рассчитанному на восьмичасовое отключение от основного источника электропитания. Чтобы не перегружать перекрытия здания, ИБП расположены на первом этаже здания, а ДГУ – в подвале. Кабельные линии ВОЛС и электропитания проложены по двум вертикальным стоякам в разных концах здания. В каждой стойке предусмотрены два PDU для бесперебойной работы оборудования с двумя блоками питания.

Системы кондиционирования и климата

Для создания необходимых условий работы дата-центра требуется поддерживать в нем заданную влажность, температуру и подвижность воздуха (табл. 2). Достичь «идеальных» показателей не так просто. 

Таблица 2. Значение предельных климатических показателей для ЦОДов

Показатель

Значение в пределах нормы

Температура воздуха в помещении

+18–25°С

Влажность воздуха

40–55%

Скорость изменения влажности

Не более 6% в час

Запыленность

Не более 0,0001 г/ куб. м

Для нашего ЦОДа мы выбрали систему охлаждения на уровне зала (четыре прецизионных кондиционера Schneider Electric) с подачей холодного воздуха в пространство фальшпола. В помещении поддерживается температура воздуха +22°С. 

 
Рис. 4. Блоки системы охлаждения

При помощи двух промышленных увлажнителей Carel серии HumiSteam X-Plus относительная влажность воздуха поддерживается в пределах 45%. С целью предотвращения запыленности помещения приток воздуха из системы вентиляции регулируется таким образом, чтобы он был сильнее, чем мощность вытяжки, и тем самым «прибивал» пыль к полу. Кроме того, фальшпол оснащен специальным антистатическим покрытием, препятствующим накоплению на поверхности статического электрического заряда (блуждающих статических токов), что способствует уменьшению пылеобразования. Ежедневно в помещении проводится влажная уборка. Все сотрудники при посещении ЦОДа надевают бахилы.

Система пожаротушения

Сохранность информации в дата-центрах во многом зависит от принятых мер пожарной безопасности, применяемых методов и средств пожаротушения. Системы пожаротушения для ЦОДа проектируются с учетом требований пожарной безопасности для данной категории помещений. Существует несколько типов систем пожаротушения (табл. 3).

Таблица 3. Основные типы систем пожаротушения и их характеристики

Система

Аэрозольная/Порошковая

Газовая

На основе тонкораспыленной воды высокого давления

Гипоксическая

Принцип действия

Распыление огнетушащего порошка или аэрозоля, образующих пленку, предотвращающую проникновение кислорода

Ввод в помещение специального газа, снижающего содержание кислорода и препятствующего процессу горения

Распыление на область горения мелкодисперсной водяной пыли, что приводит к местному снижению содержания кислорода и охлаждает зону возникновения огня

Создание и поддержание в помещении атмосферы, в которой пожар не может возникнуть (содержание кислорода менее 14%), путем введения азота

Рыночная стоимость для помещения 2,6 тыс. куб. м, млн руб.

0,2–0,5

6,5–11,8

15,9–16

≈20

Опасность для оборудования

Есть, проявляется со временем

Нет

Нет

Нет

Опасность для человека и окружающей среды

Есть

Есть

Нет

Нет

Последствия ложного срабатывания

Небольшие убытки, замена сработавших модулей

Огромные убытки, перезаправка всей системы

Минимум

–

Шанс ложного срабатывания

Есть

Есть

Есть

Нет

Особые требования к помещению

Нет

Есть

Нет

Есть


На основе данных сайта https://selectel.ru/blog/obzor-reshenij-dlya-pozharotusheniya-cod/

В своем ЦОДе мы установили газовую систему пожаротушения с удвоенным объемом баллонов (основные и резервные). Используемый тип огнетушащего вещества – Novec 1230 (фторкетон ФК-5-1-12). 
 
Рис. 5. Оборудование системы пожаротушения

Система безопасности и контроля доступа

Для обеспечения безопасности нашего ЦОДа мы используем:
1. Современную систему видеонаблюдения, не имеющую «слепых» зон и передающую информацию в режиме реального времени на панель видеонаблюдения службы безопасности дежурному сотруднику. Вся информация хранится на защищенных серверах службы безопасности в течение месяца. В машинном зале в дополнение к охранной системе видеонаблюдения установлены камеры технического видеонаблюдения, которое охватывает каждую стойку, для контроля работоспособности оборудования и удаленной технической помощи дежурному персоналу. Эта информация хранится не менее шести месяцев.

2. СКУД – многофункциональную отечественную систему Parsec для регулирования санкционированного входа/выхода сотрудников ЦОДа и учета рабочего времени каждого сотрудника. Помимо общей системы контроля и управления доступом в помещениях ЦОДа и на прилегающих территориях развернута система видеоверификации. В ближайшее время будет осуществлена интеграция системы биометрического доступа в наиболее ответственные помещения. На каждой двери на вход и выход установлены контроллеры доступа с ИБП и передачей информации по IP. Даже при возникновении чрезвычайной ситуации доступ в технические помещения имеет только сертифицированный персонал с правом доступа, поскольку ЦОД оснащен современной системой автоматического пожаротушения, не нуждающейся в присутствии человека. В дневное время доступ на территорию объекта осуществляется через пункт охраны с обязательной проверкой личности. В ночное время доступ в ЦОД имеют только дежурные технические службы.

3. Систему пожарной сигнализации, интегрированную с системой газового пожаротушения. Также в нашем ЦОДе развернута система оповещения о перегреве силовых кабелей как часть системы пожарной сигнализации. Это система предварительного оповещения о возможной проблеме. Перегрев кабеля питания может свидетельствовать об излишней нагрузке на нем, о проблеме оборудования или контактов, о повышенной плотности прокладки силовых линий на каком-либо участке или же о локальном перегреве и возгорании. Термокабель проложен так, чтобы по схеме было понятно, какой силовой кабель и на каком участке перегревается и требует внимания. В пожарном щите установлены приемно-контрольные модули для термокабеля, с которых сигнал передается в общую систему управления и мониторинга пожарной сигнализации. 
 
Рис. 6. Оборудование системы пожарной сигнализации

4. Собственную сертифицированную систему молниезащиты, причем каждый кабельный спуск от антенного поста защищен оборудованием УЗИП.
 
Рис. 7. Оборудование УЗИП

В настоящее время в нашем ЦОДе установлены 20 шкафов и 18 открытых стоек для собственных нужд и предоставления услуг колокации. 
 
Рис. 8. Машинный зал ЦОДа

Как уже говорилось, сам ЦОД находится в непосредственной близости к собственному антенному посту. Антенны позволяют принимать с высоким качеством сигналы со всех орбитальных позиций, доступных для Москвы. ЦОД соединен с ММТС-9, ММТС-10 собственными волоконно-оптическими линиями связи, что позволяет нам, помимо традиционной передачи данных, передавать сигналы КТВ и заниматься медиалогистикой. Более того, из нашего ЦОДа есть выход к любому оператору спутникового телевидения, у нас агрегируется большинство телеканалов в формате SDI. 

Итак, создание ЦОДа – далеко не дешевый (сотни миллионов рублей) и очень трудозатратный проект, выполнение всех работ может занять до года. Однако, если грамотно ко всему подойти и заложить возможности развития на перспективу, то в результате можно получить современный ИКТ-объект, который позволит его владельцу не только упрочить свои позиции на рынке, но и получать хорошую прибыль!

Александр Лебедев, директор по стратегическому планированию, ГК «Столичные кабельные сети»
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!