Rambler's Top100
Реклама
 
Статьи ИКС № 3 2018
Андрей ПАВЛОВ  Дмитрий БАСИСТЫЙ  09 октября 2018

Разработка концепции ЦОДа. Шаг за шагом

На какие вопросы должна дать ответ концепция дата-центра, что нужно в нее включить и в какой последовательности создавать необходимые документы? Авторы делятся опытом, накопленным в ходе выполнения многих проектов.

  
Функции и состав концепции

Назначение концепции ЦОДа -- определение требований к будущему объекту строительства: его энерговооруженности, площади, количеству стоек, их мощности и уровню надежности инженерных систем. В ходе разработки концепции заказчик получает возможность оценить степень пригодности рассматриваемой площадки (площадок) для строительства дата-центра, а также юридические, физические, технические и иные риски проекта. Техническая оценка состояния площадки выполняется на основе визуального и инструментального обследования территории ЦОДа, включая конструктив здания и прилегающую территорию.

Концепция складывается из целого ряда документов. Помимо определения основных требований к создаваемому дата-центру, в ней, как правило, содержится сравнение вариантов технической реализации тех или иных инженерных систем, дается оценка окупаемости каждого из вариантов и указывается оптимальное решение. Для выбранного технического решения оцениваются бюджеты строительства и эксплуатации объекта. При сравнении различных вариантов строительства (модульный ЦОД, капитальное строительство и т.д.) по требованию заказчика может быть выполнен расчет совокупной стоимости владения (Total Cost of Ownership, ТСО) с горизонтом планирования, равным предполагаемому сроку службы объекта. Это поможет заказчику решить, целесообразно ли строить собственный дата-центр или предпочтительнее обратиться к предлагаем на рынке услугам аутсорсинга. Завершают концепцию рекомендации по выбору того или иного варианта строительства, оценка интегральных рисков проекта и техническое задание на создание дата-центра.

Реестр запрошенных документов

При разработке концепции целесообразно в первую очередь составить реестр запрошенных документов, содержащий перечень предоставленной заказчиком документации, которая необходима для проведения обследования площадки под строительство и оценки рисков проекта.

Поскольку перечень запрашиваемой информации практически не меняется от проекта к проекту, а срок обработки подобных запросов компаниями, обслуживающими здания, может быть достаточно велик, мы рекомендуем начать процесс получения данной информации на самых ранних этапах создания концепции.

Необходимый, но не исчерпывающий перечень требуемой документации:
  • геоподоснова, справка о геологическом строении и гидрогеологических условиях участка, кадастровый паспорт;
  • планы здания, документы, подтверждающие нагрузочную способность перекрытия;
  • технические условия на электроснабжение, водоснабжение, канализацию;
  • проекты инженерных систем;
  • правоустанавливающие документы на здание и прилегающую территорию.
Сформированный реестр в процессе анализа документации и совместной работы с эксплуатирующей здание организацией и представителями собственника должен постоянно актуализироваться.


Фото 1. Необходимо произвести инструментальный обмер территории, прилегающей к зданию ЦОДа, и находящихся на ней сооружений

Методология создания концепции

Следующим документом, на наш взгляд, должна стать «Методология создания концепции». Безусловно, идеально было бы изложить все пожелания заказчика к составу и детализации документа в техническом задании на разработку концепции. Но зачастую в этом техзадании содержатся лишь несколько основных параметров ЦОДа и общее видение проекта, поскольку заказчик может еще не представлять детально, что, а главное, в каком формате должно быть отражено в этом документе.

Во избежание неправильной трактовки содержания результирующих документов, подготовленных в соответствии с договором о разработке концепции, мы рекомендуем создать методологию, в которой будет отражена вся последовательность шагов ее разработки, шаблоны всех выпускаемых документов. Методология может быть приложением к коммерческому предложению на разработку концепции.

Основные характеристики ЦОДа

Этот документ предназначен для уточнения характеристик будущего дата-центра, выбранных еще на этапе техзадания на разработку концепции. Он используется для однозначного формулирования задач по обследованию и экспертизе предполагаемой площадки строительства ЦОДа, выбору технических решений и расчету ТСО. Составление такого документа позволяет значительно снизить риски кардинальной корректировки технических и финансовых расчетов на финальных стадиях разработки концепции.

В число основных мы включаем характеристики ЦОДа, существенно влияющие на параметры площадки под строительство, в том числе на ее площадь и местоположение, нагрузочную способность перекрытий, длины трасс коммуникаций, наличие мощностей ресурсоснабжающих организаций и т.д.

Примерный перечень основных характеристик ЦОДа:
  • схема резервирования СБЭ (ИБП);
  • схема резервирования СГЭ (ДГУ);
  • схема резервирования системы кондиционирования;
  • мощность ИT-оборудования;
  • общее энергопотребление ЦОДа;
  • требуемое время автономии АКБ;
  • требуемый запас топлива для ДГУ;
  • количество и габариты стойко-мест;
  • наличие ИT-потребителей с постоянным током.
Кроме того, имеет смысл определить вспомогательные характеристики ЦОДа, не влияющие на возможность его возведения на данной площадке, но влияющие на финансовую составляющую строительства.

Перечень вспомогательных характеристик ЦОДа:
  • количество и технология портов СКС;
  • уровень резервирования систем безопасности;
  • необходимость функции сверхраннего обнаружения возгорания;
  • требуемые температурно-влажностные режимы работы ИT-оборудования;
  • наличие приточно-вытяжной вентиляции;
  • пропускная способность каналов связи;
  • количество независимых каналов связи (оптических вводов) и т.д.
Перечень основных характеристик ЦОДа формирует, отталкиваясь от бизнес-задач заказчика, рабочая группа, в которую следует включить как экспертов исполнителя, так и представителей заказчика, собственника здания и прилегающей территории объекта, а также представителей эксплуатирующей организации. В документе рекомендуется приводить не только значения выбранных характеристик, но и обоснование их выбора.

Для подтверждения характеристик площадки под строительство и определения ограничений параметров будущего ЦОДа исполнителю следует осмотреть объект с выездом на место. По результатам выезда нужно составить отчет, который будет являться составной частью обоснования выбора основных характеристик ЦОДа и должен быть включен в одноименный документ.

Анализ правоустанавливающих и технических документов

В результате анализа юридических и технических документов, подтверждающих право собственности и условия эксплуатации объекта, должны быть установлены возможность либо невозможность полной/частичной его продажи, вероятность отчуждения и наличие обременений. Также нужно изучить состояние инженерных систем здания, возможность размещения внешних элементов инженерных систем и получения от ресурсоснабжающих организаций ресурсов в количестве, необходимом для строительства и функционирования ЦОДа с заданными параметрами.

В качестве исходных данных для анализа используются документы, которые предоставляют заказчик, собственник здания и эксплуатирующая организация согласно реестру запрошенной документации. Кроме того, часть документации исполнитель может запросить в контрольно-надзорных органах исполнительной власти.

Анализ правоустанавливающих документов проводится в два этапа. На первом этапе оцениваются полнота и актуальность собранной и предоставленной документации, после чего делаются выводы о дополнительных рисках проекта, которые могут возникнуть ввиду отсутствия, недостаточности либо неактуальности этой информации.

Факторы, с которыми могут быть сопряжены дополнительные риски проекта:
  • возникновение права на объекты недвижимости;
  • изначальное приобретение прав на объекты недвижимости;
  • корпоративные правоотношения;
  • технический учетом объектов недвижимости;
  • выделение помещений в самостоятельные объекты прав;
  • наличие ограничений и обременений в использовании объектов недвижимости;
  • назначение объектов недвижимости;
  • подключение к сетям электроснабжения;
  • подключение к сетям водоснабжения и водоотведения;
  • подключение к сетям теплоснабжения.
На втором этапе оценивается возможность реализации проекта ЦОДа с заданными параметрами на основе документально подтвержденных характеристик площадки, выявленных в результате изучения предоставленной документации.

Результатом проверки правоустанавливающих и правоподтверждающих документов в отношении объектов недвижимости и инженерных коммуникаций являются выявленные риски проекта и рекомендации по их минимизации.

Отчет о пригодности участка для строительства ЦОДа

Данный документ предназначен для подтверждения возможности строительства на выбранной площадке ЦОДа с заданными характеристиками, в том числе возможности размещения в зданиях и на прилегающих территориях инженерного оборудования. В основе документа лежат результаты двух обследований: инструментального обследования несущей способности здания и строительно-технического обследования прилегающей территории. Кроме того, исходя из выбранных ранее основных характеристик ЦОДа следует определить приблизительные площади его машинных залов и предварительные массогабаритные характеристики инженерного оборудования.

Инструментальное обследование несущей способности здания проводится для определения технического состояния его основных несущих конструкций, возможности размещения в нем инженерных систем ЦОДа, а при необходимости -- усиления конструктивных элементов. Подобное обследование можно заказать у специализированных лицензированных компаний, которые берут на себя ответственность за риски, возникающие вследствие некорректного расчета несущей способности перекрытий.

Инструментальное обследование выполняется в соответствии с ГОСТ 31937-2011 Здания и сооружения. Правила обследования и мониторинга технического состояния и СП 13-102-2003 «Правила обследования несущих строительных конструкций зданий и сооружений».

Виды работ, которые рекомендуется выполнить в рамках инструментального обследования:
  • анализ существующих документов, относящихся к зданию;
  • обмеры с составлением поэтажных планов и разрезов;
  • обследование несущих элементов каркаса здания;
  • сбор данных о нагрузках – и существующих, и от вновь возводимого объекта;
  • обследование конструкций перекрытий;
  • определение прочностных характеристик материалов несущих конструкций здания;
  • фотофиксация видимых дефектов строительных конструкций.
Итогом обследования здания c целью определения нагрузочной способности для строительства ЦОДа является заключение, включающее рекомендации по размещению оборудования и усилению несущих конструкций.

Строительно-техническое обследование прилегающей территории необходимо, чтобы определить пригодность участка для размещения оборудования ЦОДа (ДГУ, МЦОД, внешние блоки СКВ, кабельные трассы и т.п.).

Первый этап – это визуальный осмотр территории, прилегающей к зданию ЦОДа, в ходе которого производится инструментальный обмер территории и находящихся на ней сооружений и зданий с архитектурными элементами. На втором этапе посредством инструментальных замеров определяется максимальная нагрузка, которую устанавливаемое на площадке оборудование может создать на покрытие прилегающей территории без вреда для него и расположенных ниже коммуникаций.

Этапы обследования прилегающей территории для определения максимальной нагрузки:
  • визуально-инструментальный контроль дефектов и повреждений;
  • выявление площадей, свободных от подземных коммуникаций и пригодных для установки инженерного оборудования;
  • контрольные вскрытия слоев с определением типов материалов и геометрических характеристик;
  • контрольные вскрытия бетонной плиты основания площадки для выявления армирования;
  • определения прочностных характеристик бетонной плиты основания;
  • экспертный сбор планируемых нагрузок на плиту основания площадки;
  • проведение поверочных расчетов несущей способности плиты по грунту под планируемые нагрузки;
  • камеральная обработка данных;
  • выдача отчета с выводами и рекомендациями.
После анализа документов, описывающих характеристики участка и здания, визуального осмотра и инструментального обмера можно будет определить возможные места установки ДГУ, внешних блоков системы холодоснабжения, прокладки кабельных трасс и т.д. Также на данном этапе можно разработать эскизный план с расположением оборудования.

Реестр рисков

После визуального и инструментального обследования зданий и площадок под строительство, анализа юридической и технической документации рекомендуется свести всю полученную информацию в единый документ -- «Реестр рисков». При его составлении целесообразно использовать экспертные оценки наличия тех или иных рисков строительства и функционирования объекта, которые на основании опыта проектирования, строительства и эксплуатации дата-центров может сделать исполнитель, а также лучшие мировые практики. К анализу проектных рисков также могут быть приглашены сторонние эксперты отрасли ЦОДов.

Первым шагом при анализе внешних рисков должна стать экспертная оценка вероятности их реализации и степени влияния на проект строительства ЦОДа на выбранных площадках. Следующий шаг -- ранжирование и оценка значимости каждого из выявленных рисков и разработка экспертных заключений о возможных мерах их устранения.

Приблизительный перечень категорий рисков, которые нужно учитывать при принятии решения о строительстве ЦОДа:
  • планировка и конструктивные решения здания;
  • внешнее электроснабжение;
  • доступность телекоммуникационной инфраструктуры;
  • окружение площадки;
  • отсутствие актуализированной информации;
  • физическая безопасность;
  • транспортная доступность, пути подъезда;
  • юридические риски;
  • финансовые риски.
Результатом данного этапа работ должен являться реестр рисков, связанных с расположением объекта и его инженерным обеспечением, который разработан для различных вариантов строительства ЦОДа с оценкой значимости каждого риска, а также выводы и рекомендации по минимизации их влияния на проект. Если критических рисков в перечне окажется много, рабочая группа может принять решение о нецелесообразности строительства ЦОДа на выбранной площадке.

Разработка и сравнение вариантов технических решений ЦОДа

Наконец мы приступаем к созданию основных технических документов, которые будут содержать подробное описание различных вариантов инженерных систем, сравнение их технико-экономических показателей, обоснование выбора той или иной технологии энергоснабжения, холодоснабжения и т.д.

Для оптимизации объема предстоящей работы рекомендуем изначально оценить степень критичности инженерных систем ЦОДа и их влияние на стоимость проекта и его реализуемость на выбранной площадке. Очевидной задачей концепции является оценка возможности создания дата-центра и бюджета строительства, поэтому те инженерные системы, которые занимают в общей стоимости проекта менее одного процента и при этом не влияют на площадь ЦОДа (к примеру, СКУД, охранная сигнализация), могут быть рассмотрены гораздо менее детально, нежели, например, система кондиционирования. Для разных ЦОДов состав некритичных систем может различаться, скажем, доля СКС в бюджете строительства банковского ЦОДа может быть существенной, а для коммерческого ЦОДа -- крайне незначительной.


Фото 2. Стоимость крупного инженерного оборудования составляет более половины всей стоимости проекта

Рекомендуем описать основные принципы взаимодействия инженерных подсистем, что будет хорошим подспорьем для заказчика с точки зрения однозначного понимания правил функционирования дата-центра. Особое внимание следует уделить описанию строительной подготовки помещения ЦОДа, либо, что еще более важно, капитального строительства, так как это является базой разрабатываемой концепции и может существенно повлиять на стоимостные и временные параметры проекта.

Далее мы переходим к непосредственному сравнению и выбору критических инженерных систем и описываем некритичные системы. Для каждой критичной системы приводятся ретроспектива возможных технических решений, предлагаемых на рынке, принципы функционирования каждой из них, расчеты основных технических параметров, оценки стоимости. Для указанных вариантов реализации сравнивается стоимость владения, даются обоснования и рекомендации по выбору той или иной технологии. В приложениях к разделу должны содержаться объемно-планировочные решения для выбранных технических реализаций ЦОДа. Также мы рекомендуем рассчитать общее энергопотребление и параметр PUE проектируемого дата-центра.

В заключении данного раздела необходимо описать состав комплекса инженерных систем ЦОДа с информацией по отдельным системам, их назначению и выбранным техническим решениям.

Расчет совокупной стоимости владения

Как отмечалось выше, в рамках концепции может быть рассчитана ТСО. Стоимость основного инженерного оборудования ЦОДа (ИБП, ДГУ, кондиционеры, АКБ, СГП, СКС) можно определить исходя из альтернативных коммерческих предложений его поставщиков на российском рынке. Для подтверждения стоимости этого оборудования мы, как правило, предоставляем несколько коммерческих предложений из разных ценовых сегментов. Остальные инженерные системы, в сумме составляющие менее 30% общей стоимости ЦОДа, мы оцениваем экспертно, на основании имеющегося опыта строительства.

Совокупная стоимость владения складывается из двух составляющих:
ТСО = CAPEX + OPEX.

CAPEX (capital expenditure, капитальные затраты) -- это затраты на приобретение необоротных активов, а также на их модификацию (достройку, дооборудование, реконструкцию) и модернизацию. Сюда относятся и затраты на проектирование, строительство, поставку оборудования и т.д.

OPEX (operational expenditure, операционные затраты) представляют собой затраты компании, которые возникают в процессе ее текущей деятельности, -- затраты на заработную плату сотрудников, текущий ремонт, энергоресурсы, налоги и пр.

На этапе концепции мы оцениваем порядок величины затрат (отличие от реальной стоимости примерно ±20%). Для его определения применяется смешанный метод, совмещающий оценку «по аналогу» с параметрическим методом. Благодаря тому, что стоимость крупного инженерного оборудования, которая составляет более половины всей стоимости проекта, известна, точность оценок повышается.

Статьи расходов, включаемы нами в показатель CAPEX:
  • разработка технического проекта;
  • получение технических условий на подключение внешних коммуникаций;
  • разработка рабочей документации;
  • проведение государственной экспертизы;
  • проведение конкурса по выбору генерального подрядчика;
  • реализация технических условий на подключение внешних коммуникаций;
  • ремонт капитальных сооружений и благоустройство площадки;
  • переезд офисов и иные организационные меры;
  • строительство инженерной инфраструктуры.
Статьи расходов, относящиеся к ОPEX:
  • фонд оплаты труда персонала ЦОДа;
  • ЗИП;
  • плановые ремонты;
  • услуги технической поддержки вендоров и специализированных организаций;
  • обучение персонала;
  • оплата электроэнергии и иные ресурсы;
  • ликвидация аварий и аварийные ремонты;
  • общехозяйственные расходы.
На основе этой информации рассчитывается ежегодный показатель ТСО на срок предполагаемой службы ЦОДа.

Заключение и техническое задание на создание ЦОДа

В финальном документе концепции -- «Заключении» -- мы представляем всю информацию, полученную на предыдущих этапах работы, в виде краткой выжимки с отсылками к соответствующим документам, что позволяет заказчику проследить весь ход исследования объекта строительства -- от выбора параметров дата-центра до эскизного проекта, имея возможность более детально изучить интересующие его этапы, переходя по ссылкам на базовые документы. В «Заключении» приводится итоговое техническое решение строительства ЦОДа с техническим и экономическим обоснованием выбора конкретного варианта строительства, с планировочными решениями и обоснованием бюджета и сроков реализации проекта.

На основе принятой и утвержденной концепции может быть разработано техническое задание на создание/проектирование ЦОДа, включающее в себя все выбранные технические решения и основные и вспомогательные характеристики будущего дата-центра.

Андрей Павлов, генеральный директор, «ДатаДом»
Дмитрий Басистый, независимый консультант
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!