• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Оптимизация TCO ЦОДа: проектирование и строительство

Весомый вклад в снижение общей стоимости владения дата-центром вносят тщательная подготовка проектной документации, взвешенный выбор моделей оборудования и пула его поставщиков.

Мы продолжаем тему, поднятую в статье «Оптимизация TCO ЦОДа: разработка концепции» («ИКС» № 8–9’2014, с. 74). В той публикации мы указывали, что уменьшение совокупной стоимости владения (TCO) и оптимизация капитальных (CAPEX) и эксплуатационных (OPEX) затрат должны начинаться еще на этапе разработки концепции. Однако проектирование и старт строительства не менее важны, ведь именно на этом этапе обычно уточняются поставщики систем и решений, проверяется, не появились ли на рынке новые интересные модели оборудования, оптимизируется CAPEX, корректируется в соответствии с окончательно выбранным оборудованием рабочая документация.

Проект

 Где начало того конца,
которым оканчивается начало?

В предыдущей статье мы подчеркнули важность написания хорошего и точного технического задания. Однако сам процесс проектирования вносит весомый вклад в CAPEX проекта, а проектные технические решения существенно влияют на дальнейшую работу ЦОДа, его содержание и эксплуатацию. Мы говорили об эскизном проекте в привязке к реальной площадке по ранее утвержденному техническому заданию и с точки зрения имеющегося бизнес-плана. На этом этапе уточняются все параметры, выясняется, удалось вписаться в задание или нет. При необходимости корректируются проект и/или задачи, окончательно утверждаются основные технические (для систем электроснабжения, охлаждения и пожаротушения), компоновочные и архитектурные решения, определяются все ключевые параметры здания и строительства. Это важный момент, так как коррекция принятых решений в дальнейшем резко ухудшит экономические и временные параметры стройки. Все принципиальные решения должны быть приняты уже на этом этапе и впоследствии не должны существенно корректироваться. Выбрали ДДИБП – значит, ДДИБП, чиллеры + фанкойлы – значит, так. Никаких метаний. Такой подход позволяет сэкономить массу денег и времени при разработке документации стадии П (проекта).

Не стоит также забывать, что если мы говорим об объекте капитального строительства, то параллельно с разработкой эскизного проекта ведется кропотливая работа технического заказчика по формированию исходно-разрешительной документации. В ее состав входят как документы, без которых невозможно будет осуществить защиту проекта в экспертных органах, так и документы, содер­жащие технологические параметры ЦОДа и напрямую влияющие на выработку технического решения. В первую очередь речь идет о градостроительном плане земельного участка, который должен быть согласован с компетентными органами и зачастую должен пройти публичные слушания и получить одобрение местного населения.

Не менее важную информацию содержит геоподоснова (топографический план участка), на которой нанесены все инженерные коммуникации. Не все знают, что предпроектные изыскания не должны ограничиваться пятном застройки. Например, соседние здания и сооружения также должны быть обследованы, если они попадают в зону влияния нового строительства. Результаты геологических изысканий лежат в основе разработки конструктивных решений. Что применять: свайный фундамент или плиту? Каким должен быть шаг колонн?

Еще одно необходимое звено в процессе разработки эскизного решения – параметры технических условий (ТУ) на подключение к городским инженерным сетям. Причем ТУ оказывают влияние не только на технические, но и на финансовые параметры проекта. Особенно важна проработка ТУ на подключение к сетям электроснабжения ЦОДа. Для подведения дополнительных мощностей на площадку дата-центра часто нужно построить новые распределительные подстанции. И хотя эти подстанции находятся в зоне ответственности электросетевых компаний, бремя их строительства ложится нелегким грузом на проект создания ЦОДа.

На стадии П прорабатываются детали принципиальных решений. На этом этапе необходимо вспомнить обо всех мелочах, которые будут важны на всем протяжении жизненного цикла ЦОДа и обеспечат удобство и оптимальность всех процессов. Так, нужно тщательно проработать планировку территории, прилегающей к зданию. Если обеспечение пожарной безопасности нормируется документами, то оптимизация путей движения транспорта, удобство и безопасность мест погрузки/разгрузки, удобство заправки топливом системы автономного электроснабжения – это вопросы опытности и искусства проектировщиков. Архитектурный проект самого здания также разрабатывается в жесткой привязке к его технологическому назначению.

Оптимизация продолжительности процесса проектирования и, соответственно, его стоимости может существенно снизить ТСО проекта. Но подчеркнем, что мы не призываем к уменьшению стоимости за счет снижения качества. Наоборот, тщательное проектирование, творческий подход, подбор простых, понятных и удобных в эксплуатации вариантов реализации главных технических решений, разработанных на этапе подготовки концепции, и второстепенных узлов и систем позволят существенно снизить ТСО ЦОДа. Однако для минимизации CAPEX процесс проектирования должен быть хорошо организован, управляем, а график исполнения работ – жестко контролироваться. Важно привлекать опытных проектировщиков, причем не «офисных сидельцев», а людей, имеющих практический опыт выполнения собственных проектов. Это позволит избежать серьезных ошибок, связанных с монтажом, вводом в строй и дальнейшей эксплуатацией инженерных систем.

Особенно тщательно нужно прорабатывать проекты, в которых оборудование предполагается размещать в уже готовых зданиях и помещениях. В этих случаях цена ошибки может оказаться очень велика, вплоть до фатальных последствий. Ошибка может привести к ухудшению заданных характеристик ЦОДа, его эксплуатационных параметров и т.п.

Свою лепту в повышение капитальных затрат вносят и неоптимально спроектированные слаботочные системы: СКС, системы обеспечения безопасности, контроля и управления доступом, автоматизации и диспетчеризации. Пусть стоимость их существенно ниже, чем систем электроснабжения и охлаждения, но увеличение числа видеокамер, например, из-за неоптимального их размещения или неоправданно сложной внутренней планировки может значительно увеличить и капитальные затраты, и эксплуатационные расходы.

В то же время хочется предостеречь заказчиков от чрезмерной экономии «на спичках», т.е. на, казалось бы, второстепенных системах. Скажем, совершенно не стоит экономить на системе мониторинга в ЦОДе. Контроль состояния датчиков, положения переключателей и выключателей, отслеживание энергетических показателей потребителей услуг, арендаторов в автоматическом режиме с отображением информации на мониторе диспетчерской существенно упростят работу службы эксплуатации и позволят избежать серьезных аварий. Если предполагается реализовывать систему мониторинга последовательными «очередями» или посистемно: сначала систему холодоснабжения и кондиционирования, потом систему электроснабжения, то важно эти системы спроектировать так, чтобы была возможность установить датчики, исполнительные устройства и приводы. Если, например, в коммутационных шкафах не будет предусмотрен достаточно большой запас емкости, то вряд ли в нем со временем удастся заменить обычное коммутационное оборудование на оборудование с датчиками положения, а тем более разместить приводы автоматических переключателей и пр. Запорная арматура трубопроводов и воздуховодов также должна позволять оснащать их электрическими приводами для дистанционного управления расходами или автоматической (автоматизированной) балансировки гидравлических и воздушных систем.

Рабочая документация

Заказчики и инвесторы зачастую недооценивают важность тщательной подготовки рабочей документации, считают, что монтаж можно выполнить «по месту» на основании проекта стадии П. Для крупных ЦОДов такой подход неприемлем. Мощности подводимой электроэнергии и объемы теплоносителя, который необходим для снятия теплоизбытков, таковы, что используются тяжелые конструкции, кабели и трубопроводы больших сечений. Такие кабели имеют большую жесткость и большой радиус изгиба, которые требуют дополнительного пространства и объема помещения для монтажа. Небрежное проектирование может привести к невозможности монтажа вообще и необходимости перепроектирования или к существенному удорожанию монтажных работ. Большие диаметры трубопроводов существенно затрудняют их пересечения, опять же требуя дополнительного пространства в помещениях. А каждый лишний поворот трубопровода или воздуховода увеличивает их гидравлическое или аэродинамическое сопротивление, что приводит к необходимости дополнительного наращивания их сечения для того, чтобы обеспечить заданные параметры скорости и объема жидкостей и воздуха. Оптимизация схем разводки трубопроводов позволяет иногда намного уменьшить количество дорогостоящей запорной арматуры на трубопроводах и тем самым ощутимо снизить стоимость всей системы охлаждения.

Есть еще один момент, который нельзя упускать из виду, если предполагается сертификация проекта, а далее построенного объекта и процедур эксплуатации в Uptime Institute. Чертежи и пояснительные записки должны разрабатываться сразу на двух языках, русском и английском. Или же после завершения проектирования документация должна быть переведена в кратчайшие сроки.

Если предполагается сертификация проекта и объекта, то в штате у проектировщика должны быть сертифицированные специалисты по стандарту сертификации. Это позволит избежать большинства принципиальных ошибок в процессе проектирования и существенно сократит и время, и денежные затраты на устранение замечаний иностранных экспертов. Например, проектирование ЦОДа «Компрессор» компании КРОК с самого начала контролировалось штатными сертифицированными специалистами, и это обеспечило сдачу и сертификацию проекта буквально со второго захода, а сертификация объекта вообще прошла с первого раза.

Выбор поставщиков оборудования и материалов

Существенный резерв экономии (до 10% общего бюджета реализации) заложен в методике выбора производителей и поставщиков основного инженерного оборудования.

Окончательный выбор производителей оборудования и материалов и выбор пула поставщиков – это очень ответственный момент в проекте. Проектирование – процесс небыстрый, и по завершении стадии П полезно сделать остановку и еще раз проверить, не нужно ли пересмотреть список производителей, который был сформирован в начале проекта. Возможно, за время проектирования появились производители оборудования, аналогичного предварительно выбранному, которые предлагают его дешевле, или появились образцы с лучшими технико-экономическими характеристиками. Поскольку стадия РД (рабочая документация) предполагает подготовку детальных чертежей в окончательных размерах оборудования, то именно перед ней полезно сделать сверку.

Важно при этом провести ревизию не только проекта инженерных систем, но и архитектурно-строительного проекта, и убедиться, что его решения соответствуют решениям по инженерным системам, особенно если произошла замена производителей основного оборудования или его моделей. Дело в том, что оборудование разных производителей с одними и теми же техническими характеристиками может существенно различаться по габаритам и массе и новое оборудование может просто не поместиться в отведенные для него помещения. Или при увеличении массы оборудования может не хватить запаса прочности несущих конструкций.

В нашей практике подобные казусы случались. На одном из крупных строящихся ЦОДов после запуска первой очереди заказчиком было принято решение сменить производителя кондиционеров шкафного типа. В результате кондиционеры нового производителя не поместились на проектные места предыдущих. Пришлось в одних залах снижать мощность оборудования, в других залах установка кондиционеров заданной мощности уменьшила их полезную площадь и привела к ухудшению условий эксплуатации и сервисного обслуживания.

При выборе поставщиков оборудования и производителей важна их добросовестность. Невыполнение графика поставок оборудования приводит к растягиванию монтажных работ, а любое увеличение продолжительности строительства неизбежно ведет к дополнительным затратам, прямым или косвенным.

И самое главное – определение стоимости приобретаемого оборудования. Оптимальной процедурой, на наш взгляд, является конкурс среди потенциальных производителей и поставщиков. В число критериев сравнения в таком конкурсе обязательно должен входить уровень сервисной поддержки, включающий в себя как стоимость сервисного сопровождения, так и скорость реакции. Условия сервисного контракта должны обеспечивать заказчику гарантированное время восстановления инженерных систем ЦОДа после инцидента (recovery time). В идеале время восстановления должно исчисляться часами, а не сутками или месяцами, как это происходит на практике.

Тендеры должны быть честными, открытыми, жесткими и своевременными (до окончания стадии П). В этом случае поставщики демонстрируют особую готовность к снижению цен – по нашему опыту, даже гораздо больше, чем на 10% от уровня «дальше уже падать некуда». Но и здесь нужно знать меру… Стремление продать во что бы то ни стало может подтолкнуть производителя/поставщика к попытке продать вам оборудование, которое по потребительским качествам и характеристикам будет хуже того, на которое вы рассчитывали. И вы как покупатель об этом узнаете в лучшем случае, когда оборудование будет поставлено, в худшем – на испытаниях и замерах реальных характеристик после пусконаладочных работ. С такими случаями мы в своей практике тоже сталкивались.

Оптимизация стоимости монтажных работ

Казалось бы, как можно оптимизировать стоимость монтажных работ? Однако это возможно, причем в очень широких пределах. Заметьте, мы не говорим «уменьшить стоимость», а говорим «оптимизировать»… Мы предлагали и предлагаем смотреть на весь процесс разработки и строительства комплексно.

Первое и самое очевидное мероприятие – это проведение конкурса на подряд по выполнению работ.

Этот конкурс желательно проводить после разработки проектной документации стадии РД, и именно ее выставлять как материал для расчетов стоимости работ. Однако можно пойти и по проторенному пути: провести конкурс на разработку РД по существующему проекту и на выполнение затем монтажных работ. Однако здесь необходимо учесть, что по документам стадии П подрядчики не смогут точно оценить стоимость монтажа и понадобится оставить некоторый зазор в бюджете на ее корректировку в большую сторону после разработки РД. В обоих подходах есть и плюсы, и минусы, и риски.

В первом случае вся ответственность за ошибки в расчетах ложится на проектировщика, и если он не имеет опыта и не знает тонкостей монтажа, его спецификации могут оказаться недостаточными. Подрядчик будет постоянно ссылаться на то, что проект некачественный, и это приведет к приобретению дополнительных материалов и удорожанию работ. Во втором случае РД готовит тот, кто потом будет выполнять монтаж, и задача проектировщика стадии П – проконтролировать, чтобы при оптимизации работ по подготовке РД не были нарушены принципы, заложенные на стадии П, чтобы с «водой не выплеснули и ребенка», но в то же время не были использованы такие материалы и вспомогательное оборудование, которые неоправданно увеличат стоимость сооружения.

В некоторых случаях удорожание монтажа может привести к снижению совокупных затрат (CAPEX), и наоборот, увеличение стоимости оборудования за счет использования предварительно собранных (prefabric) в заводских условиях конструкций и модулей может существенно снизить затраты на монтажные работы, а значит, и CAPEX в целом. Кроме того, это значительно (иногда более чем вдвое) сокращает сроки монтажа, что приносит косвенную выгоду: ЦОД (или его очередь) раньше вводится в строй и, соответственно, раньше начинает приносить доход.

Именно поэтому сейчас столь популярными становятся модульные ЦОДы из пресобранных блоков и модулей. Такие блоки обычно предварительно налаживают в заводских условиях, что сокращает суммарное время пусконаладочных работ, а главное – большинство «приработочных» отказов происходит на заводе, где под рукой и специальное диагностическое оборудование, и склады с комплектующими и запасными частями. Соответственно, не тратится время на поиск неисправностей в полевых условиях, заказ и доставку вышедших из строя на сайте у заказчика элементов. И не приходится без конца гонять высококвалифицированных специалистов производителя с дорогостоящим оборудованием на площадку и обратно.

Однако при стольких преимуществах есть и недостатки: пресобранные модули и конструкции практически невозможно изменить на площадке. Если вдруг возникнет мысль внести какие-то изменения, то либо придется смириться с тем, что получилось, либо отказаться от этих модулей, либо переделывать, затрачивая большие денежные средства. Хочется еще раз подчеркнуть важность учета при проектировании всех мелочей, а также необходимость моделирования – в уме или на компьютере – всевозможных «тяжелых» вариантов работы системы.

Управление проектом

С организационной точки зрения для снижения затрат на строительство и эксплуатацию особое значение имеет наличие мотивированной команды, четко поставленной перед командой достижимой (желательно – с трудом) цели, конкретных критериев оценки полученного результата (обратной связи в том или ином виде).

В команде должно быть налажено эффективное управление проектом. Первостепенное значение имеет качество координации работы между соавторами проекта и монтажными организациями, наличие надежного канала для регулярного обмена информацией между ними.

Критически важно наличие в команде грамотного и опытного технолога. По всей видимости, за технологию должны отвечать два человека – один за ИТ, другой за инженерную часть. Все принимаемые технические решения должны безусловно оцениваться в рамках CAPEX-OPEX, сравниваться с альтернативами, соотноситься с другими заложенными в задачу финансовыми и техническими параметрами.

Со стороны заказчика обязательно должна быть сформирована рабочая группа из ИТ-специалистов и специалистов административно-хозяйственных подразделений. Идеально, если у заказчика есть управление или отдел капитального строительства.

Но если разработку концепции и предварительную проработку решений проекта выполняла консалтинговая компания и она имеет ресурсы для управления строительством объекта, то нам представляется оптимальным привлечь именно ее для общего управления проектом со стороны заказчика. Она же, кстати, сможет достаточно квалифицированно провести все отборочные и конкурсные процедуры, выполняя роль технического заказчика.

На этапе монтажа чрезвычайно важно обеспечить жесткий контроль за качеством выполнения работ и их соответствием проекту. Для этого нужно организовать авторский и технический надзоры на объекте строительства. Организация авторского надзора позволяет монтажникам непосредственно на площадке найти оптимальные пути разрешения непредвиденных ситуаций, которые практически всегда возникают на живом объекте, ведь на стройке, как в поговорке: «гладко было на бумаге – да забыли про овраги». Участие инженеров-проектировщиков в авторском надзоре дает им возможность приобрести бесценный практический опыт и в дальнейшем существенно повысить качество проектирования, а монтажной организации – выполнить работы и получить ожидаемые проектировщиком результаты.

Технический надзор важен для обеспечения высокого качества выполнения работ, соблюдения технологии монтажа и строительства. Это позволяет в дальнейшем затратить гораздо меньше средств на эксплуатацию объекта, избежать серьезных аварийных ситуаций.

Помимо технического надзора не будем забывать о строительном контроле и безопасности труда. Наличие этих служб у генерального подрядчика позволяет достичь действительно высокой культуры производства. Вспомните, у кого при посещении стройплощадки требовали пройти вводный инструктаж и надеть весь комплект защитной спецодежды: ботинки, жилет, каску, очки? А ведь это так же естественно, как утром умыться и почистить зубы.

Подготовка к эксплуатации

Если вы задумались о вводе ЦОДа в строй и его эксплуатации на этапе проектирования, мы вас поздравляем – вы выиграли огромное количество времени!

Но если вы озаботились этой проблемой только на этапе строительства – еще не всё потеряно. А если ваш потенциальный эксплуатационный персонал не по­участвовал в монтажных и пусконаладочных работах, вам предстоят серьезные трудности.

В предыдущей статье мы отмечали, что концепция организации эксплуатации должна быть создана еще на этапе предварительной проработки проекта, так как модель эксплуатации объекта существенно влияет на технические решения, обеспечивающие надежность, отказоустойчивость, ремонтопригодность, время восстановления после аварий и другие эксплуатационные характеристики.

Мы глубоко убеждены, что ядро эксплуатационной команды должно находиться у владельца или оператора ЦОДа. В это ядро включается и диспетчерская служба. На этапе строительных и пусконаладочных работ эти люди должны входить в состав контрольных органов, комиссий по приемке, коллективов наладчиков.

При выборе модели полного аутсорсинга эксплуатации ЦОДа специалисты выбранной эксплуатирующей организации должны привлекаться на договорных условиях к выполнению пусконаладочных работ, тестированию и приемке систем, контролю качества выполнения работ. У них есть серьезная мотивация добиться наивысшего качества, так как оно обеспечит им комфортную безаварийную работу в дальнейшем, а владельцу или оператору ЦОДа сэкономит время на аудит и дополнительные испытания систем.

  

Сформулируем краткие правила для снижения ТСО ЦОДа на этапе его проектирования и строительства:

• используйте проверенные решения;

• придерживайтесь разумного новаторства (эволюции, но не революции);

• стремитесь унифицировать как решения внутри проекта, так и решения текущего и предыдущих проектов (совсем хорошо – иметь в запасе отработанные, реализованные проекты, которые можно раз от раза постепенно улучшать);

• по возможности упрощайте инженерные системы, архитектуру, конструкции здания;

• уделяйте дополнительное внимание потерям в распределительных электросетях, ИБП (ДДИБП), преобразователях, на бытовые нужды;

• принимайте меры по выравниванию суточного потребления энергии и снижению пиковых нагрузок;

• повышайте среднюю и пиковую энергоэффективность систем охлаждения и других климатических систем;

• оптимизируйте общую компоновку здания, например, разнесите емкие инженерные системы так, чтобы они не мешали друг другу, оставаясь при этом максимально близко к месту своего «применения»;

• оптимизируйте административную часть, например грамотным разделением мест присутствия персонала и посетителей, оптимизацией путей доставки грузов и т.п.;

• не забывайте о качестве планировки территории (оптимальная посадка основного здания, КПП, проездов, хранилищ топлива и воды, очистных сооружений, коммуникаций и т.п.);

• заблаговременно продумайте основные алгоритмы управления всеми принципиально важными инженерными системами ЦОДа;

• действуйте по принципу отсечения всего лишнего;

• не стремитесь приобрести оборудование и работы по самой низкой цене;

• строго контролируйте соответствие монтажа проекту;

• наладьте жесткий контроль качества выполняемых работ.