Rambler's Top100
Статьи ИКС № 10 2011
Андрей ПАВЛОВ  Дмитрий БАСИСТЫЙ  10 октября 2011

Испытания инженерной инфраструктуры ЦОДа

Если о проектировании и эксплуатации ЦОДов написано и сказано довольно много, то о приемочных испытаниях зачастую забывают. А ведь это один из самых важных этапов создания ЦОДа – по его итогам заказчик принимает решение о готовности инженерной инфраструктуры дата-центра к переносу в него своих ИТ-систем.

Андрей ПАВЛОВ, генеральный директор компании «ДатаДом»   Дмитрий БАСИСТЫЙ, независимый консультант 
Дискуссии о том, что же такое ЦОД и чем он отличается от серверного помещения, ведутся до сих пор. И хотя мнений и определений на сегодняшний день довольно много, по сути все они сводятся к одному: ЦОД – это комплекс инженерных систем.

Приведем наше определение. Центр обработки данных – совокупность спланированных определенным образом территорий, внешних площадок (анклавов), строений, помещений, с установленными инженерными системами обеспечения и обслуживающим персоналом, образующих общее физическое пространство и технологическую среду для размещения компьютеров, электронных и иных средств приема, передачи, обработки, хранения информации и обеспечивающих заданную степень доступности (готовности) размещенного оборудования в заданном режиме функционирования*.

Понимание ЦОДа как комплекса систем предопределяет подход к его проектированию, строительству, испытаниям и эксплуатации. Эти процессы также должны быть комплексными, должны приводить к созданию требуемых условий для безопасного и комфортного размещения вычислительной техники. При этом инженерные системы становятся настолько взаимоувязанными между собой, что порой ЦОД воспринимается как живой организм, где изменение одного из параметров функционирования влечет за собой каскадное изменение остальных. В свете вышесказанного строительство ЦОДа отходит на второй план, а максимум внимания необходимо уделить проектированию, эксплуатации и приемочным испытаниям. И если о первых двух уже сказано и написано довольно много, то о приемочных испытаниях зачастую забывают или значительно упрощают подход к их проведению.

Приемочные испытания – один из самых важных этапов создания ЦОДа. Это не просто процедура, которая должна подтвердить качество оборудования и выполненных подрядчиками работ, верность и эффективность проектных решений. Эта процедура позволит (или не позволит, в зависимости от достигнутых результатов) заказчику (владельцу) ЦОДа принять решение о готовности комплекса инженерно-технических систем (ИТС) к следующей, не менее важной, стадии – началу переноса в дата-центр оборудования ИТ-систем. Но не стоит забывать о том, что колоссальная часть работы по поддержанию требуемого уровня надежности и эффективности ЦОДа должна вестись на этапе его эксплуатации. Тестовые испытания, отчасти повторяющие приемочные испытания, необходимо проводить с заданной периодичностью уже и в работающем ЦОДе.

В данной статье мы попытаемся рассказать о том, как сегодня на российском рынке принято выполнять приемочные испытания ЦОДа, о сложившихся традициях, о типичных ошибках, о сложностях при проведении приемочных испытаний, а также об устоявшейся практике наших зарубежных коллег. Эту статью нельзя рассматривать как четкое руководство к действию при организации приемочных испытаний ЦОДа – такое описание потребовало бы отдельного издания. Тем не менее станут ясны основные принципы, которых следует придерживаться.

Российская практика. Ошибки – типичные и критичные

В российской практике о таком этапе создания ЦОДа, как проведение приемочных испытаний, зачастую или забывают вовсе, или вспоминают уже на поздних этапах строительно-монтажных работ. Создание программы-методики испытаний следует закладывать уже на этапе написания технического задания. Это не позволит забыть о данных работах ни на этапе проектирования, ни на этапе строительства. Соответствующий пункт в техническом задании позволит подрядчику и заказчику правильно определить бюджет проекта и на ранних стадиях зафиксировать необходимый объем работ по данному разделу.

Следует упомянуть и о том, что инженерные системы ЦОДов ничем не отличаются от аналогичных систем, применяемых при строительстве крупных промышленных предприятий и бизнес-центров, с той лишь разницей, что сбой в функционировании этих систем в ЦОДе может привести к куда более катастрофическим последствиям для компании, размещающей в нем свою вычислительную технику, чем для арендатора бизнес-центра. Этот факт определяет требования, предъявляемые к инженерным системам: максимальная надежность функционирования, более высокая ответственность и точность этих систем. Исходя из этого, и все этапы проекта строительства ЦОДа, в том числе и приемочные испытания, должны находиться под пристальным контролем владельца ЦОДа.

Выделим несколько самых типичных из числа критических ошибок в российской практике проведения испытаний.

Самая распространенная ошибка в организации приемочных испытаний комплекса ИТС ЦОДа – испытания отдельных подсистем, входящих в комплекс ИТС, без проведения комплексного тестирования.

Вторая, не менее распространенная ошибка – передача организации испытаний исключительно в ведение подрядчиков, как проектной организации, так и исполнителей работ по отдельных подсистемам комплекса ИТС.

Не менее важная (но не самая критичная) ошибка – формальный подход к составлению программы испытаний, в результате чего она бывает нацелена скорее на техническую проверку оборудования, чем на моделирование ситуаций, которые могут сложиться во время эксплуатации комплекса ИТС.

Что дают нормативы

К сожалению, деятельность по созданию ЦОДов фактически не регламентируется российским законодательством; как следствие, существуют значительные пробелы как в разделе проектирования, так и в разделе проведения приемочных испытаний. Единственное, что полезного можно найти в российских нормативах, – это разделы по испытаниям отдельных инженерных систем. При этом большинство нормативов носят описательный характер, и сведения по приемочным испытаниям разбросаны по разным разделам. Зачастую на основе руководства по установке и эксплуатации оборудования и данных нормативов приходится создавать новый уникальный документ для каждого сдаваемого объекта. Приведем здесь перечень некоторых нормативов:

  • ГОСТ 19.301-79*. Программа и методика испытаний. Требования к содержанию и оформлению.
  • ПУЭ. Правила устройства электроустановок.
  • СНиП 3.05.06-85. Электротехнические устройства.
  • СНИП 3.05.01-85. Внутренние санитарно-технические системы.
  • СНиП 12-01-2004. Организация строительства.
  • ГОСТ Р 50969-96. Установки газового пожаротушения автоматические. Общие технические требования. Методы испытаний.
  • ГОСТ Р 50775-95. Системы тревожной сигнализации. Часть 1. Общие требования. Раздел 1. Общие положения.

К примеру, испытания системы вентиляции и кондиционирования согласно нормативным актам должны происходить в следующем порядке:

  • проверка соответствия фактического исполнения систем вентиляции и кондиционирования воздуха проекту;
  • проверка на герметичность участков воздуховода, скрываемых строительными конструкциями;
  • испытание на холостом ходу вентиляционного оборудования, имеющего привод, клапаны и заслонки, с соблюдением требований, предусмотренных техническими условиями заводов-изготовителей;
  • испытание вентиляторов при работе их в сети (определение соответствия паспортным данным фактических характеристик: подачи и давления воздуха, частоты вращения и т.д.);
  • проверка равномерности прогрева (охлаждения) теплообменных аппаратов и проверка отсутствия выноса влаги через каплеуловители камер орошения;
  • испытание и регулировка систем с целью достижения проектных показателей;
  • проверка действия вытяжных устройств естественной вентиляции.

По расходу воздуха после регулировки и испытания систем вентиляции и кондиционирования воздуха допускаются следующие отклонения показателей от предусмотренных проектом: +10% – по расходу воздуха, удаляемого через местные отсосы и подаваемого через душирующие патрубки, и ±10% – по расходу воздуха, проходящего через воздухораспределительные и воздухоприемные устройства общеобменных установок вентиляции и кондиционирования воздуха при условии обеспечения требуемого подпора (разрежения) воздуха в помещении.

При комплексном опробовании систем вентиляции и кондиционирования воздуха должны быть проведены следующие пусконаладочные работы:

  • опробование одновременно работающих систем;
  • проверка работоспособности систем вентиляции, кондиционирования воздуха и теплохолодоснабжения в проектных режимах работы с определением соответствия фактических параметров проектным; выявление причин, по которым не обеспечиваются проектные режимы работы систем, и принятие мер к их устранению;
  • опробование устройств защиты, блокировки, сигнализации и управления оборудованием;
  • замеры уровней звукового давления в расчетных точках.

Программа и график комплексного опробования систем должны быть разработаны заказчиком (или по его поручению наладочной организацией) и согласованы с генеральным подрядчиком и монтажной организацией.

Из приведенных регламентов мы видим, что существующая нормативная документация не отображает в полной мере и не детализирует необходимый перечень приемочных испытаний. В ней не учтено множество моментов, относящихся к уровню надежности и резервирования систем, точности параметров кондиционирования, взаимодействия подсистем между собой и т.д.

Минимальный набор для испытаний

Покажем на примере, как обычно проходят приемочные испытания системы кондиционирования ЦОДа. Подрядная организация в лучшем случае предоставляет акты опрессовки и акты скрытых работ, после чего запускает систему кондиционирования и изменяет уставки кондиционеров. Подрядчик может также показать настройки ротации системы кондиционирования. Если заказчик удовлетворен результатами этого тестирования, то подписываются акты и система считается сданной и принятой. Но при этом остаются непроверенными наиважнейшие функции системы кондиционирования, такие как аварийное отключение при подаче сигнала от системы автоматического газового пожаротушения; автоматическое включение кондиционера, находящегося в резерве, по сигналу аварийного останова работающего кондиционера; срабатывание системы обнаружения протечки; автоматическое включение системы кондиционирования после пропадания и восстановления напряжения в электросети и т.д. А между тем именно этот функционал является краеугольным камнем в поддержании требуемого уровня надежности и безотказной работы ЦОДа.

В качестве примера приведем рекомендации по минимальному набору функций, которые необходимо протестировать при испытании системы кондиционирования ЦОДа (см. таблицу).

Для тестирования разрабатывается контрольное задание, в котором указываются:

  •  
    •  
      •  
        • цель: проверить соблюдение требований по сборке и монтажу, приведенных в документации предприятия-изготовителя, и убедиться в отсутствии неисправностей в работе кондиционера;
        • подлежащая тестированию функциональность: поддержание требуемых значений параметров воздуха при нормальных параметрах работы систем кондиционера;
        • дополнительные требования: наличие нагрузки;
        • продолжительность выполнения: 1 этап – не нормируется, 2 этап – 72 ч.

В контрольном задании определяются также критерии успешности выполнения. Контрольное задание считается успешно выполненным, если результаты выполнения всех контрольных действий совпадают с ожидаемыми результатами.

Помимо этих испытаний желательно провести испытания системы кондиционирования под полной нагрузкой. Но, как показывает практика, сделать это довольно сложно – не всегда есть возможность, особенно для больших ЦОДов, укомплектовать тепловую нагрузку мощностью в несколько сотен киловатт и более. К тому же, поскольку дата-центр – это «растущий организм» и на расчетную мощность он может выходить в течение нескольких лет, более целесообразна частичная проверка работоспособности ЦОДа под тепловой нагрузкой и дальнейшая подстройка систем службой эксплуатации по мере наращивания количества вычислительной техники в дата-центре.

Международный опыт

В международной практике перед испытаниями комплекса ИТС ЦОДа ставятся следующие цели. Во-первых, испытания должны продемонстрировать возможности и ресурсы проектного решения; во-вторых, вскрыть недостатки, которые могут повлиять на стабильность и доступность операционной среды. В третьих, испытания позволяют заказчику (владельцу) выявить недостатки оборудования и технических решений до начала эксплуатации, а не во время работы под ИТ-нагрузкой.

Пять фаз испытаний

В общем случае в программе испытаний комплекса ИТС ЦОДа выделяют пять основных фаз: заводские испытания оборудования в присутствии заказчика; автономные испытания отдельных устройств и узлов; проверки при монтаже и пусконаладке; проверки функциональной работоспособности и совместной работы; комплексное тестирование системы.

Фаза 1 (заводские испытания), как правило, не регламентируется заказчиком оборудования, а всецело относится к области ответственности производителя. Для критичных систем (комплексов ИТС) целесообразно командировать уполномоченных представителей генподрядчика на производство для участия в испытаниях.

Фаза 2 (автономные испытания отдельных устройств и узлов) включает тестирование и настройку таких компонентов, как насосы, датчики, выключатели, реле, пускатели, трансформаторы. На этом этапе важно проверить основные показатели: крутящий момент, заземление, изоляцию и т.п. Эта фаза испытаний проводится генподрядчиком и его субподрядчиками, но в ряде случаев могут привлекаться внешние независимые организации для проведения тестирования и оценки полученных результатов.

Фаза 3 (проверки при монтаже и пусконаладке) выполняется в отношении следующих компонентов ИТС: ИБП, генераторов, холодильных машин, блоков кондиционеров, устанавливаемых в машинных залах ЦОДов, и др. В ходе испытаний должны быть проведены нагрузочное тестирование отдельных единиц оборудования и тепловое сканирование. После этой фазы испытаний принимается решение о готовности оборудования к функциональному тестированию в составе систем.

Фаза 4 (проверка функциональной работоспособности и совместной работы) предполагает функциональное тестирование систем комплекса ИТС ЦОДа. На этом уровне проверяются пошаговая нагрузка генераторов, корректная работа ИБП при работе в связке с генераторами, корректная работа процедур старта-останова систем, соответствие работы системы кондиционирования предъявляемым требованиям под тестовой тепловой нагрузкой и т.п. Во время испытаний этой фазы также должны быть проведены нагрузочное тестирование и тепловое сканирование. Главный принцип составления программы испытаний для этой фазы – подтвердить, что система работает в точном соответствии с проектными решениями. Эта фаза завершается принятием решения о готовности комплекса ИТС к эксплуатации.

Фаза 5 (комплексное тестирование системы – Integrated Systems Operational Testing, ISOT) – наивысший, последний уровень испытаний. Это тестирование на системном уровне, в ходе которого проверяется общая способность комплекса ИТС обеспечить заданные в проектном решении параметры производительности, устойчивости и надежности. На этой фазе испытаний должны быть смоделированы все возможные последовательности рабочих процессов – как штатные, так и аварийные (например, имитируется отключение внешнего электропитания, чтобы проверить работу связанных, смежных систем).

Единая программа

Все перечисленные фазы испытаний должны быть взаимоувязаны в единую программу испытаний. Эта программа формируется исходя из следующих основных принципов:

  • программа должна состоять из пяти отдельных, но связанных между собой этапов, соответствующих фазам испытаний;
  • все возможные операционные (эксплуатационные) сценарии, отказы и рабочие последовательности должны быть проверены в ходе всех пяти фаз испытаний, чтобы удостовериться в том, что выполняются все требования к функционированию, заданные в проектных решениях;
  • все недостатки, выявленные в ходе предварительных фаз (1–4) программы испытаний, должны быть исправлены до начала фазы 5 (теста ISOT);
  • испытания фазы 5 должны быть интегральной частью обучения эксплуатационного персонала ЦОДа.

Разделение ролей и ответственности

Ответственность за испытания уровней 1–4 несет генеральный подрядчик, а за испытания уровня 5 – привлеченная внешняя организация-консультант.

В целом в программе испытаний генеральный подрядчик несет ответственность за общую координацию всех видов работ по фазам 1–4 и за выбор организаций-посредников (агентов) для проведения испытаний на фазах 1–4 и контроль их работы. Он также участвует в отдельных видах работ во время испытаний фазы 5.

Внешняя организация – консультант по испытаниям – номинально выбирается заказчиком (владельцем). Эта организация выполняет свои обязанности как независимый посредник, специально назначенный владельцем ЦОДа на приемку реализованных решений, проверку соответствия всех проектных решений и спецификаций, требований и параметров. Как правило, организация-консультант наблюдает за проведением испытаний на фазах 1–4 и проводит испытания на фазе 5 программы испытаний.

Заметим, что консультант по испытаниям – совершенно нетипичный для российской практики субъект процесса создания ИТС ЦОДа. Как правило, его роли и ответственность делятся в какой-то пропорции между подрядчиками (генподрядчиком) и заказчиком (владельцем) ИТС ЦОДа.

Несомненный плюс подобной схемы разделения ответственности заключается в том, что не страдает бюджет создания ИТС ЦОДа.

К безусловным минусам отсутствия консультанта по испытаниям можно и нужно отнести отсутствие независимого подхода к формированию программы испытаний, независимого контроля за ее реализацией и независимого же заключения о готовности ИТС ЦОДа к вводу в эксплуатацию.

Что в итоге?

В российской практике итог получается, как правило, печальный: формально испытания проведены, акты-протоколы подписаны сторонами, работы сданы-приняты, но все недостатки не до конца испытанных систем ложатся на плечи эксплуатационного подразделения ЦОДа.

Так почему же подрядчик работ по созданию комплекса ИТС ЦОДа пытается минимизировать свои расходы на проведение испытаний? На наш взгляд, дело здесь в следующем.

Чем меньше объем испытаний, чем менее они структурированы, тем меньше проектных работ ложится на плечи подрядчика – в «идеальном» для него случае программа испытаний не пишется вовсе.

Чем меньше объем и, следовательно, продолжительность испытаний, тем меньше трудозатраты подрядчика на эту часть его работы. Чем короче программа испытаний, чем меньше проверок и тестов надо провести с системами и их узлами, тем меньше вероятность выявления недоделок и брака как в оборудовании, так и в пусконаладочных работах.

Еще одна причина – нежелание заказчика оплачивать дополнительные работы по проведению полноценных испытаний (традиционная битва за снижение расходов по проекту). И наконец, обе стороны (и подрядчик, и заказчик) стремятся к сокращению сроков строительства, а детальная программа испытаний этой цели совсем не способствует.

Заказчик должен помнить, что его ответственный подход к приемке дата-центра – залог соответствия реализованного объекта принятым проектным решениям. Полнота проведенных испытаний позволит минимизировать количество ошибок при работе ИТС ЦОДа в период его эксплуатации. При этом приемка дата-центра должна происходить не только в присутствии менеджмента компании-заказчика, но и с участием той команды, которая будет непосредственно заниматься его эксплуатацией.

И еще одно соображение. В России с петровских времен порой воспринимают все западное как единственную и неоспоримую истину – ярким примером тому служит безотчетная вера многих российских специалистов в постулаты Uptime Institute. Безусловно, нужно отдать должное проделанной Uptime работе по популяризации темы ЦОДов и по классификации информации о «лучших практиках» в области строительства дата-центров. Но, если судить по зарубежной статистике, большинство владельцев ЦОДов совершенно не стремятся создавать площадки согласно рекомендациям Uptime Institute (в частности, сертифицировать их), а принимают взвешенные технические решения, опираясь на соотношение надежности и экономической целесообразности.

Если исходить из этого принципа, то, принимая решение о целесообразности того или иного алгоритма и объема приемочных испытаний, ориентироваться нужно прежде всего на размер ЦОДа, требования к его надежности, степень критичности размещаемого в нем оборудования.  икс 

___________________________________
* Жак А.М. Требования и рекомендации по выбору и строительной подготовке территории и помещений для центра обработки данных (ЦОД). – М.: Датадом, 2010.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!