Rambler's Top100
Реклама
 
Статьи ИКС № 4 2021
Илья САВИНКИН  20 августа 2021

Автоматизация ЦОДа: шесть аспектов проектирования и эксплуатации

В дата-центре присутствуют практически все инженерные системы – вентиляции, кондиционирования, холодоснабжения и теплоснабжения, энергоснабжения и освещения. Каковы особенности автоматизации этих систем?

Систему автоматизации ЦОДа можно условно разделить на три уровня:
  • нижний (полевой) – датчики и исполнительные устройства;
  • средний – контроллеры;
  • верхний – ПО и центральный сервер.
Локальная автоматизация и ее отказоустойчивость

Средства автоматизации должны отвечать всем требованиям, предъявляемым к надежности ЦОДа в целом. Если объект предполагается сертифицировать согласно уровням Tier, то и автоматика должна иметь соответствующий уровень отказоустойчивости.

На нижнем уровне для автоматизации процессов работы ЦОДа, как правило, выбираются надежные, доказавшие свою эффективность решения: промышленные и полупромышленные варианты исполнения датчиков, проводные линии связи, резервированные схемы управления. Также обязательно предусматриваются аварийные ручные режимы.

Для обеспечения непрерывности работы ЦОДа и возможности обслуживания оборудования без остановки работы комплекса все средства автоматизации должны быть резервированы в той же степени, что и само оборудование. Например, два резервированных насоса для прокачки хладагента, запитанные по двум независимым веткам по первой категории надежности, но управляемые одним контроллером автоматизации, не обеспечат безостановочной работы в случае отказа этого контроллера. Отключение или выход из строя любого щита локальной автоматики не должны сказываться на работе соседних резервных агрегатов. Кроме того, логика работы оборудования должна сохраняться.

Критически важно, чтобы на этапе разработки проекта проектировщики смежных систем взаимодействовали между собой и надежность одних систем не страдала от экономии на других. При запуске ЦОДа в эксплуатацию необходимо промоделировать аварийные ситуации для оценки функционирования всех систем в комплексе.

Обмен данными

В большинстве случаев данные от контроллеров передаются в центральный сервер по сети Ethernet. В зависимости от размеров ЦОДа используют либо собственные коммутаторы сети, либо выделенный сегмент СКС с резервированным кольцом для передачи данных. Изолированная технологическая сеть позволяет избежать конфликтов с политиками безопасности и нюансами настройки сетевых взаимодействий. Важны постоянная доступность сети и минимальное вмешательство в ее настройки в период всей эксплуатации.

В отдельных случаях оправдывают себя шинные протоколы передачи данных – для передачи некритичных данных с большого количества устройств, например, с измерителей параметров энергопотребления для каждой стойки в коммерческих ЦОДах.
При разработке систем контроля крупных дата-центров мы рекомендуем отталкиваться не только от топовых решений, но и от потребностей заказчика и характера использования ЦОДа. Так, если нужно измерять энергопотребление и контролировать напряжение на каждой стойке, то далеко не всегда оправданно подключать все распределители питания (PDU) напрямую к ЛВС. Целесообразнее установить боксы с самыми простыми электросчетчиками на отводящих линиях к стойкам или применять токовые трансформаторы с общим контроллером.

Верхний уровень и резервирование

При высоких требованиях к отказоустойчивости обязательно резервируется центральный сервер, дублируются питание и жесткие диски для хранения данных (в случае физического сервера). Один из вариантов повышения отказоустойчивости – виртуализация сервера.

С точки зрения ПО автоматизации основное отличие дата-центров от административных зданий – детализация технологических процессов для диспетчера и архивирование всех параметров для дальнейшего анализа и тонкой настройки систем. Детальные архивные данные позволяют анализировать нештатные ситуации с тем, чтобы впоследствии предотвращать их.

К разработке проекта системы автоматизации ЦОДа мы рекомендуем еще на самых ранних этапах привлекать службу эксплуатации. Почему? Никто не объяснит требования к интерфейсу и отслеживаемым параметрам точнее и лучше, чем люди, имеющие опыт работы с подобными системами.

Сценарии использования и отладки производительности и PUE

Отдельно отметим, что автоматизация и контроль энергоснабжения, детальный учет и статистика энергопотребления в ЦОДах находятся на принципиально ином уровне, чем, например, в офисных и административных зданиях. Анализ профилей потребления, контроль качества питания критически важны для стабильной работы всего комплекса. Имея архив со статистическими данными, анализируя взаимосвязи разных событий и параметров, служба эксплуатации может значительно улучшить PUE даже действующего ЦОДа.

В требованиях к системе важно предусмотреть инструментарий для анализа, генерации отчетов и подстройки параметров, влияющих на эффективность систем. Скажем, если температуру перехода системы охлаждения в режим фрикулинга не задавать жестко, а разрешить диспетчеру редактировать, то можно год от года накапливать данные о работе ЦОДа с разной загрузкой и разных температурных режимах и опытным путем найти наиболее безопасные и энергоэффективные параметры. Система построения графиков и отчеты помогут сравнивать разные режимы в наглядном виде и принимать решения с опорой на статистику.

Моделирование

Тенденция к цифровизации и математическому моделированию не обошла стороной и дата-центры. Сегодня на рынке есть множество предложений для моделирования распределения температур и воздушных потоков в машинных залах. Анализируя показания датчиков, ПО способно выдавать рекомендации по оптимальному перераспределению оборудования с учетом тепловой нагрузки, электропитания и сетевых потребностей.

Этапы создания системы автоматизации ЦОДа

Нередко на первом этапе необходимо запустить ЦОД на половину или четверть мощности. Поэтому важно заранее предусмотреть разумное деление автоматики. Например, может оказаться менее затратно сразу сделать всю автоматику на полный объем и оставить на последующие этапы только автоматику отдельных агрегатов. Однако деление на этапы нужно осуществлять совместно со специалистами по холодоснабжению, электрике и т.д.

Илья Савинкин, инженер-эксперт департамента инженерных и мультимедийных систем, КРОК
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!