Rambler's Top100
Статьи ИКС № 01-02 2011
Александр ЖАК  07 февраля 2011

Состав инженерных систем современного ЦОДа

Инфраструктура «идеального» дата-центра – это совокупность тесно взаимодействующих комплексов различных инженерных систем, состав которых задается, в частности, рейтингом ЦОДа по классификации Uptime Institute.

Александр ЖАК, технический директор компании «ДатаДом»Название статьи у большинства читателей вызовет, вероятно, удивление. Действительно, что нового может сказать автор по этой теме? Однако, как показывает практика, в представлении большого количества заказчиков, ЦОД – это практически любое помещение, в котором устанавливается некоторое количество шкафов с активным оборудованием и организуется «малый джентльменский набор» – электропитание из ближайшего электрощита, источник (или несколько источников) бесперебойного питания мощностью 1,5–3 кВ•А, пара бытовых кондиционеров сплит-системы, новый замок на дверь и пожарная сигнализация. «Большой джентльменский набор» может дополнительно включать фальшпол, газовое пожаротушение и контроль доступа. Безусловно, это несколько карикатурное описание типичных требований некоторых заказчиков, однако правильно говорится: в каждой шутке есть только доля шутки.

 

В статье рассматривается состав инженерных систем «идеального» ЦОДа, соответствующего сводному рейтингу Tier IV – Gold по классификации Uptime Institute*. Дополнительно для каждой системы ориентировочно указан минимальный рейтинг ЦОДа, начиная с которого данная система считается необходимой для инфраструктуры. Требования наличия той или иной системы относятся исключительно к ЦОДам и не вступают в противоречие с российскими общестроительными нормами.

 

Архитектурно-планировочное решение ЦОДа

 

Чтобы лучше представлять себе назначение инженерных систем и их взаимосвязи, приведем архитектурно-планировочное решение ЦОДа по стандарту ANSI/TIA-942-2005 Telecommunications Infrastructure Standard for Data Centers (рис. 1).

 

Область 0 – вся территория ЦОДа (кампус). Подразумевает ограждение по периметру, наличие охранной зоны и средств охраны периметра, проходных, ворот для проезда транспорта с контрольно-пропускными пунктами. В области 0 обычно также располагаются площадки-анклавы области 2, на которых размещается технологическое оборудование ЦОДа (чиллеры, машинные генераторы, контуры заземления и т.д.).

 

Область 1 – здание (строение) или группа зданий, специально спроектированных и построенных для размещения ЦОДа.

 

Область 2 – собственно дата-центр. Между его областями существуют связи (физические и логические), отображенные на рис. 1.

 

С некоторой долей погрешности можно сказать, что уровень Tier I определяет минимальные требования к области 11 (серверные, машинные залы) и не рассматривает другие области. Требования уровня Tier II относятся к области 2 со всеми ее составляющими (серверные + технологические системы). Требования уровня Tier III касаются области 1 (серверные + технологические системы + здание в целом). И наконец, требования уровня Tier IV относятся ко всей территории ЦОДа в целом (область 0).

 

С точки зрения инженерно-технологической инфраструктуры (ИТИС) современный ЦОД – это совокупность тесно взаимодействующих комплексов различных инженерных систем. В ИТИС «идеального» ЦОДа (рис. 2) входят следующие комплексы: систем безопасности (КСБ), систем противопожарной защиты (КСПЗ), систем сервиса (КСС), систем электрооборудования (КСЭ), инженерно-технических систем (КИТС), систем многофункциональных залов (КСМЗ), а также комплекс обеспечения, обслуживания и технической поддержки (КОТП).

 

Чрезвычайно важная для «идеального» ЦОДа задача – обеспечение физической безопасности, поэтому еще до начала рабочего проектирования дата-центра необходимо определить количество и назначение зон ответственности на территории ЦОДа и их взаимное расположение (общая площадь, анклавы), сформировать политики физической безопасности каждой зоны, включая анклавы.

 

Зарубежные нормативные документы, в частности, упомянутый в начале статьи стандарт Operational Sustainability, формулируют требования к охране и доступу как «контролируемый доступ» без подробной детализации. В российских нормативных документах эти требования сформулированы точнее и строже.

 

Согласно документу РД 78.36.003-2002/МВД России, территории с ограниченным доступом, области и помещения объектов группы  А с контролируемым входом (к которым относится ЦОД), подразделяются на три группы зон ответственности (три зоны ограничения доступа).

 

Первая зона (группа зон ответственности 1: области 0, 1, 3, 4 на рис. 1, исключая всю область 2) – контролируемая, предполагает свободное передвижение и пребывание персонала, представителей клиентов, посетителей после соответствующего контроля на входе. Выполняет функции охранного периметра, охватывающего все области ЦОДа.

 

Вторая зона (группа зон ответственности 2: область 2, исключая область 11) – усиленно контролируемая и охраняемая, предусматривает передвижение и пребывание определенного круга сотрудников и представителей клиентов после соответствующего контроля. Вторая зона – это площадь, на которой располагаются оборудование инженерно-технологической инфраструктуры ЦОДа (СГЭ, СНЭ, САГП, СПМ и др., см. рис. 2), пост управления и мониторинга ИТИС. К группе зон ответственности 2 относятся также внешние площадки (анклавы), на которых устанавливается оборудование ИТИС (контур технологического заземления, ДГУ, дополнительные топливные емкости, чиллеры, драйкулеры и т.д.).

 

Третья зона (группа зон ответственности 3: область 11) – усиленно контролируемая, охраняемая и защищаемая, предусматривает пребывание строго ограниченного круга лиц. Доступ других лиц в эти помещения возможен только в сопровождении специально допущенных работников. Третья зона – площадь, на которой располагается серверное и коммутационное оборудование ЦОДа, а также хранилища данных, в том числе сейфы с носителями резервных копий информации.

 

Группы зон ответственности 2 и 3 должны быть физически отделены друг от друга, располагаться в разных помещениях и иметь раздельные входы. Возможно расположение группы зон ответственности 3 на территории (внутри) группы зон ответственности 2 при обязательном физическом разделении этих зон пожаровзломостойкими стенами с входами (дверями), оснащенными СКУД.

 

Комплексы систем ЦОДа: функции и термины

 

Непрерывный рост требований к надежности и бесперебойности работы современного ЦОДа влечет за собой столь же непрерывное совершенствование существующих технологических инженерных систем и появление новых, еще недавно совершенно нетипичных для ЦОДов. Досмотровая техника, парковки, защитные оболочки, система телефонизации кампуса, спутниковые каналы связи, специально оборудованные конференц-залы, отопление, водопровод и канализация – вот некоторые совершенно нехарактерные для ЦОДа пятилетней давности системы, которые потребуются при строительстве современного дата-центра.

 

Ниже системы, входящие в состав ЦОДа, коротко описаны по комплексам (см. также рис. 2). В скобках указаны уровни надежности ЦОД (Tier), для которых данные системы являются необходимыми.

 

Б е з о п а с н о с т ь

 

Комплекс систем безопасности (КСБ) включает в себя следующие системы.

 

СОТС – система охранной и тревожной сигнализации, обеспечивает охрану территории ЦОДа, включая все зоны ответственности (Tier I–IV).

 

СКУД – система контроля и управления доступом, предназначена для контроля и санкционирования доступа людей в зоны ответственности 2 и 3 (Tier II–IV).

 

ДТ – досмотровая техника, служит для контроля наличия у людей несанкционированных предметов, досмотра транспорта (Tier IV).

 

СТН – система телевизионного наблюдения, предназначается для круглосуточного визуального контроля территории и помещений ЦОДа (всех зон ответственности) и технологических процессов (Tier III–IV).

 

СИБ – система информационной безопасности, обеспечивает максимально возможный уровень защиты конфиденциальной информации, хранящейся и перемещающейся в компьютерных сетях ЦОДа. Требования к ней формулируются согласно документам ФСТЭК России. Как правило, необходима c уровня Tier III.

 

Средства физической защиты (защитные оболочки, сейфы и хранилища) рассмотрены в «ИКС» №10’2010 (c. 84) и 11’2010 (с. 83).

 

СКП – система контроля за протечками, предназначена для обнаружения нештатного появления жидкости и автоматического управления клапанами подачи технологической воды (Tier II–IV).

 

СМШ – система мониторинга шкафов, отвечает за контроль температуры, влажности, скорости воздушного потока внутри шкафов с активным оборудованием (область 11), регистрацию нештатных ситуаций (пожар, открытие дверей и т.п.) (Tier II–IV).

 

СИС – интерком и селектор, обеспечивают проводную связь между постами и/или техническими помещениями, службами и диспетчерской на территории ЦОДа (Tier III–IV).

 

ЦДП – центральный диспетчерский пост.  Программно-аппаратный комплекс, предназначенный для объединения в единое целое систем ИТИС ЦОДа с целью оптимизации управления всеми входящими системами (Tier II–IV).

 

П р о т и в о п о ж а р н а я   з а щ и т а

 

В комплекс систем противопожарной защиты (КСПЗ) входят следующие компоненты.

 

САПС – система автоматической пожарной сигнализации, обеспечивает противопожарную охрану территории ЦОДа и материальных ценностей (Tier I–IV).

 

СГО – система громкого оповещения о пожаре и управления эвакуацией, отвечает за оповещение людей о пожаре, чрезвычайных происшествиях (Tier I–IV).

 

СВП – система водяного пожаротушения, предназначена для локального тушения пожаров и охлаждения строительных конструкций в области 1, за исключением областей 4, 6–9, 11 (Tier III–IV).

 

САГП – система автоматического газового пожаротушения, обеспечивает противопожарную защиту помещений областей 4, 6–9, 11 (Tier III–IV).

 

СДП – система дымоудаления и подпора воздуха, предотвращает распространение огня, обеспечивает вентиляцию помещений и удаление продуктов горения после ликвидации пожара (Tier III–IV).

 

СИЗОД – средства индивидуальной защиты органов дыхания: самоспасатели, изолирующие противогазы (Tier III–IV).

 

РО – ручные огнетушители (Tier I–IV).

 

С е р в и с  

 

Комплекс систем сервиса (КСС) состоит из следующих систем.

 

СКС – структурированная кабельная система. Обеспечивает передачу информации по стандартным протоколам систем связи, а также передачу телекоммуникационных и информационных сигналов (Tier I–IV).

 

САСО – система активного сетевого оборудования. Организует обмен информацией между различными абонентами системы СКС, включая преобразование, шифрование, пакетирование, маршрутизацию, передачу цифровой, речевой и видеоинформации (Tier III–IV).

 

СК – система кабелепроводов (лотки и короба). Ее назначение – размещение, упорядочение, защита и скрытие кабелей, проводов и коммуникаций всех инженерных систем (Tier I–IV).

 

СФ – система фальшпола. Предназначена для равномерного распределения веса оборудования по площади помещений ЦОДа, размещения коммуникаций, подачи кондиционируемого воздуха к стойкам с оборудованием (Tier II–IV).

 

СТМ – система мебели технологических рабочих мест, оптимизирует использование пространства над рабочим местом, помогает правильно организовать рабочее место (Tier III–IV).

 

СР – система оперативной радиосвязи. Обеспечивает личный состав службы безопасности беспроводной связью на территории объекта между собой и с ЦДП (Tier III–IV).

 

СЧ – система электрочасофикации, отображает единое и точное время и информацию в пределах ЦОДа. Синхронизируется от сигналов точного времени по радиоканалу DCF 77, по сигналу GPS со спутника (Tier III–IV).

 

СТ – система телефонной связи, обеспечивает территорию ЦОДа адресной голосовой (телефонной) связью (Tier IV).

 

ССТ – система спутникового телевидения. Нужна исключительно для достижения суммарного рейтинга ЦОДа Tier IV – Gold и не влияет на надежность функционирования ЦОДа.

 

Э л е к т р о о б о р у д о в а н и е

 

В комплекс систем электрооборудования (КСЭ) входят следующие системы.

 

СЗЗ – система защитного заземления здания (контур заземления); сопротивление растеканию тока не более 4 Ом  (Tier I–IV).

 

СМЗ – система молниезащиты. Здание ЦОДа должно быть оборудовано устройствами молниезащиты II категории с зоной защиты от поражения «Б» (СО 153-34.21.122-2003) (Tier I–IV).

 

СРЗ – система рабочезащитного заземления. Отдельный второй контур телекоммуникационного заземления, с сопротивлением растеканию тока не более 1 Ом. Возможна организация третьего отдельного контура измерительного заземления (Tier II–IV).

 

СУП – система уравнивания потенциалов. Помещения ЦОДов (область 2 за исключением области 10) оборудуются устройством локального уравнивания потенциалов по Приложению В3 ГОСТ Р 50571.21-2000 (МЭК 60364-5-548-96) (Tier II–IV).

 

СВЭ – система выделенного электропитания. Служит для организации электропитания выделенных помещений и включает три составляющие: систему негарантированного электропитания (СНЭ), систему гарантированного электропитания (СГЭ) и систему резервного электропитания (СРЭ) (Tier II–IV).

 

СГЭ – система гарантированного электропитания (часть системы СВЭ). Обеспечивает электроэнергией потребителей, чувствительных к перебоям в электропитании (на базе ИБП и аккумуляторов). Время автономной работы – от нескольких минут до нескольких часов (Tier II–IV).

 

СРЭ – система резервного электропитания (часть системы СВЭ). Предназначена для автономного электропитания потребителей при продолжительных нарушениях в сетях общего назначения (на базе независимого машинного генератора электроэнергии). Время автономной работы ограничено только запасами топлива. Необходима с уровня Tier II; для уровней Tier III и IV является основной системой электропитания.

 

СОЭ – система аварийного отключения электропитания. Экстренно прекращает функционирование ЦОДа путем принудительного отключения электропитания (Tier II–IV).

 

СОО – система основного электрического освещения. Ее назначение – искусственное круглосуточное освещение помещений ЦОДа (Tier I–IV).

 

САО – система аварийного электрического освещения. Поддерживает искусственное освещение помещений ЦОДа в течение заданного времени при отказе всех систем электропитания – основного и резервного, в том числе ИБП (Tier I–IV).

 

И н ж е н е р н о - т е х н и ч е с к и е   с и с т е м ы  

 

В состав комплекса инженерно-технических систем (КИТС) входят следующие компоненты.

 

СПМ-5 – система прецизионного кондиционирования (микроклимата) в ЦОДе, предназначенная для создания и автоматического регулирования параметров воздуха в закрытых технологических помещениях при подаче кондиционированного воздуха под фальшпол (Tier II–IV).

 

СПМ-30 – система прецизионного кондиционирования (микроклимата), предназначенная для снятия теплопритоков 10–30 кВт от одного шкафа с активным оборудованием. Строится на базе герметичных водоохлаждаемых шкафов и холодильной машины (чиллера) (Tier II–IV).

 

СВК – система вентиляции и кондиционирования в помещениях ЦОДа с постоянными рабочими местами. Организует воздухообмен для заданного состояния воздушной среды в помещениях и на рабочих местах (Tier I–IV).

 

СПВ – система подготовки технологической воды, отвечает за подготовку обессоленной воды для парогенераторов, входящих в состав систем контроля климата и кондиционирования (Tier II–IV).

 

СД – система дренажа для отвода конденсата систем прецизионного кондиционирования, ликвидации последствий протечек (Tier II–IV).

 

СО – система отопления, обеспечивает заданную температуру воздуха в помещениях и на рабочих местах (Tier IV).

 

ВК – водопровод и канализация. Обеспечивают снабжение ЦОДа водой для технологических и собственных хозяйственно-бытовых нужд (Tier IV).

 

ЛП – технологические лифты и подъемники. Предназначены для подъема технологического оборудования ЦОДа и других грузов (Tier III–IV).

 

С и с т е м ы   м н о г о ф у н к ц и о н а л ь н ы х   з а л о в

 

КСМЗ – комплекс систем многофункциональных залов, предназначен исключительно для того, чтобы достичь суммарного рейтинга ЦОДа Tier IV – Gold. На надежность функционирования ЦОДа он не влияет.

 

О б с л у ж и в а н и е   и   т е х н и ч е с к а я   п о д д е р ж к а

 

КОТП – комплекс обеспечения, обслуживания и технической поддержки. Включает персонал, обеспечивающий текущую эксплуатацию ЦОДа, охрану, рабочие места, оборудование и инструмент, склады, парковки (Tier III–IV).

 

 

В заключение отметим, что состав и практическое воплощение систем ЦОДа – это всегда некий компромисс между рамками нормативов, реальными условиями на объекте и возможностями инвестора. Взяв за основу приведенную на рис. 2 структуру и вычеркнув системы, которые не планируется устанавливать, инвестор может без посторонней помощи примерно оценить соответствие своих возможностей желаемому уровню надежности функционирования ЦОДа.

 

Представим себе, что спорный для России вопрос о целесообразности строительства ЦОДа, соответствующего сводному рейтингу Tier IV – Gold по классификации Uptime Institute, решен инвестором в пользу строительства. По мнению автора, такой проект в условиях России практически нереализуем. И дело не только в больших объемах инвестиций в инфраструктуру ЦОДа, что останавливает 99% инвесторов еще на этапе бюджетной оценки строительства. Непредсказуемыми остаются затраты, связанные с поиском и выделением подходящего участка под строительство, подведением к участку необходимых коммуникаций (электроэнергия, газ), получением необходимых разрешений и согласований. В нынешних российских реалиях такое строительство под силу только крупному государственному инвестору.  

______________________________________________________________   

*Определение сводного рейтинга ЦОДа – см. стандарты Data Center Site Infrastructure Tier Standard: Topology, Uptime Institute, LLC, 2010 и Data Center Site Infrastructure. Tier Standard: Operational Sustainability, Uptime Institute, LLC, 2010.

Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!