Rambler's Top100
Статьи ИКС № 2 2019
Кевин ХЭСЛИН  27 мая 2019

Система классификации Tier: мифы и заблуждения

Требуется ли для сертификации ЦОДа подключение к электросети общего назначения, нужен ли фальшпол и как на уровень Tier влияет местонахождение объекта? Авторы продолжают разоблачать мифы, сложившиеся вокруг классификации Tier.

Окончание. Начало см. здесь

Надежность электроснабжения из сети общего назначения определяет уровень Tier

Неверно. Согласно стандарту Tier Standard: Topology, единственным надежным источником электропитания для ЦОДа является генераторная установка. Это связано с тем, что электроснабжение подвержено незапланированному отключению даже в местах с надежными электросетями. Число внешних фидеров, подстанций и электросетей, к которым подключен ЦОД, не определяет его уровень Tier и никак не влияет на него. Как следствие, подключение к электросети общего назначения даже не требуется для сертификации. Большинство дата-центров, сертифицированных по системе Tier, используют централизованное электроснабжение из экономических соображений, но такое решение никак не влияет на уровень Tier.

Для Tier III и IV генераторная установка должна работать постоянно

Неверно. Стандарт Tier не требует, чтобы генераторная установка работала постоянно. Как правило, большую часть времени ЦОДы используют централизованное электроснабжение по экономическим или нормативным причинам. В то же время генератор должен быть правильно подобран и сконфигурирован таким образом, чтобы питать критическую нагрузку без ограничений по времени работы. Поэтому необходимо уделять особое внимание номинальной мощности генераторной установки и распределению этой мощности.

Система Tier основана на положениях EPA, касающихся эксплуатации дизельных двигателей

Неверно. Нет никакой зависимости между уровнями Tier EPA (Environmental Protection Agency, Агентство по охране окружающей среды США) или другими ограничениями работы дизельных генераторных установок и уровнями Tier Uptime Institute, за исключением того, что обе организации используют одинаковую иерархическую систему обозначений. Ограничения EPA на время работы дизель-генераторов могут усложнить режимы тестирования и обслуживания на объекте и увеличить расходы, когда приходится полагаться на резервное питание в течение длительного времени. Однако ограничения на время работы ДГУ, налагаемые местными нормативами, не освобождают ЦОД от необходимости вырабатывать достаточно электроэнергии для функционирования без ограничений по времени при постоянной нагрузке.

Руководящим стандартом для системы Tier является TIA-942

Неверно. В 2014 г. Uptime Institute и Ассоциация телекоммуникационной промышленности США (TIA) договорились о четком разделении между своими системами оценки, чтобы избежать путаницы. Более того, ни одно упоминание классификации ЦОДов по документам TIA не может включать в себя слово «Tier».

Основная цель системы Tier – определить критерии работоспособности, которые обеспечат необходимую владельцу доступность ЦОДа. Эксперты же TIA концентрируются на вопросах развертывания современных сетей связи.

Аварийные выключатели (EPO) или другие подобные системы влияют на уровень Tier

Неверно. Если закон или местные органы власти предписывают установку аварийных выключателей (emergency power off, EPO), это не противоречит системе Tier. В то же время Uptime Institute рекомендует устанавливать EPO только в крайних случаях, поскольку даже сертифицированные по Tier ЦОДы подвержены сбоям в результате случайного или целенаправленного использования таких выключателей. Анализ собранной Uptime Institute базы данных об аварийных инцидентах подтверждает, что случайное задействование EPO – повторяющаяся причина простоя.

Для ЦОДа Tier III требуется, чтобы техническое обслуживание, отключение и/или удаление оборудования EPO не влияли на критическую нагрузку. Для ЦОДов Tier IV дополнительно требуется отказоустойчивость системы аварийного выключения.

Система Tier требует наличия фальшпола

Неверно. Решение о том, где выделить пространство для воздушных потоков системы охлаждения: под фальшполом, у потолка или каким-либо иным образом, принимается проектировщиком и/или владельцем ЦОДа, исходя из эксплуатационных и иных предпочтений. По опыту Uptime Institute, использование фальшпола повышает эксплуатационную гибкость в долгосрочной перспективе. Тем не менее решения об использовании фальшпола, выделении холодных/горячих коридоров, изоляции таких коридоров и пр., которые могут существенно повлиять на эффективность системы охлаждения серверного зала, не являются обязательным требованием Tier.

На объекте Tier IV нельзя использовать дизельные динамические ИБП (ДДИБП)

Неверно. Стандарт Tier не привязан к конкретным поставщикам и технологиям и позволяет сертифицировать ЦОДы, на которых используется широкий спектр инновационных технологий, включая ДДИБП.


Системы ДДИБП, которые сочетают в себе дизельный двигатель и роторный ИБП, устанавливаются вместо классических аккумуляторных ИБП, которые требуют регулярной замены батарей и дополнительного пространства для их размещения. ДДИБП обеспечивает время автономии от 10 до 30 с, что меньше, чем статические ИБП с аккумуляторами. Однако в стандарте Tier не прописано минимальное время автономии. Uptime Institute уже сертифицировал большое количество ЦОДов с ДДИБП.

ДДИБП также может приводить в действие механические системы (например, чиллеры). В таком случае следует предусмотреть, чтобы мощность такого ИБП была достаточной для работы каждой системы и подсистемы, включая инфраструктуру охлаждения, в бесперебойном режиме.

Использование АВР на уровне стоек допустимо для обеспечения питания ИТ-оборудования по двум лучам

Верно. Стандарт Tier предусматривает некое послабление для подключения оборудования с нечетным количеством шнуров (один, три или пять), допуская использование смонтированных в стойке переключателей АВР для обеспечения доступа к нескольким лучам подачи электропитания. То есть, скажем, у сервера может быть один шнур к стоечному АВР, но к АВР подходят два луча электроснабжения. При этом в ЦОДах Tier III и Tier IV необходимо предусмотреть несколько независимых каналов подачи электропитания к стойке.

Стандарт Tier ориентирован на обеспечение того, чтобы инженерная инфраструктура ЦОДа соответствовала определенным требованиям. Существует множество причин, по которым на объекте могут использоваться ИТ-устройства с одним электрическим вводом (или нечетным числом таких вводов), например, отсутствие выбора у поставщиков оборудования или невозможность проконтролировать, какой тип ИТ-оборудования будет размещен в стойке (например, в коммерческом ЦОДе, предоставляющем услуги colocation). Стоечные переключатели АВР чаще всего выбираются ИТ-отделом организации с целью обеспечения соответствия уровню Tier. Тем не менее надо четко понимать, что отказ таких переключателей может привести к выходу из строя всего оборудования, размещенного в стойке.

Tier II предоставляет возможность технического обслуживания без остановки работы ЦОДа

Частично верно. Возможность обслуживания любого компонента инженерной инфраструктуры или распределительного канала без выключения ИТ-оборудования известна как параллельное обслуживание (Concurrent Maintainability). Tier II позволяет проводить параллельное обслуживание только активных компонентов инфраструктуры, но не каналов распределения электропитания и охлаждения. Таким образом, на объекте Tier II возможно параллельное техническое обслуживание генераторных установок, ИБП, чиллеров, градирен, насосов, кондиционеров, топливных и водяных баков, топливных насосов, но не распределительных щитов, панелей, переключателей питания, шинопроводов, кабельных трактов и трубопроводов системы охлаждения. Во многих случаях для планового технического обслуживания или замены критически важного оборудования потребуется остановка ЦОДа.

В полной мере параллельное обслуживание обеспечивают ЦОДы Tier III. Поэтому многим владельцам дата-центров необходим объект именно уровня Tier III.

ЦОД Tier III соответствует стандарту, даже если одна из резервных систем неактивна

Частично верно. Tier III требует двух активных систем для критического уровня распределения электропитания (от выхода ИБП и далее к стойке). Для других участков допускается наличие одной неактивной системы. Другими словами, если стойка получает питание от двух отдельных распределительных систем, они обе должны быть активны. Недопустимо, чтобы один из каналов подключения стойки к системе ИБП был отключен. Так же не соответствует требованиям Tier III объект, на котором один из лучей подачи электропитания идет напрямую от сети в обход ИБП.

Что же касается механических систем, то в ЦОДах Tier III нет требований к их строгому дублированию в режиме active/active. Таким образом, если на объекте Tier III имеется N + 1 чиллер, причем каждый чиллер питает отдельные контуры подачи охлажденной воды (A и B), допустимо отключение одного из контуров, если все кондиционеры могут нормально работать от другого контура.

Объем приточного воздуха критичен для системы охлаждения

Как правило, неверно. Системы приточно-вытяжной вентиляции в ЦОДах, как правило, предназначены для достижения одной из трех целей (или их комбинации):
  • обеспечивать приток свежего воздуха для персонала;
  • поддерживать повышенное давление в серверных залах, что поможет выводу загрязняющих веществ;
  • соблюдать требования к влажности воздуха в ЦОДе.
ЦОДы редко проектируются таким образом, чтобы для нормальной работы охлаждающей системы требовалась постоянная работа приточно-вытяжной вентиляция. Тем не менее наличие и работа такой вентиляции никак не повредят соответствию стандартам Tier. Но если сама приточно-вытяжная установка не обеспечивает необходимую (согласно ASHRAE) температуру для соответствия требованиям Tier, то создаваемую ею дополнительную тепловую нагрузку следует учитывать при определении параметров системы охлаждения.

На объекте Tier IV должны функционировать все устройства системы охлаждения

По большей части неверно. Стандарт требует только того, чтобы объект Tier IV обеспечивал стабильное охлаждение ИТ-систем и ИБП в течение времени, необходимого механическим системам для полного перезапуска после отключения внешнего электропитания и выхода на номинальную нагрузку. ЦОДы Tier IV также должны быть в состоянии поддерживать стабильную тепловую среду в течение всего времени перезапуска механики и в течение любого 15-минутного периода в соответствии с руководством 2015 ASHRAE Thermal Guidelines. Все системы Tier IV (как основные, так и резервные) должны быть в активном состоянии. Такие требования накладываются для того, чтобы не было рисков в обеспечении непрерывного охлаждения из-за отсутствия активно работающих компонентов. Слабо загруженный ЦОД или объект с «продвинутой» системой управления могут соответствовать требованиям Tier IV без использования всех доступных блоков охлаждения. Тем не менее существуют ЦОДы Tier IV (особенно работающие с полной нагрузкой), где действительно требуется, чтобы все блоки системы охлаждения постоянно находились в активном режиме.

Воздуховоды не учитываются при сертификации Tier

Неверно. При сертификации Tier анализируется каждая система и подсистема вплоть до клапанов и соединительных клемм. Воздуховоды, как и системы трубопроводов, могут нуждаться в плановом обслуживании, замене или реконфигурации. Поэтому традиционные системы распределения воздуха должны учитываться при проверке соответствия требованиям Tier.

Консультанты Uptime Institute понимают, что существует определенная путаница в отношении того, что означает «обслуживание» воздуховодов при наличии требований Concurrent Maintainability. Как и для других систем, это возможность изолировать систему или ее часть для обслуживания, ремонта, обновления или модернизации без воздействия на работу ИТ-оборудования.

В инженерную инфраструктуру ЦОДа нельзя вносить изменения после сертификации объекта

Неверно. Однако при внесении таких изменений следует тщательно проработать и прописать все процессы и процедуры. Если топология инфраструктуры изменяется, может возникнуть ситуация, когда ЦОД потеряет возможность параллельного обслуживания или отказоустойчивость. Поэтому клиенты должны предоставить проект изменений в Uptime Institute для проверки соответствия новой топологии стандартам Tier. При этом сертификаты Tier могут быть отозваны, если планируемые изменения ставят под угрозу возможность параллельного обслуживания объекта или отказоустойчивость.

Местонахождение ЦОДа влияет на уровень Tier

Неверно. Конечно, расположение объекта критически важно для его работы, а также для определения, оценки и снижения рисков. Тем не менее географическое местоположение не влияет на уровень Tier и не является частью стандарта Tier Standard: Topology.


Проектировщики ЦОДов, конечно, должны учитывать местоположение ЦОДа и принять меры предосторожности для устранения специфических рисков. Например, если планируется разместить ЦОД в зоне повышенной сейсмической активности, необходимо использовать оборудование, прошедшее сейсмическую аттестацию и сертификацию, наряду с методами, снижающими ущерб от землетрясений. Или, если в регионе наблюдается большое количество торнадо, разработчикам следует принять ветрозащитные меры.

Учет местонахождения объекта предусмотрен при сертификации Tier в части эксплуатационной устойчивости (Operational Sustainability).

Кевин Хэслин

В подготовке статьи также принимали участие Крис Браун, Энрике Эрнандес, Джулиан Кудрицки, Эрик Мэддисон, Райан Орр, Сара Томас, Питт Тернер и Рич Ван Лу.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!