Rambler's Top100
Статьи ИКС № 04 2014
Кейт КЛЕСНЕР  08 апреля 2014

Системы топливоснабжения ЦОДов

Будучи критически важной, система топливоснабжения требует такого же внимания, которое уделяется другим подсистемам дата-центра. Поэтому она должна быть отказоустойчивой как с точки зрения топологии, так и с точки зрения эксплуатации.

Кейт КЛЕСНЕР, вице-президент по инжинирингу, Uptime InstituteКогда ураган «Сэнди» обрушился на северо-восточное побережье США, владельцы и компании-операторы некоторых ЦОДов осознали, что не уделяли достаточного внимания системам топливоснабжения и не относились к ним, как к критически важной инфраструктуре, которая должна функционировать бесперебойно. В СМИ широко освещался такой случай: оператору одного ЦОДа в Нью-Йорке пришлось организовать ручную доставку дизтоплива канистрами, расставив людей цепочкой на 18 этажах здания. Эпопея продолжалась 48 часов. Героические усилия этой бригады обеспечили непрерывную работу дата-центра, но если бы топология топливоснабжения была тщательно продумана изначально, то эксплуатационная устойчивость ЦОДа была бы значительно выше. «Сэнди» стал уроком для многих владельцев дата-центров в Нью-Йорке и Нью-Джерси, наглядно показав, что нельзя пренебрегать планированием системы топливоснабжения, если нужно гарантировать бесперебойное электроснабжение ЦОДа в чрезвычайных ситуациях. Причем высокую степень доступности ЦОДа можно обеспечить только при строгом соблюдении принципов эксплуатационной устойчивости.

Топология систем топливоснабжения с точки зрения отказоустойчивости

Напомним, что согласно стандартам Uptime Institute уровень отказоустойчивости ЦОДа определяется наименее надежной его подсистемой. Все элементы системы топливоснабжения – подающие топливопроводы, трубопроводы возврата топлива в хранилище долговременного запаса, насосы, ручные вентили, автоматические клапаны, панели управления, хранилище долговременного запаса и расходная емкость суточного запаса – должны отвечать заданному уровню надежности ЦОДа в целом. Для дата-центров уровней Tier III и Tier IV они должны быть либо отказоустойчивыми, либо обеспечивать характеристику см.*

Для того чтобы определить, является ли система топливоснабжения отказоустойчивой и соответствует ли требованию СМ, ее нужно исследовать: стартуя из некоей заданной точки, методично пройти по всем каналам и дойти до конечных точек потребления. В случае системы топливоснабжения стартовой точкой обычно является хранилище долговременного запаса, а конечными – точка подачи топлива на очистку и расходная емкость суточного запаса. Удаление каждого элемента по очереди позволяет выявить в системе точки, в которых требуемый поток топлива и/или его запас отсутствуют.

Требования к топливоснабжению в стандарте Tier Topology

Консультативный комитет владельцев ЦОДов при Uptime Institute в качестве отправной точки для дата-центров, сертифицируемых на любой из уровней надежности в соответствии со стандартом Tier Standard: Topology, принял требование о наличии как минимум 12-часового запаса топлива. Это означает, что запас топлива должен быть достаточным для поддержания работы ЦОДа с расчетной нагрузкой в течение 12 часов при подаче электроэнергии от дизель-генераторов, и на протяжении всего этого времени ЦОД должен быть отказоустойчивым или соответствовать требованиям СМ.

Многие владельцы ЦОДов, говоря об имеющемся запасе топлива, имеют в виду суммарную емкость своих топливохранилищ. В действительности же запас топлива должен оцениваться за вычетом емкости резервных хранилищ. Например, когда имеются две емкости с 24-часовым запасом каждая, нельзя говорить о 48-часовом запасе топлива, поскольку с учетом требований СМ запас есть только на 24 часа работы. Это тот запас, которым ЦОД будет располагать всегда, а не только при реализации оптимального сценария эксплуатации хранилищ топлива.

Наиболее характерные отклонения проектных решений систем топливоснабжения от требований, предъявляемых к ЦОДам уровней Tier III и Tier IV, следующие:

  • Оснащение клапанами и трубная обвязка не допускают безостановочного ремонта. Самая распространенная ошибка при проектировании системы топливоснабжения – установка лишь одного клапана между двумя насосами или расходными емкостями топлива при построении конфигурации типа N + 1, что не позволяет проводить ремонт без останова системы. Для того чтобы система топливоснабжения соответствовала требованиям СМ, топливопроводы должны быть полностью резервированными.

  • Схема электроснабжения насосов подачи топлива и панели управления топливоподачей не являются отказоустойчивыми или не допускают безостановочного ремонта. Зачастую имеется лишь одна панель управления или одно устройство автоматического включения резерва, через которое запитываются электродвигатели всех насосов. Весь маршрут подачи электроэнергии к топливным насосам и средствам управления должен быть отказоустойчивым или соответствовать требованиям СМ.

  • В зависимости от топологии системы топливоснабжения (постоянный поток и т.п.) критически важным может быть маршрут возврата топлива. Если система топливоснабжения работает под давлением или включает в себя непрерывно действующую схему возврата топлива из суточных расходных емкостей в хранилища долговременного запаса, то эта схема должна быть отказоустойчивой или соответствовать требованиям СМ.

  • Система управления топливоснабжением не соответствует требованиям СМ. Панель управления должна быть дублированной или должен быть предусмотрен вариант ручного управления на время ее ремонта или замены. В последнем случае ручное управление должно быть запроектировано и реализовано специально.

К числу других факторов, которые необходимо учитывать, относится охлаждение топлива, его вид, а также отказоустойчивость системы топливоснабжения.

Встроенные насосы подачи топлива, имеющиеся в составе большинства дизель-генераторов, все время подают избыточное количество дизтоплива, часть которого возвращается в перегретом состоянии в расходную емкость суточного запаса. В случае длительной работы ДГУ или во время летней жары, температура в указанной емкости может повыситься настолько, что мощность генератора снизится или даже произойдет его аварийный останов по срабатыванию соответствующей блокировки. Есть два основных способа предотвращения перегрева топлива:

  • Рециркуляция топлива из расходной емкости суточного запаса в подземное хранилище долговременного запаса. Такая схема основана на тепловой инерции подземного хранилища, температура в котором меняется слабо или вообще остается постоянной. Конечно, возвратная линия является в этом случае критическим элементом системы и должна отвечать требованиям того же уровня надежности, что и вся система.

  • Применение топливного охладителя в качестве части агрегата дизель-генератора. Топливные охладители работают хорошо, если при проектировании учитывается влияние потребляемой ими мощности на работу самого ДГУ и если выбранный охладитель рассчитан на работу при чрезвычайно высоких температурах окружающей среды.

Уровень Tier IV требует автономной реакции на отказ, предполагает наличие средства обнаружения отказа, изоляцию места отказа от неповрежденной части системы и возможность продолжения работы благодаря вводу в действие резерва. Простой тест на отказоустойчивость системы топливоснабжения состоит в проверке того, что после любого отказа в системе наличествует необходимое для нормальной работы ЦОДа количество топлива. Сценарии отказов системы топливоснабжения предполагают прекращение подачи электроэнергии, утечку топлива, выход из строя отдельных компонентов или пожар. Детектирование утечек в топливной системе – критически важная функция обеспечения отказоустойчивости. Отказы можно детектировать разными методами. Выбранный метод должен сочетаться с реакцией системы, направленной на изоляцию места утечки. Изоляция должна обеспечивать такое ограничение потери топлива, чтобы способность резервной системы подавать требуемое количество топлива сохранялась.

Уровень Tier IV требует также пространственного разделения системы топливоснабжения. Размещение сопряженных систем в разных частях ЦОДа ограничивает ущерб от единичного катастрофического события, поскольку такое событие скажется только на одной системе – в данном случае системе топливоснабжения. Подобный подход должен распространяться на топливные линии, средства управления, топливные насосы и все хранилища топлива.

Владельцы ЦОДов, которые рассматривают возможность применения газовых турбин на пропане или природном газе в качестве приводов электрогенераторов, столкнутся с дополнительными проблемами. В рамках стандарта Tier Standard: Topology линии газоснабжения рассматриваются как объект, аналогичный линиям водоснабжения или электроснабжения. Следовательно, газ – как и любой иной ресурс – должен иметься в ЦОДе в количестве, достаточном как минимум для 12 часов работы, и соответствующая система должна отвечать целевому уровню надежности ЦОДа. Таким образом, на объекте необходимо иметь одно или несколько больших газохранилищ. И хотя стандарт Tier допускает подобное решение, далеко не во всех странах национальное или местное законодательство разрешает эксплуатировать столь крупные газохранилища. Кроме того, они представляют собой потенциально взрывоопасные объекты.

Влияние качества проектирования системы топливоснабжения на эксплуатационную устойчивость ЦОДа

Неправильно спроектированная система топливоснабжения может оказать серьезное негативное влияние на эксплуатационную устойчивость. Недавние погодные катаклизмы и катастрофы показали, что необходимо ориентироваться на более жесткие условия, чем те, которые прогнозировались ранее. Надлежащим образом спроектированное топливохранилище может значительно уменьшить риски длительных перерывов в работе ЦОДа, вызванных катастрофами. В этом контексте нужно рассмотреть следующие вопросы:

  • Какую цель ставит перед собой владелец ЦОДа в отношении бесперебойности его работы и какова политика обслуживания клиентов?

  • Как компания – оператор ЦОДа намерена управлять эксплуатацией имеющегося на объекте хранилища долговременного запаса топлива?

  • Насколько силен риск природной катастрофы для данного ЦОДа?

  • Насколько силен риск техногенной катастрофы?

  • На какие услуги по доставке топлива можно рассчитывать в случае локальной катастрофы и смогут ли эти услуги предоставить местные поставщики?

  • Какие услуги по доставке топлива и за какое время могут быть получены в случае региональной катастрофы?

Ответы на эти вопросы должен дать владелец ЦОДа, который должен четко определить, какие цели ставятся, когда речь идет об обеспечении автономности работы дата-центра. Исходя из его ответов и учитывая требования стандарта Tier Standard: Topology и принципы уменьшения риска в рамках обеспечения эксплуатационной устойчивости, проектировщики разрабатывают систему хранения и доставки топлива (достоинства, недостатки и влияние на эксплуатационную устойчивость некоторых технических решений см. в таблице).


Наиболее серьезный риск для нормальной эксплуатации объекта – человеческий фактор. Для того чтобы его минимизировать, инфраструктура ЦОДа – в том числе и система топливоснабжения – должна сочетать простоту проектных решений с простотой эксплуатации. По существу, проектные решения должны быть такими, чтобы систему топливоснабжения было как можно легче эксплуатировать и ремонтировать. Отсечные клапаны в схеме распределения топлива и средства управления должны быть размещены так, чтобы доступ к ним был легким. К подземным хранилищам системы топливоснабжения должен быть обеспечен доступ для периодического обслуживания, и там должно быть предусмотрено достаточно свободного места для ремонтных работ. Емкости с топливом должны быть оснащены расположенными в удобных местах уровнемерными стеклянными трубками, которые должны давать возможность визуального наблюдения за текущим состоянием инфраструктуры и проверки уровня топлива в емкостях, а также обеспечивать операторам непосредственную обратную связь, что необходимо перед началом ремонтных работ.

Очистка топлива не регулируется стандартом Tier, но она, безусловно, один из важнейших элементов эксплуатационной устойчивости объекта. Дизтопливо требует регулярной очистки с целью удаления воды, частиц водорослевых наростов и твердых частиц отстоя, поскольку без этого нельзя гарантировать, что генераторы всегда будут готовы к запуску. Установленные на постоянной основе очистные системы обеспечивают непрерывную очистку топлива и способствуют повышению долговременного коэффициента готовности. Местные поставщики топлива могут оказать помощь в решении возникающих при этом задач с учетом характеристик конкретного сорта топлива и местных климатических условий. Наконец, Uptime Institute приветствует усилия разработчиков, направленные на продуманную интеграцию систем очистки топлива – так, чтобы это не шло в ущерб целевому уроню надежности ЦОДа.

Uptime Institute в последнее время отмечает все более широкое распространение решения, при котором электрогенераторы вместе с приводными дизельными двигателями и соответствующими топливными системами размещаются в укрытиях, находящихся вне здания ЦОДа. При этом физическая их защита относится задаче обеспечения эксплуатационной устойчивости. Учитывая большой объем инвестиций в инфраструктуру ЦОДа, разработчики должны предусмотреть все необходимое для предотвращения выхода систем топливоснабжения и электрогенераторов из строя вследствие действия неблагоприятных погодных условий или техногенных факторов. Защита топливных линий, емкостей и хранилищ, а также электрогенераторов от неправильных действий операторов или водителей автотранспорта совершенно обязательна. Например, хорошее решение – установка оградительных столбиков или капитальных ограждений.

* * *

При разработке систем топливоснабжения надо ориентироваться на критерий эксплуатационной устойчивости для достижения высокой готовности системы. Простота технических решений и простота эксплуатации, возможно, наиболее эффективные направления долговременных инвестиций в обеспечение ее надежной работы, а значит, и бесперебойного функционирования ЦОДа, в том числе в условиях чрезвычайных ситуаций.  икс 

___________________

*CM (Concurrent Maintainability) подразумевает возможность проведения плановых или внеплановых работ (регламентное обслуживание, замена или починка) с узлом «на ходу», без прекращения работы ЦОДа и без какого-либо влияния на режим функционирования критической нагрузки.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!