Журнал ИКС

Разделы сайта

• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Ближайшие события

Андрей ПАВЛОВ  Артур ОВАКИМЯН

06 сентября 2016

Затраты на эксплуатацию ЦОДа. Прогноз на 5–10 лет

Прогнозируя расходы на эксплуатацию ЦОДа, нельзя забывать о плановом ремонте инженерного оборудования.

Известно, что средний срок жизни ЦОДа составляет порядка 10 лет, хотя за рубежом успешно функционирует множество ЦОДов-старожилов возрастом больше 15 лет. Многие крупные коммерческие дата-центры в России начали строиться в 2007–2009 гг., и можно ожидать, что в ближайшие несколько лет из-за физического износа оборудования структура их расходов на эксплуатацию существенно изменится.

Традиционно расчет стоимости эксплуатации заказчик запрашивает у поставщиков оборудования. В ответ он в лучшем случае получает стоимость периодического технического обслуживания и расходных материалов к нему. Эта цифра, в свою очередь, ложится в основу расчета совокупной стоимости владения ЦОДа в части операционных расходов. Но это не единственные расходы, которые понесет заказчик при длительной эксплуатации дата-центра. В финансовых моделях эксплуатации ЦОДа зачастую не учитывается целый ряд дополнительных затрат на проведение работ по ремонту инженерного оборудования.

Вероятные сроки ремонта/замены и стоимость  компонентов инженерной инфраструктуры

Наименование узла Периодичность ремонта/замены, лет Стоимость ремонта/замены* Система бесперебойного энергоснабжения Аккумуляторные батареи 5–10 25–35% стоимости сис­темы ИБП (10 мин резерва) Электролитические конденсаторы 5–10 15–18% стоимости системы ИБП Пленочные конденсаторы 8–12 12–14% стоимости ИБП Вентиляторы охлаждения 5–10 2–3% стоимости ИБП Система гарантированного энергоснабжения Шланги подогревателей и топливные 2–3 <0,1 стоимости ДГУ Приводные ремни 3–5 <0,1 стоимости ДГУ Аккумуляторные батареи 3–4 0,15–0,25% стоимости ДГУ Зарядное устройство аккумуляторных батарей 3–4 0,2–0,4% стоимости ДГУ Ролик натяжителя ремней 3–5 0,3–0,5% стоимости ДГУ Блок управления мотора 5–6 1–2% стоимости ДГУ Блок управления АВР 5–8 0,2–0,4% стоимости ДГУ Демпфер крутильных колебаний 8–10 0,5–1,5% стоимости ДГУ Контроллер панели управления 5–8 1–2% стоимости ДГУ Водяная помпа охлаждающей жидкости 3–8 0,2–0,5% стоимости ДГУ Система кондиционирования и вентиляции Компрессор прецизионного кондиционера 8–10 15–25% стоимости прецизионного кондиционера Вентиляторы конденсаторов 4–5 3–6% стоимости конденсаторного блока Вентиляторы во внутреннем блоке кондиционера 8–10 10–15% стоимости прецизионного кондиционера Механическое реле давления 4–5 1–2% стоимости преци­зионного кондиционера Теплообменник конденсаторного блока (при частой или неправильной мойке/орошении конденсатора) 5–7 30–50% стоимости конденсаторного блока Приводы воздушных клапанов 5–10 1,5–3% стоимости прецизионного кондиционера Капиллярные трубки тепло­обменника 7–10 3–5% стоимости конденсаторного блока Холодоноситель на основе этилен- или пропиленгликоля 4–6 Зависит от объема контура холодоснабжения Уплотнители трубопроводной запорной и регулирующей арматуры 5–10 0,2-0,7% стоимости системы Система газового пожаротушения, СКУД, система видеонаблюдения, охранная сигнализация Поверка баллонов газового пожаротушения 10 Зависит от производителя Тепловые и дымовые датчики 6–10 5–10% стоимости системы Замена баллонов порошкового, аэрозольного пожаротушения 5–10 30–50% стоимости системы Доводчики, замки 5–7 2–5% стоимости системы Датчики СКУД 10 6–9% стоимости системы Аккумуляторные батареи 3–4 2–3% стоимости системы Мониторинг     Калибровка датчиков 4–6 Зависит от производителя *При оценке удельной стоимости ремонта инженерного оборудования рассматривалась стоимость запасных частей для нескольких ЦОДов мощностью от 300 до 1500 кВт.

Естественно, предусмотреть гибель оборудования в результате пожара, удара молнии, скачка напряжения или человеческого фактора невозможно. Такие расходы можно лишь заложить в резервный фонд. Размер резерва определяется эмпирически, с учетом накопленного опыта, своего или стороннего, возможных рисков и т.д.

Однако существует и такая статья расходов, как плановые ремонты, которые предусмотреть и оценить существенно проще. Частично информацию о них можно найти в инструкциях по эксплуатации конкретного оборудования либо в менее доступной документации производителя для сервисных организаций. Плановые ремонты предусматривают замену деталей и узлов оборудования, которые с высокой долей вероятности выйдут из строя спустя определенное количество отработанных часов. В основном это движущиеся механические трущиеся узлы, изделия из пластмасс и резины, теряющие со временем свои свойства, и реже компоненты электронных схем. Собственно, это мало отличается от знакомого всем ремонта автомобиля.

Узлы, находящиеся в зоне повышенного риска выхода из строя, можно разделить на две большие группы – механические и электрические.

Механические узлы

Подшипники. Являются одним из лидеров плановых ремонтов. Они используются почти во всем перечне инженерного оборудования, начиная от вентиляторов кондиционеров и вентиляционных установок, компрессоров в холодильных контурах и заканчивая движущимися частями дизель-генераторных установок. Однако нужно понимать, что если в ДГУ нагрузка на данный узел в долгосрочном периоде незначительна, то в кондиционерах подшипники работают практически непрерывно. Также на срок жизни влияет и запас прочности, заложенный при выборе подшипников производителем оборудования. Если на крупных вентиляционных установках традиционно используются подшипники с ресурсом порядка 30 тыс. ч (около трех лет), то на прецизионных кондиционерах могут быть установлены подшипники с ресурсом в 1,5 раза больше.

Виброизоляторы. Для того чтобы вибрация от движущихся узлов инженерного оборудования не передавалась к корпусу оборудования и зданию, часто используются разнообразные демпферные вставки. На них приходится существенная нагрузка, от которой они со временем разрушаются. Яркий пример такого узла – виброопоры вентиляторов в вентиляционных установках. Неграмотное проектирование и монтаж воздуховодов, вентиляторов и виброизоляторов, а также вибрация соседних узлов и механизмов приводят к повышению нагрузки на эти узлы и их преждевременному выходу из строя.

Вентиляторы. Вентиляторы в штатном режиме работы не должны испытывать предельных нагрузок, приводящих к их преждевременному износу. Но, как и в случае с виброизоляторами, ошибки в проектировании конфигурации системы воздухораспределения, например заужение воздуховодов или подфальшпольного пространства, неправильный подбор виброизоляторов, вентиляторов, воздухораспределительных устройств, режимы работы на повышенных или слишком заниженных оборотах, создают дополнительную нагрузку на вентиляторы в осевом и радиальном направлениях, что приводит к разбалансировке вентиляторов, деформации и появлению трещин, вплоть до полного разрушения.

Капиллярные трубки теплообменников и теплообменники. По сути данные узлы не являются расходными материалами, требующими периодической замены, но на практике во многих вентиляционных установках индивидуального исполнения они выходят из строя вследствие передачи вибраций от работающего компрессора и вентиляторов на остальные части установки. Капиллярные трубки – это наиболее тонкое место соединения массивного теплообменника и компрессора, поэтому на него может приходиться основная часть нагрузки.

Кроме того, теплообменники и фреонопроводы могут преждевременно выходить из строя из-за наличия в системе посторонних предметов – окалины, грязи и т.п., а также в результате коррозии при несоблюдении условий эксплуатации и повышении закальцованности при излишнем орошении теплообменников неподготовленной водой.

Шланги для распределения технологических жидкостей и газов, уплотнители и приводные ремни. Эти компоненты изготавливаются из эластичных материалов на основе резины или пластмассы, что существенно снижает срок их использования в результате механических нагрузок и влияния окружающей среды.

Электрические узлы

Конденсаторы. Со временем внутренние химические реакции, тепло и токи утечки приводят к изменению электрических характеристик и повышают риск сбоев в работе. Более того, в процессе старения снижаются эффективность работы конденсаторов и срок их службы. Плановый ремонт источников бесперебойного питания предполагает замену блока конденсаторов постоянного и переменного тока до момента, когда их состояние может с высокой вероятностью привести к короткому замыканию. Предполагаемый срок замены конденсаторов постоянного и переменного тока – каждые шесть лет (45–50 тыс. ч).

Ухудшение состояния конденсаторов переменного и постоянного тока ведет к следующим рискам:

• В преобразователе увеличивается количество искажений, передающихся во вспомогательные схемы ИБП, которые влияют на управление качеством питания нагрузки.
• Изношенные конденсаторы склонны к значительному перегреву под длительной нагрузкой, что влечет за собой внезапный выход из строя и, как следствие, возникновение пожара.
• Система перестает быть стабильной в случае создания параллельных схем подключения.

Аккумуляторные батареи. В процессе эксплуатации полезная емкость аккумулятора уменьшается. Количество циклов обычно указывается не до полной «смерти» аккумулятора, а до момента потери им 40% своей номинальной емкости. То есть, если производитель указывает 600 циклов при 50%-ном разряде, это значит, что через 600 идеальных циклов (т.е. при температуре 20°С и разряде током одной величины, обычно 0,1С) полезная емкость аккумулятора составит 60% начальной. При такой потере емкости уже рекомендуется аккумулятор заменять. Типовые сроки службы аккумуляторных батарей, которые используются в центрах обработки данных, – пять и 10 лет. На практике пятилетние батареи обычно начинают терять часть своих свойств к четвертому году службы (при соблюдении рекомендуемых параметров эксплуатации). Установив десятилетние батареи, следует рассчитывать, что вероятный срок замены комплекта батарей наступит спустя восемь-девять лет. Причем частично батареи могут начать выходить из строя гораздо раньше, финансирование этого процесса может потребоваться уже на третьем или пятом году эксплуатации дата-центра.

Аккумуляторные батареи в ЦОДе используются не только в источниках бесперебойного питания, но и в источниках аварийного освещения, блоках управления слаботочными системами и в дизель-генераторных установках.

Электрические схемы двигателей насосов и вентиляторов, приводы воздушных клапанов, зарядные устройства и блоки питания, контроллеры и блоки управления. Данные электрические схемы практически не подвержены естественному износу в рамках десятилетнего периода, но строительство – процесс далеко не идеальный, и при наличии огрехов в проектировании и монтаже инженерного оборудования, неправильной центровке валов, перенатяжении соединений и других аналогичных проблемах повышенные механические нагрузки могут отра­зиться и на электрических процессах в обмотках электродвигателей. Это может влиять как на изменение температурных характеристик работы оборудования, так и на цепи его электроснабжения и управления, вызывая преждевременный выход из строя.

Электрические контакты. Как известно, электрика – наука о контактах. Все места механических соединений электрических цепей подвержены раннему износу. И скорость выхода из строя напрямую зависит от частоты использования узлов и участков коммутации. Например, сетевые патч-корды подвержены переломам в местах сгиба и разрушению коннекторов. Поэтому, если предполагается, что оборудование будет активно перекоммутироваться, то в бюджет эксплуатации следует закладывать замену контактов с периодичностью, зависящей от качества компонентов исходной системы.

Вероятная периодичность ремонта

Не все перечисленные узлы повреждаются в ходе естественного износа, но при длительном сроке эксплуатации дата-центра вероятность их выхода из строя существенно повышается (см. таблицу).

Приведенные в таблице данные – эмпирические. Они отражают опыт, накопленный нами и нашими коллегами по цеху при эксплуатации ЦОДов. Данные не претендуют на полноту, а лишь являются ориентиром для оценки стоимости обслуживания инженерных систем дата-центров.  

_______________________________________________________________

*Эти слова основателя компании Apple Стива Джобса размещены при входе в ЦОД «Южный порт».  

Заметили ошибку в тексте? Выделите её мышью и нажмите Ctrl+Enter. Спасибо!