• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Системы низкого напряжения в ЦОДе

Предметом нашего рассмотрения будут системы снабжения ЦОДа электричеством, причем только пассивные части этих систем, без источников бесперебойного питания и генераторов.

Серверы

Начнем с непосредственных потребителей электроэнергии в дата-центре. Это в первую очередь серверы, расположенные в стойках. Нас интересуют даже не сами серверы, а их блоки питания (Power Supply Unit).

То, как сервер потребляет энергию далее, – тема интересная, многоплановая, но выходящая за рамки данной статьи.

Серверы достаточно давно стандартизированы, и их поведение у большинства производителей одинаково. В частности, согласно стандарту IEC 1000-3-2, блоки питания являются практически активной нагрузкой, т.е. угол сдвига фаз у них близок к нулю. Это упрощает дизайн системы, поскольку нагрузка «хорошая». К сожалению, это гарантируется только для их нагруженного состояния. Если компьютер находится в режиме «сна» (который, на мой взгляд, серверам совершенно не нужен, но, увы, требуется согласно современным «зеленым» стандартам), то у дешевых моделей блоков питания может появиться существенная емкостная составляющая.

Еще один важный момент – стандартами допускается значительный, до 3,5 мА, ток утечки на землю. Это означает, что для питания серверных использовать популярные в настоящие время автоматические выключатели с УЗО в общем случае нельзя. Хотя на практике ток на один сервер не превышает 1 мА, десять серверов уже могут вызвать срабатывание защиты. Что самое неприятное, срабатывание происходит в произвольный момент времени и найти его причину крайне сложно.

Отметим также, что традиционно номинал блока питания компьютера относится к его кратковременной пиковой мощности. Фактическое долговременное потребление зависит, разумеется, от комплектации сервера, но не может превышать 70% номинала. Это обстоятельство сильно упрощает предварительные расчеты. Достаточно ориентироваться на сумму номиналов блоков, чтобы получить характеристики системы со всеми необходимыми запасами на пусковые токи.

Отдельного рассмотрения заслуживают серверы, имеющие два блока питания и более. Согласно спецификации, предложенной в 2002 г. Uptime Institute, два блока питания должны обеспечивать прозрачное переключение на тот из них, на вводе которого после аварии остается нормальное питание. При этом декларируется, что никакой предварительной синхронизации по фазе, частоте или напряжению между вводами не требуется до тех пор, пока эти параметры остаются в рабочем диапазоне каждого отдельного блока. При наличии питания на обоих вводах потребление должно быть примерно (± 10%) одинаковым, т.е. составлять половину общего потребления сервера. Так что при подсчете требуемого номинала одного ввода резервные блоки учитывать не нужно. К сожалению, сегодня некоторые производители в погоне за дальнейшим «озеленением» используют второй блок в «холодном» резерве. Включать такие серверы, если их много, следует в «шахматном» порядке, чтобы на разные линии питания приходилась примерно одинаковая нагрузка.

Компьютерные блоки питания – «хорошая» нагрузка еще и по той причине, что они мало чувствительны к колебаниям напряжения, частоты и даже кратковременным, до 20 мс перерывам в электроснабжении. Поэтому, если требуется подключить нагрузку с одним блоком питания в схему с двумя вводами, вполне корректно использовать механическое релейное переключение.

Стойки

Следующий уровень – распределение питания внутри стойки с серверами – реализуется блоками распределения питания (БРП, или PDU, Power Distribution Unit). Обычно они рассчитаны на трехфазное или однофазное входное напряжение, имеют номинал 16 или 32 А и заключены в вытянутый корпус. Короткие БРП могут устанавливаться между монтажными рельсами, более длинные предназначены для вертикального монтажа. Обязательно обратите внимание, входят ли в комплект поставки крепежные элементы.

Блоки питания серверов и БРП соединяются короткими кабелями. Если имеются два блока питания, крайне желательно использовать кабели разного цвета или хотя бы с четко различающейся маркировкой. В противном случае при эксплуатации нельзя будет гарантировать заявленную отказоустойчивость. Самый «продвинутый» вариант предусматривает модификацию стандартных розеток и вилок, которая не позволяет вставить «чужую» вилку.

Выходные розетки, как правило, компьютерные, соответствующие стандарту IEC 60320: C13 на 10 А и C19 на 16 А. Рабочая температура разъемов согласно стандарту – до 70°С. Еще один важный элемент комплекта поставки или конструкции БРП – фиксаторы кабелей оборудования. Как показывает практика, из стандартных разъемов эти кабели легко вываливаются.

Если требуется более высокий выходной ток, то используется либо подача отдельных кабелей, либо БРП с разъемами стандарта IEC 60309 (они имеют круглый корпус с тремя, четырьмя или пятью контактами). Согласно стандарту, для напряжения 220/380 В однофазные розетки и вилки имеют голубой цвет, трехфазные – красный, при этом клемма заземления находится напротив ключа. Если же цвета другие или ключ расположен не напротив самого толстого вывода, следует внимательно проверить документацию устройства.

Соответственно по входу БРП подключаются либо разъемами C14/C20, либо круглыми разъемами IEC 60309, либо на клеммы.

«Евророзеток» и других вариантов разъемов нужно по возможности избегать. Иначе рано или поздно в стойку будет включен электроинструмент, пылесос или чайник (все эти ситуации неоднократно встречались на практике).

Обратите внимание, что обычно сумма номиналов выходных розеток БРП многократно превосходит их нагрузочную способность. Поэтому, подключая оборудование, будьте внимательны, иначе легко вызвать перегрузку и срабатывание автоматической защиты, а в худшем случае – выгорание БРП.

Следует также упомянуть, что сегодня общепринятой практикой является мониторинг потребления электроэнергии на уровне БРП. Основное его назначение – контроль фактического тепловыделения стойки, которое равно потреблению электроэнергии (за исключением некоторых экзотических схем). В «продвинутом» варианте мониторинг энергопотребления может вестись по отдельным розеткам, а кроме того, может добавляться возможность их дистанционного включения/выключения.

О пользе мониторинга потребляемого тока на уровне отдельных розеток можно спорить, поскольку у абсолютного большинства производителей точность такого мониторинга невелика. А вот наличие удаленного управления действительно удобно. Появляется возможность дистанционной перезагрузки «зависшего» оборудования, а также гарантия включения техники в корректной последовательности.

Уже упоминавшийся Uptime Institute рекомендует размещать переключатели выбора ввода (Automatic Transfer Switch, ATS, в отечественной терминологии – автоматический ввод резерва, АВР) для оборудования с одним блоком питания также на уровне стоек. Это обеспечивает и сокращение нерезервированного отрезка схемы питания до минимума, и значительно более надежную работу переключателей на относительно малом токе. Некоторые производители совмещают БРП и стоечный АВР в одной конструкции.

Щиты и щитки

Как правило, в ЦОДе имеется один или два промежуточных уровня щитов распределения. В очередной раз отмечу стойкое отечественное заблуждение: никакой защиты по входу в щит ни один из нормативов не требует. Хорошим тоном является наличие входного выключателя, но и он в принципе обязателен лишь при использовании плавких вставок.

Однако иметь защиту по входу удобно для проведения работ в щите, а в сочетании с дистанционным отключением полезно для зонного отключения при пожаре. Номинал входного устройства допустимо и следует выбирать больше, чем номинал щита.

Согласно ГОСТ Р 51778-2001, номинал щитка должен быть 40, 63, 100, 125, 160, 250 А. Это как раз номинальный ток входного устройства (которого может и не быть) при максимально допустимой температуре эксплуатации. Номинал автоматических защитных устройств, питающих потребителей, выбирается из ряда: 10, 16, 20, 25, 32, 40, 50, 63 А с характеристикой B, C, D. В ЦОДе чаще всего используются номиналы 16 и 32 А, поскольку именно с такими номиналами выпускается большая часть стоечных БРП.

Основная проблема, связанная с промежуточными щитами, та же, что и со стоечным распределением. А именно, сумма номиналов выходных автоматических выключателей или предохранителей может многократно превышать нагрузочную способность щита. Это может вызвать как упомянутые выше проблемы при эксплуатации, так и вопросы при экспертизе проекта.

Защита

Назначение автоматических выключателей и плавких вставок – обеспечивать защиту и от короткого замыкания, и от перегрузок. Популярные современные устройства, как правило, совмещают оба механизма.

Прежде всего следует понимать, что защищается собственно отходящая линия. Вся современная техника либо имеет встроенную защиту именно того вида, который ей нужен, либо ей достаточно защиты линии.

Для серверов защита выбирается в соответствии с номиналами БРП. Для другого оборудования в документации обычно указаны параметры потребления:

• OA (Operaiting Ampers) – расчетный ток потребления;
• FLA (Full Load Ampers) – максимально возможный долговременный ток;
• LRA (Loсked Rotor Ampers) – кратковременный пусковой ток.

И проводка, и защита должны выбираться по максимально возможному долговременному току. Ток LRA полезен для уточнения категории автоматического выключателя. Важно, что мощность не имеет в этом случае ни малейшего значения. Для выбора и защиты, и сечения проводов первичен именно ток. Кроме того, следует помнить, что локальные правила имеют приоритет перед рекомендациями производителей.

Для ЦОДа важнейшее свойство защиты в системе – ее селективность. Селективность сети – это возможность отключения только ближайшего к месту короткого замыкания устройства защиты. Она гарантирует, что остальное оборудование останется в работе. Селективность может быть абсолютной, т.е. до уровня максимально допустимых токов короткого замыкания защиты (а в правильно спроектированной системе токи короткого замыкания всегда меньше максимально допустимых), и относительной – только до определенной величины тока.

Традиционный способ обеспечения селективности защиты – последовательное увеличение номиналов автоматических выключателей в цепи. К сожалению, такой подход сам по себе проблемы не решает: короткая проводка большого сечения (а именно такова проводка в системе распределения электропитания ЦОДа) на практике приводила и приводит к тому, что могут выключиться вообще все автоматы на пути от стойки до ИБП и далее. Данный метод хорошо работает при использовании шинного распределения либо распределения на стойки непосредственно на самом ИБП, поскольку в этих случаях номиналы автоматических выключателей различаются на порядок.

В остальных случаях приходится применять другие методы – программируемую задержку отключения, автоматы с временным ограничением тока короткого замыкания, автоматы со сверхбыстрым срабатыванием или, как наиболее «продвинутый» вариант, автоматы с управляемой селективностью. Из приведенного перечня ясно, что для обеспечения селективности при проектировании сетей распределения следует пользоваться таблицами или программой производителя защиты.

После проведения расчетов имеет смысл практически испытать на селективность к короткому замыканию хотя бы автоматы уровня стойки. Делается это при помощи контактора. Одно испытание – один контактор. В худшем случае вы получите выгоревший защитный автомат стойки. Но зато у вас будет определенная гарантия того, что замкнувший сервер не остановит весь зал.

Также напомним, что защитные устройства могут дополнительно комплектоваться слаботочными контактами мониторинга срабатывания и положения. Это, в свою очередь, позволяет сделать обслуживание щитов намного удобнее. Да и удаленный датчик температуры в щите – весьма полезное расширение системы мониторинга.

Кабели

Электропроводки в ЦОДе очень много, и ее надежность – важный вопрос. Поэтому в качестве материала проводящих жил должна использоваться медь. Алюминиевые провода и кабели при всех своих достоинствах склонны к ухудшению контактов в местах присоединения.

Также крайне желательно использовать гибкий кабель. Подключение ИБП и другого оборудования в стесненных условиях жестким кабелем большого сечения – весьма нетривиальная задача. Кроме того, существует опасность просто выломать клеммы. А при смещениях и вибрациях жесткий кабель повреждается сам или повреждает клеммы с гораздо большей вероятностью.

Материал изоляции желательно выбирать максимально огнестойким и термостойким. В современных ЦОДах температура в горячем коридоре может доходить до 50°С и выше. Что, в свою очередь, дает значительный дерейтинг для кабелей с термостойкостью 60–70°С. В итоге, как это ни парадоксально, более дорогой кабель с термостойкостью 90°С может оказаться экономически более выгодным, поскольку его сечение будет меньше на ступень, а иногда на целых две ступени. Кстати, окончательные расчеты сечения должны производиться не по ПУЭ, а непосредственно по паспорту производителя кабеля.

Схема заземления

Заземление вполне может стать темой самостоятельной статьи. Здесь оно рассматривается только применительно к топологии сети электропитания. Могут быть использованы несколько вариантов заземления.

Для ЦОДа рекомендованы в первую очередь схемы TN-S и TN-C-S. В последней версии ПУЭ они определяются следующим образом:

• «система TN – система, в которой нейтраль источника питания глухо заземлена, а открытые проводящие части электроустановки присоединены к глухозаземленной нейтрали источника посредством нулевых защитных проводников»;

• «система TN-С – система TN, в которой нулевой защитный и нулевой рабочий проводники совмещены в одном проводнике на всем ее протяжении» (рис. 1);

• «система TN-S – система TN, в которой нулевой защитный и нулевой рабочий проводники разделены на всем ее протяжении» (рис. 2);

• «система TN-C-S – система TN, в которой функции нулевого защитного и нулевого рабочего проводников совмещены в одном проводнике в какой-то ее части, начиная от источника питания» (рис. 3).

При проектировании важно помнить, что согласно ПУЭ, выделенные нейтрали N разных источников объединять нельзя, а проводники PEN и PE можно и нужно. После выделения нейтрали в отдельный проводник N снова заземлять ее, превращая в PEN, нельзя. Поэтому при использовании варианта TN-S входные АВР, переключающие источники питания, обязаны быть четырехполюсными. При использовании трехполюсных АВР систему необходимо проектировать как TN-C-S с точкой перехода на выделенную нейтраль уже после последнего АВР в схеме.

Эксплуатация

Сеть распределения электропитания при всей своей кажущейся простоте тоже является системой, которую требуется регулярно обслуживать. Все срабатывания автоматических предохранительных устройств следует записывать в журнал, указывая их причину. В случае появления искрения, запахов, сигналов датчиков нужно немедленно провести осмотр, обнаружение и устранение проблем.

С периодичностью не реже раза в год следует осматривать все контакты, проверять их нагрев и затяжку.

Видимые повреждения изоляции обязательно устранять. Если защитные устройства исчерпали лимит срабатывания, необходимо произвести их замену.

* * *

Надеюсь, что эта статья в какой-то степени будет полезной и для проектировщиков, и для тех, кто непосредственно занимается эксплуатацией. Следование изложенным рекомендациям, в общем-то несложным, поможет избежать многих ошибок, регулярно встречающихся на практике.