| Рубрикатор |  |
 |
| Статьи |  |
ИКС № 06 2011 | |
|
| Б. Дж. ЗОННЕНБЕРГ М. МЁРИЛЛ (Мерилл) | 10 июня 2011 |
Электропитание в ЦОДах. Оценка возможностей постоянного тока
Сегодня в ЦОДах основное внимание уделяется надежному обеспечению большей вычислительной мощности при меньших расходах и энергопотреблении. Электропитание постоянным током – практичный и доступный способ снижения сложности инфраструктуры ЦОДа и повышения КПД без ухудшения его эксплуатационных характеристик.
В последнее десятилетие резко выросла потребность в ИТ-системах, в частности в вычислительном оборудовании и системах хранения данных. Многие организации увеличили производительность и количество установленных у них серверов. Это привело к резкому повышению энергопотребления центров обработки данных. В 2004–2009 гг. рост плотности мощности и температуры в ЦОДах стал одной из основных проблем менеджеров, так как они стремились увеличить плотность размещения оборудования в стойках на 400–1000%. Параллельно росла и стоимость электроэнергии. На эти вызовы отрасль ответила повышенным вниманием к энергоэффективности ЦОДов. И в отдельных аспектах был достигнут значительный прогресс. Тем не менее в целом система электропитания ЦОДов все еще нуждается в оптимизации. Дело в том, что владельцы ЦОДов должны тщательно взвешивать все варианты компромиссов между энергоэффективностью и эксплуатационной готовностью. Сталкиваясь с таким выбором, многие продолжают использовать проверенные подходы, которые хотя и не гарантируют максимального КПД, но обеспечивают высокую эксплуатационную готовность. Однако во многих случаях можно повысить КПД без риска снижения этого важнейшего для ЦОДов показателя.
Стандартные схемы распределения питания в ЦОДе
 |
 |
 |
 |
 |
Когда ИБП переменного тока работает в экономичном режиме (рис. 2), его КПД повышается за счет шунтирования преобразования в инверторе. Однако это снижает надежность системы, так как критически важные нагрузки не будут изолированы от общей сети питания и колебаний напряжения, обычно сглаживаемых с помощью инвертора, а для обеспечения надежного перехода на последний требуются сложные цепи синхронизации. К тому же необходимо обеспечить быстрое включение инвертора в случае отключения питания и изолирование сети электропитания для предотвращения возникновения обратного тока в системе распределения. Независимо от скорости и надежности такого переключения риск его отказа в критический момент все равно существует.
В принципе схему распределения переменного тока можно упростить, устранив понижение в устройстве распределения и подавая ток более высокого напряжения (скажем, 277 В) с ИБП непосредственно на ИT-оборудование (рис. 3). Однако этот подход в настоящее время по ряду причин не используется.
Во-первых, при подключении нагрузки «фаза-нейтраль» могут возникнуть дополнительные гармонические токи, которые частично нивелируют повышение КПД. Во-вторых, из-за более высокого напряжения в стойке могут возникнуть дуговые разряды, опасные для персонала, который выполняет в ней какие-либо работы. В-третьих, в настоящее время на рынке нет источников электропитания, которые могли бы обеспечить входное питание такого уровня. Таким образом, эта схема нуждается в дальнейшей проработке, прежде чем ее можно будет использовать на практике.
Поэтому наиболее реальной альтернативой распределению питания 480/208 В AC для организаций, которые стремятся оптимизировать надежность и КПД своих ЦОДов, сегодня оказывается питание постоянным током (DC) 48 В.
Практика организации питания ЦОДа постоянным током
В большинстве установок система питания –48 В DC состоит из трех элементов:
• модульной системы питания 480 В AC/ –48 В DC;
• аккумуляторных блоков для резервного питания (не менее 8 часов);
• шкафов распределения нагрузки.
Эти элементы соединены с медными шинами и проводами большого сечения, которые связывают различные участки предприятия для распределения питания –48 В на конечную нагрузку. Блоки питания понижают напряжение до 12 В DC и ниже для питания внутренних компонентов (рис. 4).
Применительно к ЦОДам преимущества такого подхода очевидны. После выпрямителей AC/DC питание полностью изолировано от внешней электросети и отличается «безопасным уровнем низкого напряжения» согласно IEC/UL 60950 и, следовательно, может обслуживаться во включенном состоянии обученным персоналом. Нет необходимости понижать мощность для баланса фаз или гармоник, которые отсутствуют в питании постоянным током. Кроме того, повышается безопасность персонала при обслуживании оборудования в стойке ввиду отсутствия дуговых разрядов при напряжении –48 В.
Но в ЦОДах, в отличие от АТС, отсутствуют мощные медные шины для распределения питания DC на стойки. К счастью, новая рядная топология ЦОДов не требует использования таких медных шин (рис. 5). В этой рядной конфигурации ток преобразуется из переменного в постоянный рядом с конечной нагрузкой, что снижает требования к сечению проводника из-за его малой длины.
| И с т о р и ч е с к а я с п р а в к а
Питание постоянным током 48 В давно применяется в телекоммуникациях. Оно отличается сравнительной простотой и надежностью, и ток в нем между сетью питания и конечной нагрузкой проходит малое количество стадий преобразования. Питание 48 В DC стало стандартом еще во времена Александра Белла. Аргументы в пользу этого были таковы. Постоянный ток, как тогда считалось, надежней переменного, поскольку его можно подавать с аккумуляторов резервного питания во время перебоев в питающей сети. А напряжение –48 В – оптимальный компромисс между эффективностью передачи тока на расстояние и безопасностью для человека, так как оно не представляет опасности при случайном касании токоведущих элементов.
Сегодня на АТС все еще используется питание –48 В DC, которое в нормальном режиме работы для обеспечения правильной зарядки резервных аккумуляторов фактически составляет от –52 до –54 В. Эти системы имеют очень высокую степень эксплуатационной готовности: согласно анализу 23 тыс. систем питания постоянного тока, производившемуся в течение 10 лет на предприятиях NTT, она достигает 99,9999999%.* |
При выборе оптимальной архитектуры питания ЦОДа необходимо учесть ряд факторов. Понимание степени влияния каждого фактора – ключевой момент для принятия взвешенного решения.
КПД
Точный расчет общей энергоэффективности системы может оказаться трудной задачей из-за сложности и многообразия влияющих на нее факторов: требуемого уровня резервирования, наличия или отсутствия гармонических колебаний, вариаций нагрузки, а также дополнительных энергозатрат на охлаждение. Тем не менее такой расчет полезен для предварительной оценки КПД с учетом конкретных условий эксплуатации оборудования. Как показывает анализ, там, где эти факторы действуют, разрыв между эффективностью систем постоянного и переменного тока будет, скорее всего, более существенным.
• Резервирование. Уровень резервирования в системе распределения питания может влиять и на эксплуатационную готовность, и на КПД.
Причем в системе распределении питания переменного тока более высокий уровень резервирования повышает эксплуатационную готовность, но снижает КПД всей системы. Максимальная эксплуатационная готовность достигается при резервировании по схеме 2N, когда каждый блок ИБП работает с нагрузкой не более 50%. Однако поскольку загрузка ЦОДа редко достигает пикового уровня, то резервирующие системы почти всегда функционируют с мощностью менее 50%. Таким образом, при работе одного ИБП максимальная мощность может приближаться к 40%, а в условиях нормальной эксплуатации каждый блок может быть нагружен на 20% и менее. У большей части оборудования кривые КПД сильно спадают при загрузке менее 30%, из-за чего фактический КПД оказывается значительно ниже того уровня, который достигается в идеальных условиях.
В системах питания постоянного тока резервирование может быть полностью интегрировано в ИБП DC. Кроме того, в лучших системах DC-питания имеется функция оптимизации КПД, которая сохраняет пиковый КПД даже при загрузке системы всего в 5%, что позволяет одновременно обеспечить и высокий КПД, и высокую эксплуатационную готовность в реальных условиях.
• Гармонические колебания. Это искажения синусоидальной формы переменного тока при нелинейных нагрузках. В ЦОДах блоки питания серверов представляют собой нелинейную нагрузку, которая может стать причиной возникновения гармонических колебаний. Гармонические колебания накапливаются в нейтральном проводе, вызывая потери мощности при распределении и излишний нагрев системы. Если кумулятивный уровень гармонических колебаний (называемый также полным коэффициентом гармонических искажений) становится слишком высоким, это может привести к повреждению чувствительного электронного оборудования и потребовать снижения потребляемой мощности оборудования. В сложных распределительных системах переменного тока такие потери нелегко спрогнозировать, но их влияние может оказаться сильным.
В системах питания постоянного тока гармонические колебания отсутствуют по определению.
• Колебания загрузки ЦОДа. Многие ЦОДы большую часть времени работают при загрузке значительно ниже 100%. Кроме того, эта загрузка часто изменяется в реальном времени, что усложняет моделирование КПД. Так как серверы включаются, выключаются и используются с различной частотой, нагрузка на каждую фазу трехфазной системы питания меняется непредсказуемо, и это затрудняет согласование нагрузки между фазами. Несбалансированные нагрузки снижают общий КПД системы и вызывают образование дополнительного тепла. Кроме того, отслеживание базовых нагрузок по каждой фазе в заданный промежуток времени – непростая задача, требующая специальных инструментов.
Опять же, проблемы с балансом нагрузок относятся только к трехфазному питанию переменным током, при использовании постоянного тока их нет.
• Тепловые нагрузки, связанные с питанием. Вторым крупнейшим потребителем энергии в ЦОДе после собственно ИT-оборудования является система охлаждения. Охлаждение требуется для нейтрализации тепла, выделяемого ИT-оборудованием, а также тепла, возникающего при работе преобразователей. Так как в системе постоянного тока выполняется меньше преобразований, а ее КПД выше, она производит меньше тепла, чем система переменного тока, что дает ощутимую экономию электроэнергии. Согласно приближенным подсчетам, уменьшение тепловыделения на 1 Вт позволяет сэкономить примерно 1,4–2 Вт при охлаждении.
Эксплуатационная готовность
Высокую эксплуатационную готовность могут обеспечивать системы питания и переменного, и постоянного тока. Максимальная эксплуатационная готовность, как уже отмечалось, обеспечивается при резервировании 2N, поскольку оно позволяет использовать архитектуру с двумя шинами, что исключает простои оборудования из-за отказов в цепи распределения энергии. Однако такая эксплуатационная готовность достигается как за счет установленного в системе оборудования, так и за счет снижения рабочего КПД системы. Многие организации достигают требуемого уровня эксплуатационной готовности с резервированием N +1, где резервирование обеспечивается на уровне блока.
На уровне блока повышению эксплуатационной готовности в системе питания постоянного тока способствуют два фактора. Во-первых, DC-система преобразования питания включает в себя меньше компонентов, чем сопоставимая AC-система, что увеличивает среднее время безотказной работы. Во-вторых, ИБП DC использует сеть дискретных выпрямителей для требуемого изолированного питания шины системы распределения. Эти выпрямители компенсируют отказ отдельного выпрямителя, давая возможность какое-то время работать без ущерба для производительности и мощности. Отдельные выпрямители могут быть безопасно заменены на работающем оборудовании в рабочих условиях, не влияя на работу системы. Таким образом, минимизируется среднее время ремонта системы, которое вносит основной вклад в показатель эксплуатационной готовности.
Масштабируемость
Система электропитания может стать фактором, ограничивающим установку дополнительного оборудования. Поэтому при создании и расширении ЦОДов все большую популярность приобретает модульный подход.
Если вся инфраструктура питания и охлаждения ЦОДа интегрирована в полностью замкнутый блок, то она может быть доставлена на место эксплуатации и быстро встроена в имеющиеся системы питания, связи и охлаждения, позволяя нарастить вычислительные мощности. Благодаря встроенным функциям резервирования и компактности ИБП DC хорошо подходят для такого применения.
Та же идея заложена в рядном расположении оборудования, дающем возможность поблочно расширять существующие мощности. Системы питания как переменного, так и постоянного тока обеспечивают масштабируемость рядного оборудования, но ИБП DC обладают преимуществом по резервированию и занимают как минимум на 50% меньше площади, чем аналогичная рядная AC-система.
Стоимость
Основная задача системы питания критически важных нагрузок – недопущение простоев оборудования из-за перебоев питания. Поэтому любое сравнение стоимости должно учитывать требуемый уровень эксплуатационной готовности и стоимость времени простоя. В целом рядные системы питания постоянного тока требуют меньше затрат на установку, эксплуатацию и техническое обслуживание, чем аналогичные AC-системы, и поддерживают уровень резервирования не менее N + 1. Экономический эффект может быть несколько размыт за счет стоимости ИT-оборудования в DC-системе, так как стоимость серверов с источниками питания постоянного тока может быть на 10% выше, чем стоимость более распространенных серверов с AC-питанием. Но цена оборудования постоянного тока должна снизиться, когда эта технология получит более широкое распространение. В зависимости от многих факторов экономия, обеспечиваемая комплексной архитектурой питания на основе постоянного тока в сравнении с AC-системами, может достигать 20%.
В настоящее время питание всех критически важных нагрузок осуществляется постоянным током, блоки резервного питания также запитываются постоянным током. В сетях электропитания используется переменный ток. И оснований ожидать изменения этого положения в ближайшей перспективе нет. Соответственно возникает вопрос: где находится точка преобразования AC-питания из сети в DC-питание для современного электронного оборудования, оптимальная как с точки зрения энергоэффективности, так и защиты от перебоев электропитания? При слишком раннем преобразовании постоянный ток необходимо передавать на дальние расстояния, что требует проводников большого сечения для сокращения потерь. При слишком позднем преобразовании в процесс приходится вводить дополнительные ступени преобразования, что негативно влияет на КПД, надежность и уровень расходов.
Во многих областях применения оптимальная точка преобразования и хранения энергии должна находиться как можно ближе к нагрузке. В условиях ЦОДа ИБП на 48 В DC, устанавливаемые в ряд с серверными стойками, обеспечат наилучшие показатели КПД, надежности и гибкости.
Адрес: 105082, Россия, г. Москва, 2-й Ирининский пер, д. 3