Rambler's Top100
Реклама
 
Статьи
16 января 2019

Новый дата-центр ЦЕРНа

ИТ-объект будет обслуживать на Большом адронном коллайдере эксперимент, цель которого – выяснить, что же произошло после Большого взрыва. Мощность ЦОДа – 3 МВт, и ожидается, что за счет фрикулинга коэффициент энергоэффективности составит всего 1,1.

Специалисты, вовлеченные в эксперимент LHCb (Large Hadron Collider “beauty” – один из четырех основных экспериментов на Большом адронном коллайдере, изучающий поведение «прелестных» кварков, b-кварков), уже протестировали новый дата-центр. Его мощность составляет 3 МВт, а площадь – около 3000 кв. м. Расположенный неподалеку от Женевы центр обработки данных для высокопроизводительных вычислений будет использоваться для анализа численности частиц в эксперименте LHCb.

Напомним, что подземный коллайдер длиной около 26 км на границе Швейцарии и Франции – самый большой и самый мощный в мире ускоритель заряженных частиц. Он позволяет ученым наблюдать, что происходит при столкновении мельчайших частиц на скорости света. В стандартном прогоне эти столкновения происходят с частотой 2,1 млрд раз в секунду, и в результате каждого из них образуются частицы, которые могут распадаться и дальше.

Оборудование, которое планируется установить в стойки в новом дата-центре уже в феврале, будет использоваться для обработки данных, поступающих со всех детекторов БАК во время проведения эксперимента LHCb. Мощности ЦОДа будет достаточно, чтобы обеспечивать хранение не менее 30 Пбайт данных в течение одной-двух недель. По истечению этого срока данные будут перемещаться в другой ЦОД.

«Это один из пяти основных центров обработки данных, которые мы эксплуатируем в ЦЕРНе», – говорит Нико Нойфельд, заместитель руководителя проекта этой научной организации. Для трех других экспериментов (CMS, ATLAS, ALICE), в ходе которых собираются данные с коллайдера, используются свои дата-центры. Также в Европейской организации ядерных исследований имеется центральный ЦОД, где обрабатываются данные, поступающие не с ускорителя, а из других источников.

По словам Нико Нойфельда, новый дата-центр необходим для экспериментов следующего поколения, требующих гораздо больших вычислительных ресурсов. Он заменит предшествовавший ему инженерный объект, который тоже по-своему интересен.

Из пещеры – на поверхность
Работающий сейчас ЦОД, который продолжит использоваться до тех пор, пока новая система не будет полностью введена в промышленную эксплуатацию, был построен под землей, на глубине около 90 м, причем не из-за особых технических потребностей коллайдера, а просто из соображений экономии.

Источник: CERN

«Под землей было много места, подведены электричество и охлаждающая вода (для предыдущих экспериментов), – поясняет Нойфельд, – так что организовать там центр обработки данных было дешевле, чем строить в другом месте».

На этом относительно небольшом объекте мощностью 600 кВт используется жидкостное охлаждение задних дверей стоек водой с температурой чуть более 17°С. Размещение в пещере имеет один большой недостаток, а именно сложность отвода тепла от оборудования из-за отсутствия контакта с наружным воздухом. А основным преимуществом такой локации, по словам Нойфельда, является ее близость к коллайдеру – для передачи данных с ускорителя требуется кабель длиной всего около 50 м.

Новый центр обработки данных размещен на поверхности земли и потребует оптоволоконного подключения. Из соображений экономии денег и времени команда Нойфельда решила использовать prefab-решения. ЦОД состоит из шести модулей, каждый из которых содержит ряд ИT-стоек и обеспечивает мощность охлаждения 500 кВт за счет использования непрямого фрикулинга и адиабатического доохлаждения. Модульная архитектура поможет свести к минимуму расходы на эксплуатацию дата-центра.

ЦОД сможет использовать сравнительно мягкое лето для снижения затрат на охлаждение. Адиабатическое охлаждение достаточно будет включать только 20–30 дней в году, что позволит снизить PUE до 1,1. То есть более 90% энергии, потребляемой объектом, будет тратиться на питание ИТ-оборудования.

Иногда без света не страшно

Возможно, одна из наиболее интересных особенностей нового центра обработки данных заключается в том, что у него нет ни резервного источника питания, ни даже резервных батарей.

«Система электропитания в ЦЕРНе очень надежна, серьезных отключений очень мало, – говорит Нойфельд. – Одно-два за последние пять или шесть лет». По его словам, сам БАК тоже не имеет резервной системы электропитания. Потеря данных с ускорителя в результате отключения электроэнергии хоть и нежелательна, но не является абсолютной катастрофой, поясняет специалист.

Для критически важной инфраструктуры, такой как файловые системы, в ЦЕРНе есть небольшая серверная комната мощностью 80 кВт, в которой установлены батареи, ДГУ, а также настроено резервное копирование.

После предварительного тестирования нового ЦОДа стойки для ИТ-оборудования будут введены в эксплуатацию в феврале, а оптоволоконный кабель должен быть подключен в марте. Планируется, что полностью объект будет введен в эксплуатацию к концу года, после того как в октябре будут установлены два последних модуля.

По материалам www.datacenterknowledge.com

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!